பகுத்தறிவின் முக்கிய மாதிரிகள் எப்படி ஒரே ‘மூளைக்கு’ ஒன்றிணைகின்றன, அவை யதார்த்தத்தை சிறப்பாகவும் சிறப்பாகவும் வடிவமைக்கின்றன | தரவு அறிவியலை நோக்கி

அவை செயற்கை நுண்ணறிவில் மிகவும் சுவாரஸ்யமான கண்டுபிடிப்புகளில் ஒன்றாகும் (மற்றும் தலைப்புகள்), இது புத்திசாலித்தனமா இல்லையா என்பது பற்றிய விவாதத்தை ஒதுக்கி வைத்தது.

நீங்கள் ஒரு AI மாடலைப் பயிற்றுவித்தால் (குறைந்தபட்சம்!) படங்கள் மற்றும் மற்றொன்றை முற்றிலும் உரையில் மட்டும் பயிற்றுவித்தால், அது முற்றிலும் மாறுபட்ட “சிந்தனை” வழிகளை உருவாக்கும் – இது சரியாக என்ன அர்த்தம் என்ற விவாதத்திற்கு உட்படாமல். எங்கள் கருத்து என்னவென்றால், அவர்கள் முற்றிலும் வேறுபட்ட கட்டமைப்புகளைப் பயன்படுத்துகிறார்கள் மற்றும் முற்றிலும் மாறுபட்ட தரவைச் செயலாக்குகிறார்கள், எனவே அவர்கள் தங்கள் படம் மற்றும் உரைப் பணிகளில் நன்றாக இருந்தாலும், எல்லா தர்க்கத்தின்படியும் முற்றிலும் வேறுபட்ட “மூளை”களைக் கொண்டிருக்க வேண்டும்.

ஆனால் பல்வேறு குழுக்களின் சில சுவாரஸ்யமான ஆராய்ச்சியின் படி, அது அப்படி இல்லை!

ஏற்கனவே 2024 இல், ஒவ்வொரு பெரிய AI மாடலும் ஒரே ‘சிந்தனை மையத்தில்’ இரகசியமாக ஒன்றிணைகிறது என்பதற்கு MIT உறுதியான ஆதாரங்களை முன்வைத்தது. (அல்லது மூளை, அல்லது நீங்கள் அதை அழைக்க விரும்புவது). இந்த மாதிரிகள் பெரிதாகவும் சக்தி வாய்ந்ததாகவும் இருப்பதால், உலகம் எவ்வாறு கட்டமைக்கப்பட்டுள்ளது என்பது பற்றிய ஒரே முடிவுக்கு அவை அனைத்தும் வருகின்றன. ஆரம்ப மாடல்களில் இது வெளிப்படையாகத் தெரியவில்லை, ஏனெனில் அவை பகுத்தறிவதில் மோசமாக இருந்தன; ஆனால் அவை மேம்படும்போது அது மேலும் மேலும் தெளிவாகிறது. மற்றும் மறைமுகமாக, நான் கூறுவேன், காரணம் என்னவென்றால், அவை அனைத்தும் சரியாக இருந்தால், அவை யதார்த்தத்தின் மிகவும் ஒத்த பிரதிநிதித்துவத்தை உருவாக்க வேண்டும்.

குகையின் உருவகம் (AI).

இது ஏன் நிகழ்கிறது என்பதைப் புரிந்துகொள்வதற்கு, சில ஆராய்ச்சியாளர்கள் 2,400 ஆண்டுகள் பிளாட்டோவின் “குகையின் உருவகத்தை” திரும்பிப் பார்த்துள்ளனர் – இதன் விளைவாக “பிளாட்டோனிக் பிரதிநிதித்துவக் கருதுகோள்” போன்ற யோசனைகளைக் கொண்ட சில சுவாரஸ்யமான முன்பதிவு செய்யப்பட்ட தலைப்புகள் உள்ளன. சாராம்சத்தில், மனிதர்களாகிய நாம் ஒரு குகையில் கைதிகளைப் போல இருக்கிறோம், ஒரு சுவரில் ஒளிரும் நிழல்களைப் பார்க்கிறோம் என்று பிளேட்டோ நம்பினார். நிழல்கள் (எங்கள் உணர்வுகள்) “உண்மை” என்று நாங்கள் நினைக்கிறோம், ஆனால் அவை உண்மையில் குகைக்கு வெளியே இருக்கும் ஆழமான, மறைக்கப்பட்ட, மிகவும் சிக்கலான யதார்த்தத்தின் கணிப்புகள் மட்டுமே.

இதற்கான தயாரிப்பில் நான் படித்த பல தாள்களில் ஒன்று (இறுதியில் உள்ள இணைப்புகள்) AI மாதிரிகள் அதையே செய்கின்றன என்றும், அவ்வாறு செய்யும்போது உள்ளீட்டு நிழல்களைப் புரிந்துகொள்வதற்கு உலகம் எவ்வாறு செயல்படுகிறது என்பதைப் போலவே அவை ஒன்றிணைகின்றன என்றும் கூறுகிறது.

கோடிக்கணக்கான வரிகள், படங்களில் உள்ள டிரில்லியன் கணக்கான பிக்சல்கள், நமது நவீன AI மாடல்களைப் பயிற்றுவிக்கப் பயன்படுத்தப்படும் முடிவற்ற ஆடியோ கோப்புகள் ஆகியவை நமது உலகத்தைப் பற்றிய அவர்களின் கருத்து (“நிழல்கள்”) மட்டுமே. இந்த சக்திவாய்ந்த மாதிரிகள் மனித தரவுகளின் வெவ்வேறு நிழல்களைப் பார்க்கின்றன, மேலும் அவை முற்றிலும் சுயாதீனமாக உள்ளன பிரபஞ்சத்தின் அதே அடிப்படைக் கட்டமைப்பைக் கண்டுபிடித்து, அதைப் புரிந்துகொள்ள.

வெவ்வேறு கண்கள், ஒரே பார்வை

குறைந்தபட்சம் எனக்கு ஆச்சரியமான பகுதி இங்கே: படங்களை மட்டும் “பார்க்கும்” மாதிரியும், உரையை மட்டும் “படிக்கும்” மாதிரியும் கருத்துகளுக்கு இடையிலான தூரத்தை அதே வழியில் அளவிடும். (இரண்டும் நன்றாக இருந்தால்).

“நாய்” மற்றும் “ஓநாய்” ஆகியவற்றின் உருவத்திற்கு இடையே உள்ள “தொலைவை” வரைபடமாக்க ஒரு பார்வை மாதிரியைக் கேட்டால், “நாய்” மற்றும் “ஓநாய்” என்ற வார்த்தைக்கு இடையே உள்ள தூரத்தை வரைபடமாக்க ஒரு மொழி மாதிரியைக் கேட்டால், அவர்கள் உருவாக்கும் கணிதக் கட்டமைப்புகள் மேலும் மேலும் ஒரே மாதிரியாக மாறும், ஏனெனில் அவை இரண்டு விலங்குகளையும் சிறப்பாக வேறுபடுத்தும்.

வேறு வார்த்தைகளில் கூறுவதானால், இந்த மாதிரிகள் வளரும் மற்றும் சிறந்ததாக இருப்பதால், அவை இனி சீரற்ற இணைப்புகளின் குழப்பமாக இருக்காது. அவை சீரமைக்க முனைகின்றன, குறிப்பாக, பார்வை மாதிரிகள் மற்றும் மொழி மாதிரிகள் பெரிதாகும்போது, அவை தரவைப் பிரதிநிதித்துவப்படுத்தும் விதம் மேலும் மேலும் ஒத்ததாகிறது என்று ஆராய்ச்சி காட்டுகிறது. மிகவும் ஆச்சரியமாக இருக்கிறது, நீங்கள் நம்பவில்லையா!

ஏன் அளவுகோல் எல்லாவற்றையும் மாற்றுகிறது

கிடைக்கக்கூடிய ஆராய்ச்சியின் படி, இவை அனைத்தும் மிகவும் உலகளாவியதாகத் தெரிகிறது மற்றும் அனைத்து நிறுவனங்களிலிருந்தும் நவீன மாடல்களுடன் நிகழ்கிறது மற்றும் வெவ்வேறு மூலங்களிலிருந்து பயிற்சி பெற்ற மாடல் போதுமான திறன் கொண்டதாக இருக்கும் வரை. உண்மையில், ஒரு மாதிரி வயதாகும்போது, அது எதுவாக இருந்தாலும், அவர்கள் தங்கள் உள் சிந்தனையில் ஒரு “கட்ட மாற்றத்திற்கு” உட்படுகிறார்கள். இந்த மாதிரிகள் அவற்றின் குறிப்பிட்ட பணிகளை மனப்பாடம் செய்வதை நிறுத்திவிட்டு, யதார்த்தத்தின் புள்ளிவிவர மாதிரியை உருவாக்கத் தொடங்குகின்றன என்பதை ஆராய்ச்சி சுட்டிக்காட்டுகிறது.

மற்றும் வெளிப்படையாக, இது மாதிரிகளில் செயல்படும் “தேர்ந்தெடுக்கப்பட்ட அழுத்தம்” காரணமாக நிகழ்கிறது:

பணியின் பொதுவான தன்மை: ஒரு AI எல்லாவற்றிலும் சிறப்பாக இருக்க வேண்டும் என நீங்கள் விரும்பினால், உலகைப் பிரதிநிதித்துவப்படுத்த ஒரே ஒரு “சிறந்த” வழி உள்ளது, எனவே அது அதிகமாக மாற்றியமைக்கப்படாது இன்னும் கணிக்க முடியும். ஒரே ஒரு சிறந்த வழி இருப்பதால், அனைவரும் அதை அடைய வேண்டும்!
திறன்: பெரிய மாதிரிகள் மிகவும் நேர்த்தியான, எளிமையான தீர்வைக் கண்டறிய “அறை” உள்ளது. ஆனால் கட்டிடக்கலை மற்றும் அளவுருக்களின் எண்ணிக்கையின் அடிப்படையில் போதுமான தளர்வு இருப்பது, அதிகப்படியான பொருத்துதலைத் தவிர்ப்பதன் மூலம் சமநிலைப்படுத்தப்பட வேண்டும்.
எளிமை சார்பு: ஆழமான வலைகள் உண்மையில் சிக்கலான தீர்வுகளை விட எளிமையானதை விரும்புகின்றன, மீண்டும், குறிப்பாக அதிகப்படியான பொருத்துதல் தவிர்க்கப்பட்டால்.

ஒரு முக்கியமான விஷயம் என்னவென்றால், வெவ்வேறு AI மாதிரிகள் இந்தத் தேர்ந்தெடுக்கப்பட்ட அழுத்தத் துண்டுகளுக்கு வெவ்வேறு வேகங்களில் (அல்லது வெவ்வேறு அளவிலான செயல்திறனுடன்) மாற்றியமைக்கலாம்; ஆனால் நிச்சயமாக அவை அனைத்தும் உலகம் எவ்வாறு இயங்குகிறது என்பதைப் பற்றிய அதே உள் பிரதிநிதித்துவத்தின் மூலம் அடையப்பட்ட அதிகபட்ச புரிதலின் அதே இறுதி நிலைக்கு இட்டுச் செல்கின்றன.

“அறிவாற்றலின் வழிமுறைகள்” பற்றிய அதிநவீன ஆராய்ச்சி

நான் 25 வயது இளையவனாக இருந்தால், இப்போது ஒரு தொழிலைத் தேர்ந்தெடுக்க வேண்டியிருந்தால், உளவியல் கலந்த கணினி அறிவியல் போன்ற ஒன்றை நான் தேர்வு செய்வேன். ஏனென்றால் என்னைப் பொறுத்தவரை, AI உலகின் மிகவும் சுவாரஸ்யமான பகுதி இதுதான். ஏன் என்று படியுங்கள்!

எல்எல்எம்களில் ‘அறிவாற்றல் வழிமுறைகள்’ பற்றிய சமீபத்திய கணக்கெடுப்பு மேலே விவரிக்கப்பட்ட இவை அனைத்திற்கும் மற்றொரு அடுக்கைச் சேர்க்கிறது. இந்த வடிவங்களில் உள்ள அறிவு தற்செயலாக சிதறவில்லை என்று அது அறிவுறுத்துகிறது; மாறாக, இது எளிய மனப்பாடத்தில் இருந்து சிக்கலான “புரிதல் மற்றும் பயன்பாடு” வரை உருவாகிறது. அப்போது ஒருவித “டைனமிக் நுண்ணறிவு” விளையாடும். அறிவும் திறனும் ஒரே பிரதிநிதித்துவ இடைவெளியில் ஒன்றிணைக்கும் போக்கு செயற்கை நரம்பியல் மாதிரிகளின் முழு குழுவிலும், தரவு, முறை அல்லது குறிக்கோள் ஆகியவற்றைப் பொருட்படுத்தாமல் தோன்றும். மனிதர்களாகிய நமக்கு இன்னும் புரியாத அறிவு கூட (அல்லது டொமைன் சார்ந்த வல்லுநர்கள் மட்டுமே புரிந்துகொள்கிறார்கள், எடுத்துக்காட்டாக, ஒரு இசையமைப்பாளருக்கான இசையை உருவாக்குவது அல்லது ஏன், எப்படி ஃபோட்டான்கள் இயற்பியலாளருக்கு சிக்கலாம்) இந்த மாதிரிகள் வடிவங்களைக் கண்டுபிடிக்கும் போது (உதாரணமாக, இசை அல்லது குவாண்டம் இயற்பியலில் சொல்லுங்கள்) நமது உயிரியல் மூளை விரைவாகச் செயலாக்க முடியும்.

இது ஏன் மிகவும் அருமையாகவும், மனிதர்களாகிய நாம் எவ்வாறு கற்றுக்கொள்கிறோம் என்பதற்கு ஒப்பாகவும் இருக்கிறது

கணிதம், கணினி அறிவியல் மற்றும் தத்துவம் மோதும் அரிய தருணங்களில் இதுவும் ஒன்று. மாதிரிகள் ஒரு உருவாக்க வேண்டும் என்று எனக்குத் தோன்றுகிறது யதார்த்தத்தின் ஒருங்கிணைந்த கருத்து ஒரே வழியில் அவர்கள் அதை உட்கொள்ள முடியும்: வார்த்தைகள், படங்கள் மற்றும் ஒலிகள். குழந்தைகள் எவ்வாறு கற்றுக்கொள்கிறார்கள் என்பதில் இருந்து வேறுபட்டதல்ல, ஒருவேளை வேறு வரிசையில் இருந்தாலும், உடல்ரீதியானவை (கடினமான, வெற்றி, முதலியன) மற்றும் நிச்சயமாக உடல் வெளியீடுகள் (அழுகை, சிரிப்பு, மூட்டு அசைவு, நடைபயிற்சி, …)

நம் மூளைக்குள், எல்லாவற்றிற்கும் மேலாக, மல்டிமாடலிட்டியும் ஒருங்கிணைக்கப்பட்டு அதே உலகளாவிய புரிதலின் கீழ் செயல்படுகிறது (இது, ஆம், மாயைகளால் ஏமாற்றப்படலாம், ஆனால் அது மற்றொரு நாளுக்கு!). வேறு வார்த்தைகளில் கூறுவதானால், நம் மூளை எல்லாவற்றையும் ஒரு யதார்த்தமாக வரைபடமாக்குகிறது, இது உலகம் எவ்வாறு செயல்படுகிறது என்பதற்கான நமது தனிப்பட்ட விளக்கம். நான் ஒரு ஆப்பிளைப் படம் எடுத்தால், ‘ஆப்பிள்’ என்ற வார்த்தையை எழுதினால், யாரோ ஒரு ஆப்பிளைக் கடிக்கும் சத்தத்தை நான் பதிவு செய்தால், இவை மூன்று வெவ்வேறு ‘நிழல்கள்’, ஆனால் அவை அனைத்தும் ஆப்பிளின் உண்மையான இயற்பியல் யதார்த்தத்திலிருந்து முன்னிறுத்தப்படுகின்றன. ஆப்பிள் ஒரு நிறத்தில் மற்றொன்றாக இருந்தாலும், செயற்கையாக வர்ணம் பூசப்பட்டிருந்தாலும், அல்லது நான் மற்ற மொழிகளில் வார்த்தையை எழுதினாலும், “மஞ்சனா” அல்லது “போம்”, நான் முறையே ஸ்பானிஷ் மற்றும் பிரெஞ்சு மொழி பேசினால், அதே நிழலில் பிரதிபலிக்கும்.

யதார்த்தத்தின் உலகளாவிய பிரதிநிதித்துவம் + உடல் உள்ளீடுகள் + உடல் வெளியீடுகள் -> ரோபோக்கள்

குழந்தைகள் மற்றும் மனிதர்களுடனான ஒப்புமை உட்பட மேற்கூறிய அனைத்தும் பின்னர் மேலும் மேலும் விரிவுபடுத்தப்படலாம். அல்லது குறைந்தபட்சம் நான் அப்படி நினைக்க விரும்புகிறேன்.

நன்கு செயல்படும் உலகளாவிய AI ரியாலிட்டி மாடலில் இயற்பியல் உள்ளீடுகள் மற்றும் வெளியீடுகளுக்கான திறன்களைச் சேர்க்கவும், மேலும் எங்களிடம் ஒரு ரோபோ உள்ளது, அது உலகத்தை விளக்கவும் தொடர்பு கொள்ளவும் கற்றுக்கொள்ள முடியும். உயிர்வாழ்வதற்கான ஒரு “உள்ளுணர்வுடன்” அதை இணைக்கவும் மற்றும் நன்றாகவும்…அது எங்கு செல்ல முடியும் என்று யாருக்குத் தெரியும். ஆனால் அந்த கட்டுமானத்திலிருந்து நாங்கள் மிகவும் வேறுபட்டவர்கள் அல்லவா?

நான் அதை இங்கே விட்டுவிடுகிறேன், அதனால் நான் ஒரு விவாதத்தில் ஈடுபடவில்லை, ஆனால் அதைப் பற்றி என்னுடன் பரிமாறிக்கொள்ளுங்கள்!

மின்னஞ்சல்களை எழுத, ஒரு விஷயத்தை சுருக்கமாக, குறியீட்டை எழுத அல்லது புகைப்படங்களைத் திருத்த அல்லது உருவாக்க உதவும் கருவிகளை உருவாக்குவது மட்டும் இல்லை என்பதற்கான தெளிவான, ஆராய்ச்சி அடிப்படையிலான ஆதாரங்களை இங்கே விட்டுவிடுவோம். பிரபஞ்சத்தின் டிஜிட்டல் கண்ணாடிகளை உருவாக்குகிறோம். நாம் வாழும் உலகின் உள் செயல்பாடுகளை சிலிக்கான் மற்றும் குறியீடு சுயாதீனமாக கண்டறியும் போது, உண்மையான நேரத்தில் பார்க்கிறோம்.

குறிப்பு

இந்த இடுகையை எழுத, நான் இந்த இரண்டு சுவாரசியமான ஆவணங்களை விரிவாகப் படித்தேன்: 2024 இல் முன் அச்சிடப்பட்ட ஒரு ஆய்வு மற்றும் LLM இல் உள்ள அறிவாற்றல் வழிமுறைகள் பற்றிய சமீபத்திய ஆய்வு:

பிளாட்டோனிக் பிரதிநிதித்துவ கருதுகோள்: https://arxiv.org/html/2405.07987v5

பெரிய மொழியியல் மாதிரிகளில் அறிவாற்றல் வழிமுறைகள்: ஒரு ஆய்வு மற்றும் பார்வை: https://aclanthology.org/2024.findings-emnlp.416/