வானிலை எப்போது மாறியது என்பதை நான் ஏன் எல்எல்எம்களை நம்பவில்லை | தரவு அறிவியலை நோக்கி

அவர்களுக்கு ஒரு எளிய சிக்கல் உள்ளது: அவர்கள் உங்களுக்கு முன்னறிவிப்பைக் காட்டுகிறார்கள், ஆனால் அது உண்மையில் எப்போது மாறியது என்பதை அவர்கள் உங்களுக்குச் சொல்லவில்லை.

இது அற்பமாகத் தோன்றலாம். அது இல்லை.

ECMWF IFS போன்ற நவீன எண்ணியல் வானிலை முன்னறிவிப்பு அமைப்புகள் (NWP) ~9 கிமீ தெளிவுத்திறனில் குறிப்பிடத்தக்க துல்லியமான முன்னறிவிப்புகளை உருவாக்குகின்றன, சில மணிநேரங்களுக்கு ஒருமுறை புதுப்பிக்கப்படும். தரவு ஏற்கனவே நன்றாக உள்ளது.

பிரச்சனை முன்னறிவிப்பு அல்ல.

பிரச்சனை கவனமாக: அந்தத் தரவில் ஏற்படும் மாற்றம் உண்மையில் முக்கியத்துவம் வாய்ந்ததாக இருக்கும் என்பதை அறிவது.

மென்பொருள் பொறியியலில் இருந்து நான் கற்றுக்கொள்ளவில்லை. நான் பல ஆண்டுகளுக்கு முன்பு, இன்ஸ்டிடியூட்டோ பால்சீரோவில் குழப்பக் கோட்பாட்டைப் படித்தேன். அங்குதான், டைனமிக் சிஸ்டம்ஸ் மூலம் பணிபுரியும் போது, நான் முதலில் சற்று குழப்பமான யோசனையை சந்தித்தேன்:

ஒரு அமைப்பு முற்றிலும் தீர்மானிக்கக்கூடியதாகவும், கிட்டத்தட்ட கணிக்க முடியாததாகவும் இருக்கும்.

அந்த எண்ணம் என்னுள் நிலைத்தது. பல ஆண்டுகளுக்குப் பிறகு, நான் AI அமைப்புகளை உருவாக்கத் தொடங்கியபோது, அவர்களில் பலர் அதைப் புறக்கணிக்கிறார்கள் என்பதை உணர்ந்தேன்.

“அதிர்வு அடிப்படையிலான” டெல்டாக்களில் உள்ள சிக்கல்.

டெவலப்பர்கள் வானிலை முகவர்களை எவ்வாறு உருவாக்குகிறார்கள் என்பதைப் பார்க்கத் தொடங்கியபோது, நான் ஒரு வடிவத்தைக் கவனித்தேன்:

முன்னறிவிப்பு தரவை மீட்டெடுக்கவும்
எல்.எல்.எம்
கேள்: “வானிலை கணிசமாக மாறிவிட்டதா?”

முதல் பார்வையில், இது நியாயமானது. ஒரு இயற்பியல் கண்ணோட்டத்தில், இது சிக்கலாக உள்ளது-குறைந்தபட்சம் முடிவெடுக்கும் எல்லை ஏற்கனவே நன்கு வரையறுக்கப்பட்ட பிரச்சனைகளுக்கு-ஏனெனில் அது நன்கு வரையறுக்கப்பட்ட வாசலை நிகழ்தகவு விளக்கத்துடன் மாற்றுகிறது.

ஒரு குழப்பமான அமைப்பில், பொருள் என்பது ஒரு மொழியியல் தீர்ப்பு அல்ல – இது வெப்பநிலை, மழைப்பொழிவு அல்லது காற்றின் வேகம் போன்ற மாறிகள் மீது வரையறுக்கப்பட்ட வரம்பு ஆகும். இது அளவுகள், சூழல் மற்றும் நேர எல்லைகளைப் பொறுத்தது.

எல்எல்எம் என்பது ஒரு சீரற்ற செயல்முறை. இது மொழியை உருவாக்குவதில் மிகவும் சிறந்தது, ஆனால் இது இயற்பியல் அமைப்புகளில் உறுதியான வரம்புகளை விதிக்க வடிவமைக்கப்படவில்லை.

முன்னறிவிப்பு “கணிசமான அளவு மாறியிருக்கிறதா” என்று LLMயிடம் கேட்கும் போது, நீங்கள் வெளிப்படையாக வரையறுத்திருக்கக்கூடிய ஒரு நிர்ணய விதியை தோராயமாக மதிப்பிட நிகழ்தகவு மாதிரியைக் கேட்கிறீர்கள். நீங்கள் நிலைத்தன்மையை விரும்பும் இடத்தில் இது மாறுபாட்டை அறிமுகப்படுத்துகிறது.

தோல்வி முறைகள் நுட்பமானவை:

தரவைக் காட்டிலும் சொற்றொடர்களிலிருந்து ஊகிக்கப்படும் போக்குகள்
ஒத்த உள்ளீடுகளுக்கு இடையே சீரற்ற முடிவுகள்
சோதனை அல்லது இனப்பெருக்கம் செய்ய முடியாத வெளியீடுகள்

பல பயன்பாடுகளில் இது ஏற்கத்தக்கதாக இருக்கலாம். விவசாயம், ஆற்றல் மற்றும் தளவாடங்களில் – 3 டிகிரி செல்சியஸ் வீழ்ச்சி என்பது ஒரு பயிருக்கு ஒரு கட்ட மாற்றம், ஆற்றல் தேவையில் நேரியல் அல்லாத அதிகரிப்பு அல்லது செயல்பாட்டுத் தடங்கல் – இது இல்லை. இந்த முடிவுகள் நிலையானதாகவும் விளக்கக்கூடியதாகவும் இருக்க வேண்டும்.

இது என்னை ஒரு எளிய விதிக்கு இட்டுச் சென்றது:

நீங்கள் ஒரு வலியுறுத்தல் அறிக்கையை எழுத முடியும் என்றால், நீங்கள் ஒரு ப்ராம்ட்டைப் பயன்படுத்தக்கூடாது.

இந்த பிரச்சனைக்கு என் வழி

எனது வாழ்க்கை ஒரு நேர் கோடு போலவும், கட்ட இடைவெளி வழியாக செல்லும் பாதை போலவும் காணப்பட்டது. காலநிலை இயக்கவியலில் மேரி கியூரி முனைவர் பட்டம், உருகுவேயின் தேசிய வானிலை ஆய்வு நிறுவனத்தில் ஐந்தாண்டுகள் R&D – காட்டுத் தீ தடுப்பு, பருவகால முன்னறிவிப்பு, காலநிலை தழுவல் – பின்னர் மைக்ரோசாப்ட் மற்றும் மெர்காடோ லிப்ரேயில் ML தயாரிக்கும் நடவடிக்கை.

இந்த வளைவு எனக்கு குறிப்பிட்ட ஒன்றைக் கொடுத்தது: தரவு இயற்பியல், மாதிரி தகுதி எல்லைகள் மற்றும் ஒரு இயற்பியல் அமைப்பில் உண்மையில் “குறிப்பிடத்தக்க மாற்றம்” என்றால் என்ன என்பதை நான் ஏற்கனவே புரிந்துகொண்டேன். மென்பொருள் சுருக்கமாக அல்ல – அறியப்பட்ட நிச்சயமற்ற வரம்புகளைக் கொண்ட மாறியில் அளவிடக்கூடிய டெல்டாவாக.

நான் AI அமைப்புகளை உருவாக்கத் தொடங்கியபோது, உள்ளுணர்வு உடனடியாக இருந்தது: இது ஒரு வாசல் பிரச்சனை. வரம்புகள் குறியீட்டிற்கு சொந்தமானது, கோரிக்கைகள் அல்ல.

Skygent என்பது இந்த நுண்ணறிவின் வெளிப்பாடாகும் – முன்னறிவிப்புகளைக் காட்டாமல், அவற்றில் குறிப்பிடத்தக்க மாற்றங்களைக் கண்டறிய வடிவமைக்கப்பட்ட ஒரு முகவர்.

பயனர் வரையறுக்கப்பட்ட நிகழ்வுகளுக்கான உண்மையான முன்னறிவிப்புத் தரவில் கணினி தொடர்ந்து இயங்குகிறது, ஒவ்வொரு சில மணிநேரங்களுக்கும் மாற்றங்களை மதிப்பீடு செய்கிறது மற்றும் முன் வரையறுக்கப்பட்ட நிபந்தனைகள் பூர்த்தி செய்யப்பட்டால் மட்டுமே விழிப்பூட்டல்களைத் தூண்டுகிறது. நடைமுறையில், பெரும்பாலான மதிப்பீட்டுச் சுழற்சிகள் எந்த விழிப்பூட்டல்களையும் விளைவிப்பதில்லை – மாற்றங்களின் ஒரு சிறிய பகுதியே முக்கியத்துவ வரம்பை மீறுகிறது. அதுதான் புள்ளி: சமிக்ஞை, சத்தம் அல்ல.

கட்டிடக்கலை

ஸ்கைஜென்ட் ஒரு சுத்தமான ஐந்து-அடுக்கு பிரிப்பைப் பின்பற்றுகிறது:

வானிலை எப்போது மாறியது என்பதை நான் ஏன் எல்எல்எம்களை நம்பவில்லை | தரவு அறிவியலை நோக்கி — கட்டிடக்கலை விளக்கம்

ஒரு அடுக்கு மட்டுமே LLM என்று அழைக்கப்படுகிறது.

தீர்மானிக்கும் வாயில்காப்பாளர்

மையத்தில் ஒரு பைதான் மதிப்பீட்டாளர் இருக்கிறார். அது விளக்கவில்லை, கணக்கிடுகிறது. இது:

Pydantic மூலம் சரிபார்க்கப்பட்ட தொடர்ச்சியான முன்னறிவிப்பு ஸ்னாப்ஷாட்களை ஒப்பிடுக
கட்டமைக்கக்கூடிய வரம்புகளுக்கு எதிராக டெல்டாக்களை மதிப்பிடுகிறது
உட்பொதிவு சூழல்: நிகழ்வு வகை, மாறி உணர்திறன்
NWP செட் தகுதி வரம்புகளைப் பயன்படுத்தி முன்னறிவிப்பு அடிவானத்திற்கான எண்ணிக்கை – 24-மணிநேர முன்னறிவிப்புக்கு மாற்றமானது 10-நாள் முன்னறிவிப்புக்கு மாற்றப்படும் அதே நம்பகத்தன்மையைக் கொண்டிருக்காது

இங்குதான் முடிவுகள் எடுக்கப்படுகின்றன. ஒவ்வொரு விழிப்பூட்டலுக்கும் ஒரு கண்டறியக்கூடிய பாதை உள்ளது: எந்த மாறி மாறியது, எவ்வளவு, எந்த வரம்பை மீறியது. கார்ப்பரேட் அல்லது அரசாங்க சூழலில், விளக்க முடியும் ஏன் தூண்டப்பட்ட எச்சரிக்கை – “மாடல் அதை உணர்ந்தது” என்று கூறாமல் – விருப்பமானது அல்ல.

ஷட்டர்

ஒரு வரம்பை மீறினால் மட்டுமே எச்சரிக்கை தூண்டப்படும். டெல்டா எல்லையை கடக்கவில்லை என்றால், எதுவும் நடக்காது. இது ஒரு பைனரி, சோதிக்கக்கூடிய நிலை – ஒரு தீர்ப்பு அழைப்பு அல்ல.

கதை சொல்பவர்

முடிவெடுத்த பிறகுதான் எல்எல்எம் பைப்லைனில் நுழைகிறது. அதன் பங்கு கண்டிப்பாக வரையறுக்கப்பட்டுள்ளது: கட்டமைக்கப்பட்ட JSON தரவை எடுத்து, அதை இயற்கையான மொழியில் மொழிபெயர்க்கவும்.

# Structured payload sent to GPT-4o-mini
{
    "event_name": "Ana's Wedding",
    "variable": "precipitation_probability_max",
    "from_value": 10.0,
    "to_value": 50.0,
    "delta": 40.0,
    "horizon_days": 5.2,
    "confidence": "medium"
}

வெளியீடு:

“உங்கள் நிகழ்வு சாளரத்தில் மழைக்கான வாய்ப்பு 10% இலிருந்து 50% ஆக அதிகரித்துள்ளது. 5 நாள் முன்னறிவிப்பு அடிவானத்தின் காரணமாக நம்பிக்கை மிதமானது.”

LLM எதையும் முடிவு செய்வதில்லை. அது தன்னை விளக்குகிறது.

இந்த கட்டிடக்கலை ஏன் சோதனைக்குரியது

ஒரு தூய LLM முகவர் மூலம் 100% சோதனைக் கவரேஜைப் பெறுவது கிட்டத்தட்ட சாத்தியமற்றது – நிகழ்தகவு முடிவுகளில் நீங்கள் உறுதியான அறிக்கைகளை எழுத முடியாது.

கலப்பின அணுகுமுறை இதை மாற்றுகிறது. முடிவு தர்க்கம் என்பது பைடான்டிக் சரிபார்க்கப்பட்ட உள்ளீடுகளுடன் கூடிய தூய பைதான்: 204 அலகு சோதனைகள், சோதனைத் தொகுப்பில் பூஜ்ஜிய LLM சார்புகள். LLM ஆனது விவரிப்பு தொனியை மட்டுமே கையாள்கிறது – இது இயற்கையான மொழி உருவாக்கத்தில் இருந்து உண்மையில் பயனடைகிறது.

இது வெறும் சோதனை வசதி அல்ல. இது ஒவ்வொரு முடிவையும் குறிக்கிறது
LLM இல் இருந்து சுயாதீனமாக அமைப்புகளை விளக்கலாம், மீண்டும் உருவாக்கலாம் மற்றும் சரிபார்க்கலாம்.

நிகழ்வு அடிப்படையிலான LLM அழைப்பு

ஒரு அப்பாவி முகவர் ஒவ்வொரு வாக்குப்பதிவு சுழற்சியிலும் LLM ஐ அழைக்கிறார். இது இல்லை.

Skygent ஒவ்வொரு 6 மணிநேரமும் மதிப்பீடு செய்கிறது. ஒரு நேவ் சர்வே ஏஜெண்டிற்கான ~28 கோரிக்கைகளுடன் ஒப்பிடும்போது, ஒவ்வொரு கண்காணிக்கப்படும் நிகழ்வுக்கும் வாரத்திற்கு ஒருமுறை அல்லது இரண்டு முறை வரம்பு மீறினால் மட்டுமே இது மாதிரியை அழைக்கிறது.

gpt-4o-mini இன் விலையில் (ஒரு கதைக்கு ~$0.0001), செலவு மிகக் குறைவு. மிக முக்கியமாக, விலை உண்மையான தகவலுக்கு விகிதாசாரமாகும்: தொடர்பு கொள்ளத் தகுந்த ஏதாவது நடந்தால் மட்டுமே LLM அழைப்பிற்கு நீங்கள் பணம் செலுத்துவீர்கள்.

ஒரு உறுதியான உதாரணம்

முந்தைய ஸ்னாப்ஷாட்: மழைக்கான வாய்ப்பு 10%, அதிகபட்ச வெப்பநிலை 22°C, காற்று மணிக்கு 15 கி.மீ.

தற்போதைய ஸ்னாப்ஷாட்: மழைக்கான வாய்ப்பு 50%, அதிகபட்ச வெப்பநிலை 21.4°C, காற்று மணிக்கு 18 கி.மீ.

வாசல்: மழை நிகழ்தகவு Δ > 20pp என்றால் எச்சரிக்கை

மதிப்பீட்டின் அதிர்வெண்: ஒவ்வொரு 6 மணிநேரமும்

முடிவு: எச்சரிக்கை தூண்டப்பட்டது → GPT-4o-mini கதையை உருவாக்குகிறது → டெலிகிராம் டெலிவரி

எடுத்துக்காட்டு Skygent எச்சரிக்கையின் ஸ்கிரீன்ஷாட்

இந்த முறை உடைக்கும்போது

இந்த அணுகுமுறை எல்லா இடங்களிலும் பொருந்தாது. இது எப்போது உடைகிறது:

உள்ளீடுகள் கட்டமைக்கப்படாதவை அல்லது தெளிவற்றவை
முடிவு வரம்புகளை வரம்புகளாக குறியிட முடியாது
நியாயம் திறந்திருக்கிறது

இந்தச் சமயங்களில், LLM-முதல் கட்டமைப்புகள்—ReAct, Plan-and-Execute—அதிக அர்த்தமுள்ளதாக இருக்கும்.

ஒரு மறுப்பு: Skygent இல் உள்ள வரம்புகள் உள்ளமைக்கக்கூடிய இயல்புநிலைகள் – வானிலை நடைமுறையின் மூலம் தெரிவிக்கப்படும் நியாயமான தொடக்க புள்ளிகள், ஆனால் குறிப்பிட்ட பயன்பாட்டு நிகழ்வுகளுக்கான வரலாற்று முன்னறிவிப்பு பிழைகளுக்கு அளவீடு செய்யப்படவில்லை. உண்மையான முடிவுகளுக்கு எதிரான அளவுத்திருத்தம் என்பது எந்தவொரு செங்குத்துச் செயலாக்கத்திற்கும் இயல்பான அடுத்த படியாகும். மாதிரி ஒலி; அளவுருக்கள் ஒரு தொடக்க புள்ளியாகும்.

மூடு

இந்த அமைப்பை உருவாக்க நான் எடுத்த மிக முக்கியமான முடிவு ஒரு மாதிரி அல்லது சட்டத்தை தேர்வு செய்யவில்லை.

எங்கே என்று முடிவு செய்யப்பட்டது இல்லை எல்எல்எம் பயன்படுத்த.

மொழி மாதிரிகளுக்கு இன்னும் அதிகமாகப் பிரதிநிதித்துவம் செய்யும் ஒரு போக்கு தற்போது உள்ளது – அவர்கள் அதைக் கண்டுபிடிக்க அனுமதிக்க வேண்டும். ஆனால் சில சிக்கல்கள் ஏற்கனவே கட்டமைப்பைக் கொண்டுள்ளன. சில முடிவுகளுக்கு ஏற்கனவே வரம்புகள் உள்ளன.

அவர்கள் அவ்வாறு செய்யும்போது, அவர்கள் மொழியின் தோராயமானது தவறான நடவடிக்கையாகும். அவற்றை வெளிப்படையாக குறியாக்கம் செய்வது நல்லது.

நடைமுறையில், இது பெரும்பாலும் ஒரு எளிய வேறுபாட்டிற்கு வரும்: முடிவுகளை விளக்குவதற்கு LLMகளைப் பயன்படுத்துங்கள், நன்கு வரையறுக்கப்பட்டவற்றை மாற்ற வேண்டாம்.

முழு செயலாக்கம் – முக்கியத்துவம் மதிப்பீட்டாளர், லாங்கிராப் பைப்லைன், டெலிகிராம் பாட் – இங்கே கிடைக்கிறது: github.com/ferariz/skygent

பெர்னாண்டோ அரிஸ்மெண்டி கடுமையான அறிவியல் முறை மற்றும் பயன்பாட்டு AI இன்ஜினியரிங் சந்திப்பில் AI அமைப்புகளை உருவாக்குகிறார். அவர் ஒரு இயற்பியலாளர் (B.Sc. & M.Sc.) Instituto Balseiro, முன்னாள் மேரி கியூரி ஃபெலோ (Ph.D. காலநிலை இயக்கவியல் மற்றும் சிக்கலான அமைப்புகளைப் படிக்கிறார்) மற்றும் முன்னர் உருகுவேயில் உள்ள தேசிய வானிலை ஆய்வு நிறுவனத்தில் ஆராய்ச்சி மற்றும் மேம்பாட்டிற்கு தலைமை தாங்கினார்.

LinkedIn · GitHub