# AI Evals Explained | How to evaluate AI Agents?

हियर इज समथिंग नोबडी रियली टेल्स यू व्हेन यू एक्चुअली स्टार्ट टू बिल्ड एआई एजेंट्स। द हार्डेस्ट पार्ट इज़ंट बिल्डिंग द एजेंट। बिल्डिंग द एजेंट इज प्रॉबब्ली द फन पार्ट। द हार्ड पार्ट इज नोइंग वेदर द

थिंग द्याट यू जस्ट बिल्ट इज एक्चुअली एनी गुड। थिंक अबाउट इट। यू वायर अप एन ए आई एजेंट एंड यू गिव इट सम टूल्स। यू रन इट वंस। इट डज़ समथिंग दट लुक्स काइंड ऑफ़ मैजिकल एंड यू गो यस। इट वर्क्स। बट डस

इट। बिकॉज़ इट वर्क दट वन टाइम दैट यू ट्राइड। इट्स नॉट द सेम थिंग द्याट इट एक्चुअली वर्क्स इन प्रोडक्शन। एंड दैट गैप द्याट लिटिल वॉइस इन द बैक ऑफ़ योर हेड गोइंग। बट डस इट एक्चुअली वर्क दैट हैज़ अ

नेम। इट्स कॉल्ड इवैल्यूएशन ओर इवल्स फॉर शॉक। एंड आई एम गोइंग टू बी स्ट्रेट विथ यू। दिस इज़ वन ऑफ़ द मोस्ट इंपोर्टेंट थिंग्स ड्यात यू नीड टू अंडरस्टैंड इफ यू एवर वांट टू पुट एन एआई एजेंट इंटू

प्रोडक्शन। सो इन दिस वीडियो आय वांट टू वॉर्क यू थ्रू व्हाट एआई इवल्स रियली आर। व्हाई दे मैटर सो मच? इन एकक्टली, हाउ यू फिगर आउट वेदर योर एजेंट इज डूइंग अ गुड

जॉब ऑर नॉट? एंड आय ऍम गोइंग टू डु दिस इन द मोस्ट बिगनर फ्रेंडली वे दैट आय कैन पॉसिब्ली कैन। सो, इफ यू हैव नेवर टच्ड इवाल्स बिफोर, डोंट वरी यू आर इन द राइट

प्लेस। सो हियर व्हाट वी आर गोइंग टु कवर। फर्स्ट, व्हाट एन एआर इवल इज? हाउ इज इट डिफरेंट फ्रॉम द काइंड ऑफ इवैल्यूएशन दैट वी हैव बीन डूइंग इन मशीन

लर्निंग फॉर यूर्स। सेकंड, व्हाट आर द मैट्रिक्स दी एक्चुअल नंबर्स देट टेल यू हाउ गुड योर सिस्टम इज? एंड व्हिच वांट्स टू यूज फॉर डिफरेंट टास्क लाइक

समराइज़ेशन, क्लासिफिकेशन एंड ट्रांसलेशन। एंड थर्ड द पार्ट दैट टाइज इट ऑल टुगेदर। द वर्क फ्लोस दैट यू कैन एक्चुअली रन व्हिच स्टार्टस विथ समथिंग कॉल्ड एज़ अ गोल्डन डेटा सेट। एंड लुक, दिस इज नंट

जस्ट थ्योरी दैट आई एम थ्रोइंग एट यू। सो मेनी पीपल राइट नाउ आर स्पेंडिंग सो मच टाइम लर्निंग टू बिल्ड एजेंटिक एआई सिस्टम्स व्हिच इज ग्रेट। दैट्स वेयर द होल फील्ड इज गोइंग। बट द टीम्स दैट

एक्चुअली गेट दीज एजेंट्स इंटू प्रोडक्शन। दी वंस देट आर रियली बिल्डिंग कोडिंग एजेंट्स एंड रियल कस्टमर सपोर्ट एजेंट्स दे ऑल हैव वन थिंग इन फॉर्म। दे आर नॉट गेसिंग और डूइंग वाइब इवाल्स। दे

आर एक्चुअली मेज़रिंग देम। सो बाई दी एन्ड ऑफ़ दिस वीडियो यू विल हैव अ गुड अंडरस्टैंडिंग ऑफ़ इवाल्स बेटर देन मोस्ट पीपल हु आर ट्राइंग टू बिल्ड ए आई एजेंट्स टुडे। सो, इफ सम ऑफ़ द टर्म्स दैट आय स्पोक

अबाउट साउंडेड इंटिमीडेटिंग, डोंट वरी अबाउट दिस। बाय द एन्ड ऑफ़ दिस वीडियो इट वोंट। एंड अ क्विक थिंग बिफोर वी गेट स्टार्टेड। एवरीथिंग दैट आई ऍम गोइंग बी डिस्कसिंग राइट नाउ एंड ऑल द रिसोर्ज़ विल

बी अवेलेबल इन द डिस्क्रिप्शन बिलो। सो, यू डोंट नीड टू स्क्रबल डाउन एवरीथिंग। जस्ट वॉच इट एंड यू कैन ग्रैब ऑल ऑफ़ दैट लेटर। एंड फॉर एनीबडी हू इज न्यू टू माई चैनल। हाई देयर। आई एम ऐश्वर्या

श्रीनिवासन। आई हैव स्पेंट ओवर 10 इयर्स इन मशीन लर्निंग एंड एआई। आई हैव गट माई मास्टर्स इन डेटा साइंस फ्रॉम कोलंबिया यूनिवर्सिटी। एंड आई हैव वर्क्ड एज़ अ डेटा साइंटिस्ट एट कंपनीज़ लाइक, Microsoft,

Google एंड आईबीएम। आई हैव ऑल्सो लेड डेवलपर रिलेशंस एट वन ऑफ़ द टॉप स्टार्टअप्स कॉल्ड Fireworks एआई। एंड करेंटली आई ऍम को-फाउंडिंग द जेन अकैडमी व्हिच इज़ एन एआई स्किल बिल्डिंग

प्लेटफार्म। दैट्स आल अबाउट द रियल स्टफ द टीम्स आर बिल्डिंग राइट नाउ इन प्रोडक्शन। एंड इवाल्स आर एक्जेक्टली द काइंड ऑफ़ थिंग्स दैट वी टीच। वी आर नॉट जस्ट टीचिंग इंडिविडुअल्स बट वी आर आल्सो डूइंग एआई

ट्रेनिंग फॉर एंटरप्राइजेज। सो यू नो ऑल ऑफ़ दिस इस कमिंग फ्रॉम अ क्रेडिबल सोर्स एंड समबडी हू एक्चुअली डन दिस इन प्रैक्टिस। ओके। सो नाउ लेट्स गेट स्टार्टेड। व्हाट इज़ एआई इवल एंड व्हाई डज़

इट मैटर? ऑनेस्टली, इट इज़ सिंपलर दैन इट साउंड्स। एंड एआई इवल इज़ जस्ट अ स्ट्रक्चरर्ड वे ऑफ़ मेजरिंग हाउ गुड योर एआई आउटपुट्स रियली आर। दैट्स प्रीटी मच

इट। सो, इंसड ऑफ़ आईबोलिंग अ कपल ऑफ़ आंसर्स एंड गोइंग लाइक, या, दैट लुक्स फाइन टू मी, यू एक्चुअली सेट अप अ लिटिल रिपीटेबल प्रोसेस दैट गिव्स यू एन एक्चुअल स्कोर। एंड दैट स्कोर रियली आंसर्स वन क्वेश्चन।

द ओनली क्वेश्चन दैट मैटर्स हिअर। इज माई एआई एजेंट गेटिंग बेटर? ऑर डिड आय डु समथिंग टू ब्रेक इट? सी, एव्री टाइम यू

चेंज अ प्रोंड, ओर यू स्वाप अ मॉडल ओर यू ट्वीक योर रिट्रीवल एंड इवाइल टेल्स यू वेदर यू हेल्पट एजेंट ओर वेदर यू साइलेंटली ब्रोक समथिंग। नाउ आय कैन आलरेडी हियर सम ऑफ़ यू गोइंग। वेट, इजंट

देट बेंचमार्क्स? एंड दैट्स अ टोटली फेयर क्वेश्चन। बिकॉज़ आई एम श्योर यू वुड हैव सीन दोज़ लीडर बोर्ड्स। थिंग्स लाइक Swi बेंच फॉर कोडिंग, टाऊ बेंच, फॉर कस्टमर

सर्विस एजेंट्स, टर्मिनल बेंच फॉर कमांड लाइन स्टफ़ एंड एजेंटिक एनालिसिस इंडेक्स दैट बेसिकली मेशेस अ बंच ऑफ़ दिस टुगेदर इनटू वन स्कोर। सो, लेट मि क्लियर दिस अप फॉर यू बिकॉज़ इट रियली मैटर्स।

बेंचमार्क्स डु टेस्ट द मॉडल। बट दे आर अ जेने जेनेरिक टेस्ट। द सेम टेस्ट इज़ बीइंग यूज़्ड फॉर एव्री सिंगल मॉडल। एंड एआई इवाल्स टेस्ट योर स्पेसिफिक एजेंटिक सिस्टम। ऑन योर टास्क, विथ योर डाटा, एंड

दोज़ आर रियली डिफरेंट थिंग्स। अ मॉडल कैन बी सिटींग राइट एट द टॉप ऑफ़ एव्री लीडर बोर्ड एंड स्टिल कंप्लीटली फॉल अपार्ट फॉर योर स्पेसिफिक यूज़ केस बिकॉज़ गेस व्हॉट। दैट बेंचमार्क नेवर सॉ योर डेटा, इट नेवर

सॉ योर प्रॉम्पट ओर योर यूज़र्स। सो, बेंचमार्क्स आर ग्रेट फॉर पिकिंग व्हिच मॉडल्स टू स्टार्ट विथ, बट इवास आर रियली हाउ यू फाइंड इफ डैट थिंग एक्चुअली वर्क्स फॉर यू। एंड वी आर हियर फॉर द सेकंड थिंग।

नाउ, हियर इज व्हाई दिस मैटर्स सो मच फॉर एआई एजेंट स्पेसिफिकली। एन एजेंट इजंट जस्ट वन आंसर। इट्स अ होल चेन ऑफ़ डिसिशन। इट पिक्स अ टूल, इट कॉल्स इट, इट रीड्स द रिज़ल्ट। इट डिसाइड्स व्हाट टू डु नेक्स्ट,

एंड ऑन एंड ऑन एंड ऑन। देअर इज़ अ लॉट ऑफ़ प्लेसेस वेयर दिज़ थिंग्स कैन क्वाइटली गो साइडवेज। सो, व्हेन योर एआई एजेंट ब्रेक्स इंट्रोडक्शन। यू नीड टू नो वेयर, यू नीड़ टू नो व्हाई। एंड लेट मी टेल यू, यू आर

नॉट गोइंग टू फिगर दैट आउट बाय रीडिंग ट्रांसक्रिप्ट्स वन एट अ टाइम एट 2:00 am इन द मॉर्निंग। दिस इज़ एक्चुअली रिसर्च दिस ईयर शोइंग रफ्ली वन थर्ड गैप बिटवीन हाउ मॉडल्स स्कोर इन द लैब एंड हाउ दे डू

इन रियल डिप्लॉयड वर्क। सो, एआर इवाल्स आर हाउ यू क्लोज़ दैट गैप बिफोर युवर यूज़र्स एक्चुअली फील इट। ओके, सो दैट्स बेसिकली व्हाट एआई इवल इज। बट हियर इस अ थॉट दैट आई एम सर सम ऑफ़ यू प्रॉबब्ली हैविंग। इफ

यू हैव डन मशीन लर्निंग बिफोर यू आर सिटिंग देयर एंड गोइंग हैंग ऑन। वी हैव बीन इवैलुएटिंग मॉडल्स फॉर डेकेड्स। सो व्हाट्स द बिग डील? एंड यू आर प्रॉबब्ली

राइट। सो लेट मी शो यू व्हाट एक्चुअली चेंज्ड बिकॉज़ दिस होल रीज़न व्हाई एआर इवाल्स इज़ ट्रिकी देन इट यूज्ड टू बी। सो, यस, इवैल्यूएशन इज़ नॉट न्यू। वी हैव बीन डूइंग इट फॉर मशीन लर्निंग एंड इवन फॉर

स्टैटिस्टिकल मॉडल्स। बट आई विल बी ऑनेस्ट विथ यू। ओल्ड वे वाज़ अ लॉट इजर एंड इट्स वर्थ अंडरस्टैंडिंग व्हाई। इन ट्रेडिशनल मशीन लर्निंग, दी आउटपुट वाज यूजुअली रियली क्लीन। इट्स इदर अ कैटेगरी लाइक

स्पैम ऑर नॉट स्पैम। अ नंबर लाइक अ प्रिडिक्टेड हाउस प्राइस, अ सिंपल, यस ओर नो, एंड बिकॉज़ द आउटपुट वाज़ दैट क्लीन, ग्रेडिंग इट वाज़ आल्सो क्लीन। यू हैड अ टेस्ट सेट विथ द राइट आंसर्स, एंड यू

कंपेयर दैट विथ द मॉडल्स प्रेडिक्शन अगेंस्ट दोज़ आंसर्स। एंड देन यू कैन इज़ली कैलकुलेट मैट्रिक्स लाइक, एक्यूरेसी, प्रसीजन, रिकॉल, F1 स्कोर, एक एट्सेट्रा। इट वाज़ वैरी ऑब्जेक्टिव। एवरीबॉडी अग्रड

ऑन व्हाट करेक्ट मेंट एंड यू कुड एक्चुअली स्लैप अ हार्ड नंबर ऑन इट। थिंक ऑफ इट लाइक अ मल्टीपल चॉइस टेस्ट। द आंसर इज़ ए, बी, सी, ओर डी। देयर इज़ अ आंसर की। नाउ यू जस्ट काउंट अप हाउ मेनी टाइम्स द मॉडल गॉट

दी आंसर, राइट? प्रीटी इज़ी, राइट? नाउ हियर इज़ व्हाट चेंज्ड विथ लार्ज लैंग्वेज मॉडल्स एंड एआई एजेंट्स। दी आउटपुट इजंट अ

टाइडी कैटेगरी एनीमोर। इट इज़ एन ओपन एंड टेक्स्ट। ऑर अ होल सीक्वेंस ऑफ़ एक्शन दैट योर एआई एजेंट इज़ टेकिंग। एंड मोस्ट ऑफ़ द टाइम देयर इजंट जस्ट वन सिंगल करेक्ट आंसर। लाइक, इफ यू आस्क फॉर अ समरी फॉर एन

आर्टिकल, देयर कुड बी 100 गुड समरीज़ एंड 100 बॅड वांस। एंड टू ग्रेट समरीज़ कैन लुक कंप्लीटली डिफरेंट फ्रॉम ईच अदर। सो, यू कांट रियली चेक इट अगेंस्ट एनी आंसर की बिकॉज़ देयर इज़ नो आंसर की। एंड दैट इज़ द

शिफ्ट दैट वी आर सीइंग राइट नाउ। दिस इज़ द थिंग आय रियली वांट यू टू अंडरस्टैंड। वी वेंट फ्रॉम ग्रेडिंग अ मल्टीपल चॉइस टेस्ट टू ग्रेडिंग एन एस्स। एंड ग्रेडिंग एन एस् इज़ जस्ट हार्डर, राइट? देयर इज़ नो सिंगल

राइट आंसर। यू नीड अ रूब्रिक एंड समबडी हैज़ टू एक्चुअली यूज़ देयर जजमेंट। दैट्स एक्जेक्टली व्हाई एआर इवाल्स आर मोर मेसियर एंड मोर क्वालिटेटिव दैन द एम.एल इवाल्स दैट यू माइट बी यूज़्ड टू। बट हियर

अ गुड न्यूज़। वंस दट रूब्रिक माइंड सेट क्लिक्स फॉर यू, एव्रीथिंग एल्स विल बिकम सिंपलर। सो, लेट्स टॉक अबाउट व्हाट एक्चुअली गोज इन दैट रूब्रिक। व्हिच इज़ मैट्रिक्स। मैट्रिक्स वन ऑफ़ द प्लेसेस

वेयर अ लॉट ऑफ़ पीपल गेट कन्फ्यूज्ड। बिकॉज़ देयर इज़ अ डजन ऑफ़ देम। एंड इट आल फील्स लाइक अल्फाबेट सूप। सो, लेट मी मेक दिस सिंपलर फॉर यू। देर ओनली रियली अ हैंडफुल ऑफ़ द कोर मैट्रिक दैट यू नीड टू रीच फॉर

अगेन एंड अगेन। द बिग वंस आर रेलेवेंस। व्हिच इज़ जस्ट डिड दी आउटपुट एक्चुअली आंसर व्हाट वाज़ आस्क्ड। देन वी हैव फैथफुलनेस, व्हिच इज़ आल्सो समटाइम्स कॉल्ड एज़ ग्राउंडनेस। व्हिच इज इज दिस एक्चुअली

ट्रू एंड बैग्ड बाय रियल डेटा ऑर इज द मॉडल मेकिंग इट अप? दैट वन इज योर हेलुसिनेशन चेक। देन वी हैव करेक्टनेस व्हिच इज डिड इट मैच द एक्सपेक्टेड आंसर

व्हेन देर इज़ वन। एंड देन वी हैव को हियरेंस व्हिच इज़ डज़ इट एक्चुअली रीड वेल। सो, रेलेवेंस, फैथफुलनेस, करेक्टनेस, कोहिरेंस। दीज़ आर द टॉप फोर मैट्रिक्स। बट हियर इज़ द थिंग। द राइट मैट्रिक टोटली

डिपेंडस ऑन योर टास्क। लेट मी शो यू व्हाट आय मीन। से, योर एजेंट इज़ डूइंग समराइज़ेशन, देन यू केयर अबाउट फेथफुलनेस। व्हिच इज़ डिड इट स्टे ट्रू टू द सोर्स विदाउट इन्वेंटिंग स्टफ़। देन वी केयर

अबाउट कवरेज, व्हिच इज़ डिड इट एक्चुअली कैप्चर द मैन पॉइंट्स। देन वी हैव कंसाइनेस व्हिच इज़ डिड इट कीप इट टाइट। नाउ लेटस से दैट योर एजेंट इज़ डूइंग क्लासिफिकेशन। गुड न्यूज़ दिस वन लुक्स

लाइक एन ओल्ड स्कूल मशीन लर्निंग, राइट? यू आर राइट बैक टू थिंग्स लाइक एक्यूरेसी, प्रसीजन, रिकॉल एंड एफ वन स्कोर। बिकॉज़ द आउटपुट इन दिस केस इज़ गोइंग टू बी अ क्लीन लेबल। बट लेट्स से, यू आर डूइंग

ट्रांसलेशन। देन यू केयर अबाउट वेदर द मीनिंग कैरड ओवर। वेदर इट रियली रीड्स नेचुरली इन दी अदर लैंग्वेज वेल। एंड देन यू विल सी मैट्रिक्स लाइक ब्लू एंड कॉमेट शो अप हियर। एंड इफ यू आर डूइंग रैग व्हिच

इज़ रीट्रीवल ऑर्गमेंटेड जनरेशन, यू मेजर थिंग्स लाइक फैथफुलनेस एंड आंसर रेलेवेंस। बिकॉज़ दैट कैचेस द टू टोटली डिफरेंट वेज़ अ रैग सिस्टम ब्रेक्स। बॅड रिट्रीवल ओर बैड जेनरेशन। सो, अ क्विक पॉज बिकॉज़ आई वांट

टू वॉक यू थ्रू समथिंग दैट आई बिल्ट दिस वीक द्याट एक्चुअली चेंज्ड हाउ आई वर्क एंड आई थिंक अ लॉट ऑफ़ यू विल फाइंड दिस यूजफुल। अ बिट ऑफ़ द कॉनंटेक्स्ट फर्स्ट। बिटवीन माई डेविल रोल रनिंग जेन अकैडमी

एंड मेकिंग कंटेंट। आई एम कॉन्सेंटली बिल्डिंग डेमोज़। एव्री सिंगल वीक ऑन डिफरेंट टॉपिक्स, डिफरेंट फ्रेमवर्क्स, डिफरेंट एसडीकेस। एंड इट्स नॉट जस्ट कोड। एव्री डेमो रिक्वायर्स अ रीड मी, अ स्लाइट

डेक, अ स्क्रिप्ट, एंड अ सोशल पोस्ट। नाउ डूइंग ऑल ऑफ़ दैट, एववरी वीक इज जेन्युइनली अ लॉट। सो, आई बिल्ट अ डेमो जनरेटर फॉर माइसेल्फ। आइ सेट इट अप वन्स एंड नाउ एव्री डेमो इज जस्ट वन स्लैश कमांड इन माई

टर्मिनल। आई टाइप द टॉपिक आई मेंशंड द टूलकिट्स आई वांट टू यूज़ एंड आउटकम्स अ फुल डेमो पैकेज। एंड आई बिल्ट दिस यूजिंग मिस्टराल वाइब। इफ यू हैव सीन इट येट, मिस्टराइल वाइब इज मिस्टरा एi

टर्मिनल नेटिव कोडिंग एजेंट व्हिच इज पावर्ड बाय देयर मिस्टराल मीडियम 3.5 फ्लैकशिप मॉडल। इट रंस इन योर टर्मिनल एंड योर आईडी। इट अंडरस्टैंड्स योर फुल कोड बेस एंड हेल्प्स यू राइट, टेस्ट, रिफैक्टर

एंड डिप्लॉय यूजिंग नेचुरल लैंग्वेज। द फीचर दैट मेड दिस होल बिल्ड पॉसिबल इज कस्टम सब एजेंट्स। यू डिफाइन स्पेशलाइज्ड एजेंट्स फॉर टारगेटेड टास्क, गिव इच ऑफ इट अ स्पेसिफिक स्कोप, टूल्स, एंड परमिशंस

एंड अ मैन स्किल डेलीगेट्स टू देम ऑन डिमांड। लेट मी वॉक यू थ्रू हाउ आइ सेट इट अप। कस्टम स्किल्स इन वाइब आर डिफाइंड एज़ स्किल्स डॉट फाइल्स। इट्स अ मार्क डाउन फाइल विद यामिल फ्रंट मैटर दैट

डिक्लेयर्स द स्लैश कमांड एंड द वर्क फ्लो बिहाइंड इट। आई रोट वन कॉल्ड जनरेट डेमो। इनसाइड इट, आई टेल वाइब टू आस्क मी क्लेरिफाइंग क्वेश्चन्स फर्स्ट बिकॉज़ वाइब हैज़ अ बिल्ट इन मल्टीचॉइस क्लेरिफिकेशंस।

एंड देन डेलीगेट्स टू माई सब एजेंट्स इन ऑर्डर। वन डज़ द रिसर्च। वन राइट्स द एक्चुअल डेमो कोड रन्स इट इन माय टर्मिनल टू कन्फर्म दैट इट वर्क्स। वन ड्राफ्टस द रीड मी एंड द स्लाइड आउटलाइन।

एंड इच सब एजेंट्स हेस इट्स ओन टीओएमएल कॉन्फिग फाइल विथ इट्स ओन सिस्टम प्रॉप। द डॉक राइटर रीड्स फ्रॉम अ वॉइस फाइल व्हेर आई हैव रिटेन आउट माइ टोन रूल सो दैट द आउटपुट एक्चुअली साउंड्स लाइक मी एंड नॉट

अ जेनेरिक एआई कॉपी। नाउ वैंस आल ऑफ दिस इस सेट आइ जस्ट टाइप स्लैश जनरेट डेमो इन माई टर्मिनल एंड द होल वर्क फ्लो रन्स। व्हाट यूज़्ड टू टेक मी अ फुल आफ्टरनून नाउ टेकस मि अ ए अ ए अ ए अ ए अ ए अ ए अ ए अ ए

अ ए अ ए फ्यू मिनट्स। सो, इफ यू आर अ डेवलपर बिल्डिंग अ लॉट, ओर यू आर इन डेवलपर रिलेशंस, ओर यू आर टीचिंग एंड शिपिंग डेमोस, गो चेक आउट मिस्टरा वाइब। द सीएलआई इज इंक्लूडेड इन वाइप Pro ओर टीम

एंड यू कैन आल्सो डायरेक्टली लॉन्च वाइब टास्क इफ यू वांट टू स्टार्ट इन द क्लाउड। यू कैन आल्सो टेलीपोट फ्रॉम यूअर सीएलआई टू वाइब मिडवे थ्रू अ सेशन। माई लिंक इस द डिस्क्रिप्शन, अलोंग विथ द फुल

कॉन्फिगरेशन फॉर दिस सेटअप सो यू कैन फोर किट एंड बिल्ड योर ओन। ओके, नाउ बैक टू व्हाट वी वर बिल्डिंग। नाउ लेट मी ज़ूम आउट फॉर अ सेकंड बिकॉज़ हियर इज समथिंग व्हिच इज गोइंग टू सेव यू अ लॉट ऑफ कन्फ्यूजन

डाउन द रोड। अंडर द हुड, ऑल ऑफ़ दिस मैट्रिक्स रियली फॉल इंटू थ्री बकेट्स। एंड इट जस्ट हेल्प्स टू नो देम बाई नेम। द फर्स्ट बकेट इज़ क्लासिक ओवरलैप मैट्रिक्स। दीज़ आर दी ओल्ड रिलायबल वंस फ्रॉम नेचुरल

लैंग्वेज प्रोसेसिंग वर्ल्ड। थिंग्स लाइक, ब्लू फॉर ट्रांसलेशन, रोग फॉर समराइज़ेशन, एंड मीट्योर। एंड ऑल दे रियली डू इज चेक हाउ मच ऑफ योर आउटपुट वर्ड ओवरलैप्स विथ द रेफरेंस आंसर। दे आर फास्ट, दे आर चीप,

एंड दे आर डेड, सिंपल। बट, एंड दिस इज़ अ बिग बट। दे आर बेसिकली ब्लाइंड टू मीनिंग। सो, टू सेंटेन्सेस दैट बेसिकली से दी एक्सैक्ट सेम थिंग इन डिफरेंट वर्ड्स कैन बी स्कोर्ड डिफरेंटली। नाउ, द सेकंड बकेट

इज़ सिमेंटिक मैट्रिक्स। सो, थिंग्स लाइक बर्ड्स स्कोर, ब्लू आर्ट एंड कॉमेट। इंस्टेड ऑफ़ जस्ट मैचिंग वर्ड्स, दे आर एक्चुअली कंपेयरिंग मीनिंग्स यूज़िंग एंबेडिंग्स। सो, दे कैन हैंडल

पैराफ्रेजिंग वे बेटर देन दी ओवरलैपिंग वर्ड्स। एंड देन द थर्ड बकेट इज़ मॉडल बेस्ड मैट्रिक्स। एंड दिस इस वेयर यू लिटरली यूज़ एन एलएलएम टू डुट ग्रेडिंग फॉर यू। सो, दिस इज़ योर एलएलएम एज़ अ जज। प्लस

न्यूअर नेम मेथड्स लाइक, जी इवल। एंड दीज़ आर द ओनली वन्स व्हिच आर फ्लेक्सिबल इनफ टु ग्रेड ओपन एंड मेसी क्रिएटिव आउटपुट्स विथ नो रेफरेंस आंसर्स एट अल। व्हिच लेट्स बी रियल इज व्हाट मोस्ट एक्चुअल एजेंट

टास्क लुक लाइक। सो, यू सी द पैटर्न, राइट? डिफरेंट टास्क डिफरेंट मैट्रिक्स, एंड मोर एंड मोर दीज़ डेज यू सी अ मॉडल डूइंग द ग्रेडिंग, व्हिच ब्रिंग्स मी टू द

सिंगल मोस्ट इंपोर्टेंट हैबिट इन दिस होल वीडियो। दिस इस द थिंग आय रियली वांट यू टू वॉक अवे विथ। डोंट स्टार्ट बाई ग्रैबिंग मैट्रिक्स ऑफ़ अ लिस्ट। प्लीज डोंट डू दैट। स्टार्ट बाय बिल्डिंग अ

गोल्डन डाटा सेट। एंड अ गोल्डन डेटा सेट ऑनेस्टली इज नॉट कॉम्प्लिकेटेड। इट इज जस्ट अ हैंडफुल ऑफ एक्सांपल इनपुट्स। पेयर्ड विथ व्हाट अ ग्रेट आउटपुट लुक्स लाइक, एंड व्हाट अ बैड आउटपुट कुड लुक

लाइक। थिंग्स लाइक योर कॉमन केसेस, योर अनोइंग एज केसेस, एंड एव्री फेलियर यू आलरेडी वॉच्ड ब्लो अप। थिंक ऑफ इट लाइक एन आंसर की डट यू हैव बीन राइटिंग फॉर युवर ओन स्पेसिफिक टास्क। सो, स्टार्ट स्मॉल।

52 एक्जांपल इज जेन्युइनली प्लेंटी टु गेट गोइंग एंड यू आर ऑब्वियस्ली गोइंग टु ग्रो इट ओवर टाइम। हियर इज द पार्ट दैट रियली क्लिक्स फॉर पीपल। वंस यू हैव गोट डाट गोल्डन डाटा सेट सिटींग इन फ्रंट ऑफ़ यू,

यू वर्क बैकवर्ड्स फ्रॉम इट टू फिगर आउट योर मैट्रिक्स? यू जस्ट लुक एट योर एग्जांपल्स एंड यू आस्क योरसेल्फ, ओके, व्हाट वुड मेक दिस आउटपुट गुड, एंड व्हाट

वुड मेक इट बॅड, एंड दोज़ आंसर्स, द क्वांटिफाइड वे ऑफ़ जजिंग दोज़ आंसर्स, आर योर मैट्रिक्स? सो द डेटा सेट कम्स फर्स्ट एंड द मैट्रिक्स फॉल आउट ऑफ इट। सो नाउ यू

गोट योर डेटा सेट एंड यू नो व्हाट टू मेजर? द नेक्स्ट क्वेश्चन इज हाउ डू यू एक्चुअली डुट ग्रेडिंग? देयर आर फोर वेज़

टू डू दैट एंड लेट मी वॉक यू थ्रू देम। सो द फर्स्ट वन इज ह्यूमन इवल्स एंड दिस इज एक्जेक्टली व्हाट इट साउंड्स लाइक। अ पर्सन आइडियली समबडी हू नोस द डोमेन सीट्स डाउन एंड ग्रेड्स द आउटपुट अगेंस्ट योर

रूब्रिक। एंड दैट इज योर गोल्ड स्टैंडर्ड। नथिंग बीट्स इट फॉर क्वालिटी। बट द कैच इज़ दैट इट्स स्लो। इट्स एक्सपेंसिव एंड इट डज नॉट स्केल। यू आर नॉट गोइंग टू हैव अ ह्यूमन ग्रेड एव्री सिंगल रिक्वेस्ट। सो

यू सेव दिस वन फॉर स्मॉल एंड केयरफुल सैंपल एंड यू ट्रीट इट लाइक अ सोर्स ऑफ़ ट्रुथ। द सेकंड वन इज़ यूजर रिबैल्स। एंड दिस इस आल्सो अ रियल सिग्नल फ्रॉम युवर रियल यूज़र्स इन लाइव प्रोडक्शन

एनवायरमेंट? डीड दे डू थम्ब्स अप ओर और थम्स डाउन फॉर योर आंसर? डीड दे एक्सेप्ट इट? ओर डीड दे रजेट इट? डिड दे एडिट व्हाट

यू गव देम? डीड दे फिनिश द टास्क ऑर नॉट? डिड दे कम बैक द नेक्स्ट डे, विथ द सेम क्वेश्चन अगेन? दिस इज अ ग्राउंड ट्रुथ

द्याट एक्चुअली मैटर्स बिकॉज़ इट्स रियल पीपल यूजिंग योर प्रोडक्ट। दी डाउन साइड इज, इट कैन बी नॉइज़ी एंड यू ओनली गेट इट आफ्टर यू एक्चुअली शिफ्ट। सो, इट कैन नोट बी योर सेफ्टी नेट। देन नंबर थ्री इज़ कोड

बेस्ड इवल्स। सम टाइम्स पीपल आल्सो कॉल दीज एज़ प्रोग्रामैटिक इवाल्स। एंड दीज़ आर जस्ट सिंपल चेक दैट यू राइट इन कोड। डिड दी आउटपुट मैच दी एक्सपेक्टेड वैल्यू इज़ द जेसोन वैलिड? डिड द एजेंट कॉल द राइट टूल

विथ द राइट आर्गुमेंट्स? हाउ लॉन्ग डिड इट टेक? हाउ मच डिड इट कॉस्ट? दीज़ आर चीप एंड

दे आर इंस्टेंट। यू कैन रन देम ऑटोमेटिकली ऑन एव्री सिंगल चेंज। बट द कैचेस दे ओनली वर्क व्हेन यू हैव क्लीयरली चेकबल आंसर्स। व्हिच बाई द वे इज़ एक्जेक्टली व्हाई दे पेअर सो ब्यूटीफुली विथ क्लासिफिकेशन

टास्क। एंड द फोर्थ वन, एंड दिस इज़ द वनट कंप्लीटली चेंज द गेम। एलएलएम एज़ अ जज। यू टेक अ रियली स्ट्रांग एंड लार्ज मॉडल एंड यू यूज इट टू ग्रेड योर आउटपुट्स अगेंस्ट योर रूब्रिक। एंड दिस इज व्हाट फाइनली

लेट्स दी एस्स स्टाइल ग्रेडिंग एक्चुअली स्केल। इट कैन जज दी ओपन एन्डेड स्टफ देट प्लेन कोड नेवर कुड। लाइक, इज दिस हेल्पफुल? ऑर इज़ दिस ग्राउंडेड टू सोर्स।

एंड इट कैन आल्सो डु दैट फॉर थाउजेंड्स ऑफ़ आउटपुट्स। दियर इज़ वन रूल दो एंड इट्स अ रियल वन। योर जज मॉडल हैज़ बायोसीस। इट टेंड्स टू लाइक लॉन्गर आंसर्स, एंड इट टेंड्स टू लाइक व्हएवर रेस्पोंस इट हैपेंड

टू सी फर्स्ट। सो, यू ओनली ट्रस्ट योर एलएलएम जज आफ्टर यू हैव चेक इट्स ग्रेड्स अगेंस्ट अ ह्यूमन ऑन सैंपल। कीप इट ऑनेस्ट, एंड इट बिकम्स योर एब्सोल्यूट वर्क हो। सो, दोज़ वर योर फोर ग्रेडर्स।

नाउ दी ऑब्वियस नेक्स्ट क्वेश्चन इज हाउ डु यू पुट ऑल ऑफ़ दिस टुगेदर इंटू समथिंग दैट यू कैन एक्चुअली रन वीक आफ्टर वीक इंसड ऑफ डूइंग इट वंस एंड फोरगेटिंग अबाउट इट। एंड दैट दैट्स कॉल्ड लूप। दैट्स द

लास्ट पीस दैट वी विल टॉक अबाउट। एआई इवाल्स आर नॉट अ वन टाइम रिपोर्ट कार्ड द्याट यू कैन रन राइट बिफोर यू लॉन्चिंग एंड नेवर टच इट अगेन। दे आर एक्चुअली अ लूप। समथिंग द्याट यू रन ओवर एंड ओवर

अगेन। द इज़िएस्ट वे टू थिंक अबाउट इट इज लाइक ऑटोमेटेड टेस्टिंग फॉर सॉफ्टवेयर। यू डोंट जस्ट टेस्ट योर कोड वन टाइम एंड देन जस्ट वॉक अवे राइट। यू रन योर टेस्ट ऑन एव्री चेंज फॉरएवर। इट इज़ दी एक्सक्ट सेम

आइडिया। सो इन सॉफ्टवेर यू डू सीआईसीडी। एंड इन एआई एजेंट्स यू डु सीआईसीडी प्लस कंटीन्यूअस इवैल्यूएशन एंड कंटीन्यूअस मॉनिटरिंग। ओके? सो लेट मी गिव यू दयाट

साइकिल व्हिच इज नाइस एंड सिंपल। यू स्टार्ट बाई डिसाइडिंग व्हाट गुड इवन मीन्स। एंड यू हैव टू गेट रियली स्पेसिफिक अबाउट इट। देन यू बिल्ड द गोल्डन डेटा सेट दैट वी टॉकड अबाउट। देन यू पिक योर

मैट्रिक्स बाइ वर्किंग बैकवर्ड्स फ्रॉम द डेटा सेट। देन यू रन अ बेसलाइन व्हिच जस्ट मीन्स ड्यात यू रन योर करंट सिस्टम अक्रॉस द होल डेटा सेट एंड यू गेट अ नंबर। एंड दैट नंबर इज एक्चुअली योर स्टार्टिंग

लाइन। बिकॉज़ विथाउट दैट बेसलाइन, अह इट फील्स बेटर इज नॉट रियली डाटा। इट्स जस्ट वाई बी वेल। सो, यू स्टार्ट फ्रॉम योर बेसलाइन एंड ट्राइ टू कीप इंप्रूविंग ऑन टॉप ऑफ इट। एंड देन आफ्टर दैट कम्स माई

फेवरेट स्टेप, एंड इट्स द वन डैट एवरीबडी रशेस राइट पास्ट। यू गो एंड लुक एट द फेलियर्स, एंड यू ग्रुप देम। आर दे ऑल कमिंग फ्रॉम रीट्रीवल मिसेस। आर दे ऑल कमिंग फ्रॉम फॉर्मेटिंग स्क्रूअप्स। आर दे

ऑल कमिंग फ्रॉम सेम वियर्ड एज केसेस। बिकॉज़ दैट ग्रुपिंग टेल्स यू एक्जेक्टली व्हाट टू फिक्स इन योर एआर एजेंट्स। देन यू फिक्स इट यूजुअली बाइ ट्वीकिंग योर प्रोम्प्स ओर बाय योर रिट्रीवल ओर जस्ट

योर टूल डेफिनेशनस। एंड देन दिस पार्ट इज़ क्रूशियल। यू रीरन अगेंस्ट द सेम एक्जेक्ट डेटा सेट। डिड योर नंबर्स गो अप एंड जस्ट एज़ इम्पोर्टेन्ट डिड यू एक्सीडेंटली ब्रेक समथिंग दैट यूज्ड टू वर्क अर्लियर? दैट

राइट देयर कैचिंग थिंग दैट यू ब्रोक विथाउट इवन रियलाइजिंग दैट इज द एंटायर रीजन व्हाई द लूप एक्सिस्ट्स। देयर इज़ एक्चुअली एन इंटरेस्टिंग कॉन्सेप्ट इन एआई एजेंट्स कॉल्ड वेक अमूल। आई विल ऐड अ लिंक

अबाउट इट बिलो। सो डेफिनेटली गो एंड रीड अबाउट इट। सो नाउ कमिंग बैक टू द लूप्स। यू जस्ट कीप गोइंग विथ इट। बिकॉज़ दिस ऑनेस्टली नेवर स्टॉप्स। वंस यू आर इंट्रोडक्शन यू आर ऑलवेज वाचिंग योर लाइव

ट्रैफिक। बिकॉज़ हियर इस द फन पार्ट। योर मॉडल प्रोवाइडर कैन क्वाइटली अपडेट द मॉडल्स अंडर नीथ यू एंड योर बिहेवियर जस्ट शिफ्टस ओवर नाइट विथाउट यू टचिंग अ थिंग। सो योर रियल वर्ल्ड फेलियर्स फ्लो राइट

बैक इनटू यूर गोल्डन डेटा सेट एंड यू रन द होल थिंग अगेन। एंड द गुड न्यूज़ इज़ डट यू डोंट हेव टू बिल्ड एनी ऑफ़ दिस फ्रॉम स्क्रैच। फॉर रनिंग द इवाल्स देमसेल्व्स, देयर टूल्स लाइक प्र्पू व्हिच लेट्स यू

टेस्ट प्रोम्प्स एंड रन इवाल्स राइट फ्रॉम द कमांड लाइन। एंड अ लाइब्रेरी लाइक रागास व्हिच गिव्स यू दोज़ रैग मैट्रिक्स स्ट्रैट आउट ऑफ द बॉक्स। एंड फॉर वाचिंग व्हाट्स हप्पेनिंग इन इंट्रोडक्शन द ट्रेसिंग एंड

द मॉनिटरिंग साइड यू हैव टूल्स लाइक लैंग्मिथ, लैंगफ्यूज, अराइज़ एंड ब्रेन ट्रस्ट। सो, लुक, द टीम दैट आर रियली विनिंग इन दिस गेम दे आर रियली ट्रीटिंग इवास लाइक कंटीन्यूअस टेस्टिंग। दे आर

ऑलवेज रनिंग विथ इट। दे आर कैचिंग द प्रॉब्लम्स बिफोर यूजर इवन सी देम। एंड द टीम्स हु आर एक्चुअली गेटिंग दिस थिंग्स ब्रोकन। दे आर एक्चुअली रनिंग इट वंस दे आर शिपिंग इट एंड देन दे जस्ट फाइंड अबाउट

एव्री सिंगल बग फ्रॉम एंग्री यूज़र्स। सो डोंट बी देट टीम। ओके। सो आई नो वी कवर्ड अ लॉट। इफ यू टेक अवे जस्ट वन थिंग फ्रॉम दिस होल वीडियो लेट इट बी दिस। यू विल नेवर एवर नो इफ योर ए आर एजेंट एक्चुअली

वर्क्स बाई वाचिंग इट सक्सीड वन टाइम। यू ओनली नो बाई मेजरिंग इट ऑन योर डाटा अगेन एंड अगेन। एंड डेट इज वॉट ए आर इवाल इज। एंड दैट इज द स्किल दैट सेपरेट्स पीपल हु आर जस्ट बिल्डिंग डेमो एजेंट्स

फ्रॉम द पीपल हु आर एक्चुअली शिपिंग देम। नाउ इफ दिस वीडियो लेट्स समथिंग अप इन यू एंड यू आर सिटींग देयर थिंकिंग ओके आई एक्चुअली नाउ वांट टू बिल्ड एआई एजेंट्स राइट अवे लेट मि टेल यू हाउ टु गो डीपर एज

आय सेड आई एम कोफाउंडिंग द जेन अकैडमी विथ अरविंद नारायण मूर्ति एंड इट्स एन ए आई एजुकेशनल इंस्टीट्यूट। आवर एंटायर मिशन इज टू ट्रेन पीपल टू बिकम टॉप ए आई बिल्डर्स इन द वर्ल्ड एंड इट्स जेनुइनली बिल्ट फॉर

एवरीवन ऑन अ मॉडर्न टीम बोथ द टेक्निकल बिल्डर्स द सॉफ्टवेयर एंड ए आई इंजीनियर्स एंड नॉट टेक्निकल फोक्स लाइक प्रोडक्ट मैनेजर्स पीएमएमस जीटीएम फोक्स पीपल आर वर्किंग इन सेल्स एक्सेट्रा इन टुडेज

वर्ल्ड एवरीवन कैन बी अ बिल्डर आवर फ्लैगशिप प्रोग्राम इस सिक्स वीक मास्टरिंग एजेंटिक एआर सर्टिफिकेशन एव्री सिंगल वीक वी आर कंडक्टिंग लाइव क्लासेस एंड वी आर टीचिंग लाइफ समथिंग दैट आई आई

आई आई आई आई आई आई आई आई सुपर प्राउड ऑफ इज दैट वी हैव पार्टनर्ड विथ कंपनीज़ लाइक एनवीडी ओपन AI Fireworks AI Pinec 11 Labs

LMA इंडेक्स Langचे मेम ज़ीरो रेप्लेट एंड सो मेनी मोर। सो वी यू आर एक्चुअली गोइंग बी गेटिंग क्रेडिट्स फ्रॉम दिस कंपनीज़ एंड वी आर आल्सो गोइंग टू बी ब्रिंगिंग देयर टॉप एआई एक्सपर्ट्स टू कम एंड डु गेस्ट

लेक्चर्स। वन मोर थिंग दिस सर्टिफिकेशन इज़ युजुअली कवर्ड अंडर द लर्निंग एंड डेवलपमेंट बजट एट मोस्ट कंपनीज। सो यू कैन एक्चुअली गेट दिस रीइम्बर्स बाय योर एम्प्लायर। आई विल ऐड आल द डिटेल्स अबाउट

द सर्टिफिकेशन इन द डिस्क्रिप्शन बिलो। सो, यू कैन गो चेक इट आउट। आई रियली होप दिस वाज हेल्पफुल फॉर यू। एंड इफ इट वाज, प्लीज डु मेक श्योर टु सब्सक्राइब टु माई चैनल। आई पोस्ट ट्वाइस अ वीक एंड डु अ लॉट

ऑफ दिस डीप डाइव एआई एक्सप्लेनर्स। एंड आल्सो शेयर माई ओन जर्नी बिल्डिंग अ करियर एज़ अ एआई लीडर हिर इन द यूएस एज़ एन इमीग्रेंट फ्रॉम इंडिया। एंड इफ यू हेव एनी क्वेश्चन, प्लीज फील फ्री टू ड्रॉप

द्याट इन द कमेंट्स बिलो। आई एक्चुअली रीड दोज एंड आई ट्राई टू आंसर एज़ मच एज़ आय कैन। ओके देन आई सी यू इन द नेक्स्ट वन।