AI जानते होंगे, पर ये AI इंफरेंस क्या है? जिसके लिए Nvidia ने 1.6 लाख करोड़ खर्च दिए

ये चिप्स लो लेटेंसी (कम देरी) और हाई स्पीड प्रोवाइड करते हैं. जिससे AI ऐप्स रियल-टाइम में काम कर सकें. मसलन, वॉयस असिस्टेंट, इमेज रेकग्निशन या ऑटोनॉमस कारों में डिसीजन लेने के लिए इंफरेंस जरूरी है. ये सिर्फ AI के बल पर नहीं हो सकता. इसमें इंफरेंस का खेल होता है. लेकिन चुनौती ये है कि इंफरेंस के लिए बड़ी मात्रा में कंप्यूटिंग पावर चाहिए. जो महंगा और एनर्जी-कंज्यूमिंग होता है. इसी वजह से कंपनियां जैसे Nvidia और Groq स्पेशल चिप्स डेवलप कर रही हैं.

अब आते हैं डील पर, जो AI इंफरेंस की दुनिया को हिला रहा है. Groq की वेबसाइट के मुताबिक Nvidia की Groq के साथ डील न सिर्फ टेक्नोलॉजी की लाइसेंसिंग है, बल्कि AI चिप मार्केट में कॉम्पिटिशन को नई दिशा देने वाली है. Groq की वैल्यूएशन को देखें तो ये डील और भी हैरान करने वाली है. कुछ महीने पहले ही Groq ने 750 मिलियन डॉलर (लगभग 6 हजार करोड़ रुपये) की फंडिंग राउंड क्लोज की थी, जिसके बाद उसकी वैल्यू 6.9 बिलियन डॉलर (50 हजार करोड़ रुपये से ज्यादा) हो गई थी. Nvidia की डील उससे तीन गुना ज्यादा है, जो दिखाता है कि Groq की टेक्नोलॉजी कितनी वैल्यूएबल है.

Groq 2016 में बनी थी. ये कंपनी AI इंफरेंस के लिए स्पेशलाइज्ड चिप्स बनाती है, जिन्हें LPU कहते हैं. LPU का मतलब लैंग्वेज प्रोसेसिंग यूनिट है, जो लार्ज लैंग्वेज मॉडल्स (LLM) जैसे मेटा के LLaMA या OpenAI के GPT को ऑप्टिमाइज करता है. जोनाथन रॉस Groq के फाउंडर हैं. वो पहले गूगल में काम करते थे और वहां TPU चिप्स के क्रिएटर्स में से एक थे. TPU गूगल की कस्टम ASIC (एप्लिकेशन-स्पेसिफिक इंटीग्रेटेड सर्किट) है, जो AI कामों के लिए डिजाइन की गई है.

Groq की चिप्स क्लाउड सर्विस हार्डवेयर के रूप में उपलब्ध हैं, और ये 20 लाख से ज्यादा डेवलपर्स द्वारा इस्तेमाल हो रही हैं. Groq का क्लेम है कि उनकी चिप्स AI मॉडल्स की परफॉर्मेंस को बनाए रखते हुए या सुधारते हुए, कॉस्ट को काफी कम कर देती हैं. उदाहरण के लिए, अगर GPU पर एक AI क्वेरी प्रोसेस करने में ज्यादा एनर्जी और टाइम लगता है, तो LPU इसे फास्ट और सस्ता बनाता है.

AI के दो मुख्य स्टेज होते हैं. ट्रेनिंग और इंफरेंस. क्लाउडफेयर की रिपोर्ट के मुताबिक ट्रेनिंग में मॉडल को डेटा फीड करके पैटर्न सिखाए जाते हैं, जो पैरेलल प्रोसेसिंग की जरूरत होती है. यहां GPU जैसे Nvidia के प्रोडक्ट्स बेस्ट काम करते हैं. लेकिन इंफरेंस में मॉडल तैयार होता है, और इसे रियल-वर्ल्ड डेटा पर अप्लाई किया जाता है. जैसे, एक इमेज रेकग्निशन ऐप में फोटो अपलोड करने पर वो ऑब्जेक्ट डिटेक्ट करता है, ये इंफरेंस है.

इंफरेंस में स्पीड, लेटेंसी और स्केलेबिलिटी महत्वपूर्ण हैं, क्योंकि ये यूजर-फेसिंग ऐप्स में इस्तेमाल होता है. ट्रेडिशनल GPU ट्रेनिंग के लिए ऑप्टिमाइज्ड होते हैं, लेकिन इंफरेंस के लिए वो ओवरकिल हो सकते हैं. पावर यूज करते हैं और महंगे पड़ते हैं. इसलिए, कंपनियां जैसे Groq LPU डेवलप कर रही हैं, जो सिर्फ इंफरेंस के लिए बनी हैं. ये चिप्स बैच प्रोसेसिंग सपोर्ट करती हैं, जहां कई क्वेरीज एक साथ हैंडल की जा सकती हैं. फायदे- कम लेटेंसी (मिलीसेकंड में रिस्पॉन्स), लो एनर्जी कंजम्प्शन और हाई आउटपुट.

उदाहरण के तौर पर, Groq की चिप्स ओपन-वेट मॉडल्स जैसे मेटा, डीपसीक, क्वेन, मिस्ट्रल, गूगल और OpenAI के मॉडल्स को रन करती हैं. इंडस्ट्री में ये शिफ्ट इसलिए हो रहा है क्योंकि AI ट्रेनिंग से ज्यादा इंफरेंस पर फोकस है, जहां कस्टम सिलिकॉन चिप GPU को चैलेंज कर रहा है.

सबसे पहले, ये दिखाता है कि AI चिप मार्केट में Nvidia की डॉमिनेंस कम हो रही है. वो अब राइवल्स से टेक्नोलॉजी लाइसेंस करके खुद को मजबूत कर रहे हैं. दूसरा, AI इंडस्ट्री में अक्वी-हायर का ट्रेंड बढ़ रहा है. जहां हार्डवेयर से ज्यादा टैलेंट महत्वपूर्ण है. Groq के इन्वेस्टर्स में सैमसंग, सिस्को, ब्लैकरॉक, नीबर्गर बर्मन, अल्टीमीटर कैपिटल, सोशल कैपिटल और 1789 कैपिटल शामिल हैं. जिसमें डॉनल्ड ट्रंप जूनियर भी पार्टनर हैं.

Groq अमेरिकन इंफ्रास्ट्रक्चर पर फोकस करती है, जो हाई स्पीड और लो कॉस्ट इंफरेंस देती है. ये डील AI इंफरेंस को डेमोक्रेटाइज कर सकती है, मतलब छोटी कंपनियां भी एक्सेस कर सकेंगी. लेकिन चुनौतियां भी हैं. कॉम्पिटिशन से प्राइस वॉर हो सकता है, और एनर्जी कंजम्प्शन जैसे मुद्दे. कुल मिलाकर, ये डील AI के फ्यूचर को शेप कर रही है, जहां इंफरेंस हार्डवेयर सेंटर स्टेज ले रहा है.

वीडियो: एप्पल और माइक्रोसॉफ्ट को पछाड़ Nvidia बनी दुनिया की सबसे बड़ी कंपनी