कृत्रिम बुद्धिमत्ता के निरंतर विकसित होते परिदृश्य में, यांडेक्स रिसर्च टीम ने आईएसटी ऑस्ट्रिया, न्यूरलमैजिक और केएयूएसटी के साथ मिलकर बड़े भाषा मॉडल (एलएलएम) के संपीड़न में अभूतपूर्व प्रगति पेश की है।
ये नवाचार, जिन्हें एडिटिव क्वांटाइजेशन फॉर लैंग्वेज मॉडल्स (AQLM) और PV-ट्यूनिंग के नाम से जाना जाता है, असाधारण प्रतिक्रिया गुणवत्ता बनाए रखते हुए मॉडल के आकार को काफी कम करने का वादा करते हैं। ऑस्ट्रिया के वियना में प्रतिष्ठित इंटरनेशनल कॉन्फ्रेंस ऑन मशीन लर्निंग (ICML) में प्रस्तुत किए गए ये तरीके AI तकनीक की दक्षता और पहुंच को फिर से परिभाषित करने के लिए तैयार हैं।
बड़े भाषा मॉडल में क्रांतिकारी बदलाव: यांडेक्स रिसर्च ने AQLM और PV-ट्यूनिंग का अनावरण किया
AQLM और PV-ट्यूनिंग का अन्वेषण
AQLM एडिटिव क्वांटाइजेशन का उपयोग करता है, जो मूल रूप से सूचना पुनर्प्राप्ति के लिए डिज़ाइन की गई तकनीक है, ताकि LLM को उनकी सटीकता से समझौता किए बिना संपीड़ित किया जा सके। यह विधि अत्यधिक संपीड़न की अनुमति देती है, जिससे घरेलू कंप्यूटर और स्मार्टफ़ोन जैसे रोज़मर्रा के उपकरणों पर शक्तिशाली भाषा मॉडल तैनात करना संभव हो जाता है। AQLM मॉडल के प्रदर्शन को बनाए रखते हुए या यहाँ तक कि उसे बढ़ाते हुए मेमोरी की खपत को काफी कम कर देता है।
दूसरी ओर, PV-ट्यूनिंग, संपीड़न प्रक्रिया के दौरान संभावित त्रुटियों को संबोधित करता है। जब AQLM के साथ उपयोग किया जाता है, तो यह सुनिश्चित करता है कि संपीड़ित मॉडल अत्यधिक सटीक और कुशल बने रहें। इन दो विधियों के संयोजन से कॉम्पैक्ट मॉडल बनते हैं जो सीमित कंप्यूटिंग संसाधनों पर भी उच्च-गुणवत्ता वाली प्रतिक्रियाएँ देते हैं।
प्रभाव का मूल्यांकन
AQLM और PV-ट्यूनिंग की प्रभावशीलता का LLama 2, Llama 3 और Mistral सहित लोकप्रिय ओपन-सोर्स मॉडल पर कठोर परीक्षण किया गया। शोधकर्ताओं ने इन मॉडलों को संपीड़ित किया और WikiText2 और C4 जैसे अंग्रेजी-भाषा बेंचमार्क के खिलाफ उनके प्रदर्शन का मूल्यांकन किया, जिससे मॉडल के आकार में आठ गुना कमी के साथ भी उत्तर की गुणवत्ता का प्रभावशाली 95% बना रहा।
डेवलपर्स और शोधकर्ताओं के लिए लाभ
AQLM और PV-ट्यूनिंग के लाभ अकादमिक शोध से कहीं आगे तक फैले हुए हैं। ये विधियाँ स्वामित्व वाली भाषा मॉडल और ओपन-सोर्स LLM विकसित करने और तैनात करने वाली कंपनियों के लिए पर्याप्त संसाधन बचत प्रदान करती हैं। उदाहरण के लिए, 13 बिलियन मापदंडों वाला एक लामा 2 मॉडल अब चार के बजाय केवल एक GPU पर चल सकता है, जिससे हार्डवेयर लागत में काफी कमी आती है। यह स्टार्टअप, व्यक्तिगत शोधकर्ताओं और AI उत्साही लोगों के लिए मानक उपभोक्ता हार्डवेयर पर उन्नत LLM के साथ काम करने की नई संभावनाएँ खोलता है।
एलएलएम अनुप्रयोगों का विस्तार
AQLM और PV-Tuning के साथ, अब सीमित कंप्यूटिंग संसाधनों वाले उपकरणों पर परिष्कृत भाषा मॉडल को ऑफ़लाइन तैनात करना संभव है। यह स्मार्टफ़ोन, स्मार्ट स्पीकर और अन्य उपकरणों के लिए ढेर सारे नए अनुप्रयोगों को सक्षम बनाता है। उपयोगकर्ता सक्रिय इंटरनेट कनेक्शन की आवश्यकता के बिना टेक्स्ट और इमेज जनरेशन, वॉयस असिस्टेंस, वैयक्तिकृत अनुशंसाएँ और रीयल-टाइम भाषा अनुवाद का आनंद ले सकते हैं। इसके अतिरिक्त, इन विधियों से संपीड़ित मॉडल चार गुना तेज़ी से काम कर सकते हैं, जिसके लिए कम गणनाओं की आवश्यकता होती है।
सुलभ कार्यान्वयन
दुनिया भर के डेवलपर्स और शोधकर्ता GitHub पर AQLM और PV-Tuning तक पहुँच सकते हैं, जिसमें डेमो सामग्री शामिल है जो विभिन्न अनुप्रयोगों के लिए संपीड़ित LLM के प्रभावी प्रशिक्षण का मार्गदर्शन करती है। इन विधियों का उपयोग करके पहले से संपीड़ित लोकप्रिय ओपन-सोर्स मॉडल भी डाउनलोड के लिए उपलब्ध हैं, जिससे इस अत्याधुनिक तकनीक को वास्तविक दुनिया की परियोजनाओं में एकीकृत करना पहले से कहीं अधिक आसान हो गया है।
आईसीएमएल हाइलाइट
यांडेक्स रिसर्च, आईएसटी ऑस्ट्रिया और न्यूरलमैजिक के विशेषज्ञों द्वारा सह-लिखित AQLM पर शोध को दुनिया के अग्रणी मशीन लर्निंग सम्मेलनों में से एक ICML में प्रमुखता से दिखाया गया है। यह कार्य LLM संपीड़न प्रौद्योगिकी में एक महत्वपूर्ण प्रगति को दर्शाता है, जो उपभोक्ता हार्डवेयर पर बड़े भाषा मॉडल को तैनात करने की चुनौती का व्यावहारिक समाधान प्रदान करता है।
प्रति मॉडल पैरामीटर बिट काउंट को केवल 2-3 बिट तक कम करके और फ़ाइन-ट्यूनिंग के लिए एक प्रतिनिधित्व-अज्ञेय ढांचे को नियोजित करके, इन विधियों ने मॉडल संपीड़न में नए मानक स्थापित किए हैं। AQLM और PV-ट्यूनिंग शोधकर्ताओं को मॉडल पेरप्लेक्सिटी और ज़ीरो-शॉट कार्यों में सटीकता जैसे बेहतर प्रदर्शन मीट्रिक को बनाए रखते हुए चरम संपीड़न प्राप्त करने में सक्षम बनाता है।
निष्कर्ष
यांडेक्स रिसर्च और उसके सहयोगियों द्वारा AQLM और PV-ट्यूनिंग की शुरूआत AI के क्षेत्र में एक महत्वपूर्ण कदम है। ये विधियाँ न केवल संसाधन दक्षता को अनुकूलित करती हैं, बल्कि विभिन्न उपकरणों और प्लेटफ़ॉर्म पर बड़े भाषा मॉडल की पहुँच और अनुप्रयोग को भी बढ़ाती हैं। जैसे-जैसे AI विकसित होता रहेगा, इस तरह के नवाचार प्रौद्योगिकी के भविष्य को आकार देने में महत्वपूर्ण भूमिका निभाएंगे, जिससे उन्नत AI उपकरण व्यापक दर्शकों के लिए उपलब्ध होंगे।