नवीनतम AI मॉडल तुलना उद्योग के दिग्गज GPT-4 और जेमिनी 1.5 प्रो के मुकाबले एंथ्रोपिक के क्लाउड 3 ओपस पर गहराई से नज़र डालती है। यह दावा करने के बाद कि इसके क्लाउड 3 ओपस ने विभिन्न लोकप्रिय बेंचमार्क में GPT-4 को पीछे छोड़ दिया है, एंथ्रोपिक ने हमें इस दावे का परीक्षण करने की चुनौती दी।
क्लाउड 3 ओपस बनाम जीपीटी-4 बनाम जेमिनी 1.5 प्रो
- सेब परीक्षण: क्लाउड 3 ओपस, जेमिनी 1.5 प्रो और जीपीटी-4 ने पाया कि उन्हें तीन सेब अतिरिक्त जानकारी के साथ प्रस्तुत किए गए हैं। हालाँकि, इस जानकारी के अभाव में, क्लाउड 3 ओपस विफल हो जाता है जबकि अन्य मॉडल इसे सही तरीके से करना जारी रखते हैं।
- समय की गणना करें: क्लाउड 3 ओपस और जेमिनी 1.5 प्रो उन्हें प्रस्तुत समय गणना पर पहला प्रश्न हल करने में विफल रहे। हालाँकि GPT-4 इस परीक्षण में पहले प्रश्न में विफल रहा, लेकिन इसके बाद के आउटपुट अलग-अलग प्रतीत होते हैं।
- वजन का मूल्यांकन करें: क्लाउड 3 ओपस ने गलत तरीके से बताया है कि एक किलो पंख और एक पाउंड स्टील का वजन समान होता है, जबकि जेमिनी 1.5 प्रो और जीपीटी-4 सही उत्तर देते हैं।
- गणित की समस्या: क्लाउड 3 ओपस एक गणित की समस्या को हल नहीं कर सकता है, जिसका उत्तर देने से पहले पूरी गणना करने की आवश्यकता होती है। जेमिनी 1.5 प्रो और GPT-4 लगातार और सही तरीके से समाधान प्रदान करते हैं।
- उपयोगकर्ता निर्देशों का पालन करें: उत्पादों में से क्लाउड 3 ओपस, अनुरोध नोटों के बाद तार्किक प्रतिक्रियाएँ उत्पन्न करता है। क्लाउड 3 ओपस की तुलना में GPT-4 कम उपयोगी प्रतिक्रियाएँ करता है। इस नोट में जेमिनी 1.5 प्रो सबसे कम प्रतिक्रिया स्कोर करता है।
- हेस्टैक में सुई परीक्षण: क्लाउड 3 ओपस 8K टोकन के साथ सुई खोजने में विफल रहता है क्योंकि GPT-4 और जेमिनी 1.5 प्रो समाधान प्रदान करते हैं।
- फिल्म का अनुमान लगाएं (विज़न टेस्ट): क्लाउड 3 ओपस सिर्फ़ नज़र डालकर फिल्म की पहचान कर सकता है, जैसा कि GPT-4 भी कर सकता है। इस टेस्ट में जेमिनी को सबसे कम अंक मिलते हैं।
निष्कर्ष
क्लाउड 3 ओपस उम्मीदें जगाता है, लेकिन GPT-4 और जेमिनी 1.5 प्रो की तुलना में सामान्य ज्ञान तर्क और गणितीय कौशल की आवश्यकता वाले कार्यों में पीछे रह जाता है। हालांकि यह उपयोगकर्ता के निर्देशों का पालन करने में उत्कृष्ट है, लेकिन इसका समग्र प्रदर्शन पीछे रह जाता है।
पूछे जाने वाले प्रश्न
<strong>ये मॉडल जटिल कार्यों को कैसे संभालते हैं?</strong>
क्लाउड 3 ओपस उपयोगकर्ता निर्देश कार्यों में उत्कृष्ट है, जबकि जीपीटी-4 और जेमिनी 1.5 प्रो गणितीय तर्क और सामान्य ज्ञान कार्यों में मजबूती दिखाते हैं।
<strong>प्रदर्शन में उल्लेखनीय अंतर क्या हैं?</strong>
क्लाउड 3 ओपस विभिन्न कार्यों में मिश्रित प्रदर्शन दिखाता है, जबकि जीपीटी-4 और जेमिनी 1.5 प्रो अधिक सुसंगत परिणाम प्रदान करते हैं।