जब OpenAI, Anthropic और Google की तीन बड़ी AI कंपनियों के फ्लैगशिप मॉडल एक ही मंच पर आमने-सामने हों, तो कौन रोबोट को बेहतर ढंग से नियंत्रित कर सकता है?
20 अक्टूबर को, मीफेंग टेक्नोलॉजी, Hugging Face, NVIDIA, सिंघुआ विश्वविद्यालय सहित दुनिया भर के लगभग 20 उच्च शिक्षा संस्थानों, उद्यमों और अनुसंधान संस्थानों द्वारा संयुक्त रूप से शुरू किए गए एम्बॉडीड कोलोसियम RoboColiseum ने इस दौर के मूल्यांकन परिणाम घोषित किए: Claude Opus 5.5 चार फ्लैगशिप मॉडलों में समग्र रूप से प्रथम स्थान पर रहा, और GPT-6 Astra उसके तुरंत बाद रहा।
उप-श्रेणी के अनुसार देखें तो, चार फ्लैगशिप मॉडलों में GPT-6 Astra निर्देश-पालन और समग्र व्यवधान अनुकूलन में आगे रहा, जिसमें निर्देश-पालन स्कोर 99.35 तक पहुंचा; Opus ने स्थानिक समझ और सामान्य संचालन में बेहतर प्रदर्शन किया, और सबसे कम पूर्ण-दौर मूल्यांकन token खपत के साथ फ्लैगशिप समूह में समग्र रूप से प्रथम स्थान प्राप्त किया। छवि गुणवत्ता में व्यवधान वाले परीक्षणों में, GPT-6.1 Sol अन्य तीन मॉडलों से स्पष्ट रूप से पीछे रहा, जो दर्शाता है कि दृश्य सूचना में परिवर्तन का सामना करते समय विभिन्न मॉडलों की स्थिरता में अंतर है।
लेकिन इस दौर की समग्र रैंकिंग में शीर्ष दो स्थान अभी भी एम्बॉडीड रणनीति मॉडलों के पास हैं, विशेष रूप से सामान्य संचालन आयाम में उनकी बढ़त बनी हुई है।
यह साथ-साथ प्रतिस्पर्धा उद्योग को सामान्य बड़े मॉडलों और एम्बॉडीड रणनीति मॉडलों की क्षमता संबंधी strengths और कमजोरियों को स्पष्ट रूप से देखने के लिए एक सीधा संदर्भ प्रदान करती है।
RoboColiseum निर्देश-पालन, स्थानिक समझ, व्यवधान अनुकूलन और सामान्य संचालन के इर्द-गिर्द चार प्रकार की क्षमता उप-सूचियाँ और 78 उच्च-निष्ठा सिमुलेशन मूल्यांकन कार्य प्रस्तुत करता है, जो न केवल मॉडलों के उप-श्रेणी प्रदर्शन को प्रस्तुत करता है, बल्कि कार्य पूर्णता के चरणों और विफलता की स्थिति को भी दर्ज करता है, जिससे डेवलपर्स को मॉडल की क्षमता संबंधी कमजोरियों को शीघ्रता से पहचानने में मदद मिलती है।
संयुक्त प्रवर्तक के रूप में, मीफेंग RoboColiseum को उच्च-निष्ठा वस्तु संपत्तियाँ और सिमुलेशन परिदृश्य प्रदान करता है, जटिल रोबोट संचालन कार्यों के मूल्यांकन वातावरण के निर्माण का समर्थन करता है, और विभिन्न वस्तु अंतःक्रियाओं, स्थानिक लेआउट तथा पर्यावरणीय परिस्थितियों के अंतर्गत मॉडल क्षमता परीक्षण के लिए बुनियादी संसाधन प्रदान करता है।
सिमुलेशन में मॉडल के परिणाम वास्तविक संचालन प्रदर्शन को प्रतिबिंबित कर सकते हैं या नहीं, यह भी मूल्यांकन की कुंजी है। प्लेटफ़ॉर्म द्वारा घोषित वास्तविक परीक्षण परिणामों के अनुसार, RoboColiseum सिमुलेशन मूल्यांकन और वास्तविक मशीन पर तैनाती के बीच सहसंबंध 89.5% तक पहुंचता है, और समान मॉडल का सिमुलेशन तथा वास्तविक दुनिया में मूल्यांकन अंतर 10% से कम है, जो डेवलपर्स को वास्तविक मशीन परीक्षण से पहले मॉडल चयन और समस्या पहचान के लिए संदर्भ प्रदान कर सकता है।
मीफेंग टेक्नोलॉजी "पूर्ण, अच्छी और तेज़" डेटा आपूर्ति प्रणाली प्रदान करती है, जो वास्तविक मशीन, सिमुलेशन और बिना निकाय के तीन प्रमुख डेटा प्रतिमानों को कवर करती है। सिमुलेशन के संदर्भ में, मीफेंग वस्तु संपत्तियाँ और पर्यावरण संपत्तियाँ दो प्रकार के संसाधन प्रदान करता है, जो विभिन्न दैनिक वस्तुओं और इनडोर परिदृश्यों को कवर करते हैं, तथा परिदृश्य पुनर्निर्माण, विशेषज्ञ ट्रैजेक्टरी डेटा प्राप्ति और मूल्यांकन परिणाम दृश्यीकरण जैसी क्षमताएँ भी प्रदान करता है, जिससे मॉडल टीमों को विविध प्रशिक्षण और मूल्यांकन करने में मदद मिलती है।
Coliseum मूल रूप से प्राचीन रोम के गोलाकार रंगमंच को संदर्भित करता है, और RoboColiseum इसी कल्पना को आधार बनाकर बहु-आयामी प्रणालीगत मूल्यांकन प्रणाली का निर्माण करता है, ताकि वास्तविक मशीन प्रदर्शन के साथ अत्यधिक सुसंगत सिमुलेशन मूल्यांकन के माध्यम से एम्बॉडीड इंटेलिजेंस मॉडलों के लिए एक सार्वजनिक, तटस्थ और पुनरुत्पादन योग्य "रंगमंच" और "प्रशिक्षण मैदान" तैयार किया जा सके। कोई भी उच्च शिक्षा संस्थान, अनुसंधान संस्थान या उद्यम डेवलपर अपने मॉडल को वहाँ जमा कर सकता है और एक मानकीकृत "परीक्षा" में भाग ले सकता है। अगस्त में लॉन्च होने के बाद से, देश-विदेश की 100 से अधिक टीमों ने प्लेटफ़ॉर्म पर मॉडल प्रशिक्षण और मूल्यांकन किया है।
RoboColiseum अब वैश्विक डेवलपर्स के लिए खुला है, और मॉडल टीमों का मूल्यांकन में भाग लेने के लिए स्वागत है।
