أعلنت شركة جوجل عن إصدار نموذج الذكاء الاصطناعي الجديد “Gemini 2.5 Computer Use”، الذي يسمح للعملاء التفاعل مع المواقع الإلكترونية وواجهات المستخدم بشكل مشابه للطريقة التي يتفاعل بها الإنسان.
نموذج Gemini 2.5 Computer Use يتفاعل مع الويب كالبشر
يبني النموذج على قدرات Gemini 2.5 Pro في الفهم البصري والتفكير المنطقي، ويتيح إجراء مجموعة واسعة من الإجراءات المستندة إلى المتصفح، مثل النقر، الكتابة، التمرير، التوقف فوق العناصر، فتح القوائم المنسدلة، والتنقل بين الروابط.
ووفقا لـ جوجل، فإن النموذج يتفوق على الأدوات المنافسة في العديد من المعايير، بما في ذلك Online-Mind2Web وWebVoyager وAndroidWorld، بينما يحافظ على استجابة منخفضة التأخير، وهو متاح حاليا في معاينة عامة عبر واجهة برمجة التطبيقات Gemini على Google AI Studio وVertex AI.
طريقة العمل الفريدة
على عكس النماذج التقليدية التي تعتمد على واجهات برمجة التطبيقات (APIs)، يعالج نموذج Gemini 2.5 Computer Use لقطات الشاشة لواجهات الويب ويولد إجراءات محددة للواجهة استجابة لذلك.
كما يتلقى الوكيل مهمة محددة، مع لقطات شاشة للبيئة الرقمية، وسجل من الإجراءات الأخيرة، ثم يقوم بتحليل الواجهة ويرد بإجراء واجهة المستخدم مثل النقر على زر أو الكتابة في حقل نصي، بعد تنفيذ الإجراء على جانب العميل، يتم إرسال لقطة شاشة جديدة للنموذج لمواصلة المهمة في حلقة مستمرة.
أمثلة عملية لآداء النموذج
قدمت جوجل عرضا لأداء النموذج من خلال أمثلة تظهر الوكيل وهو يقوم بترتيب الملاحظات اللاصقة على سبورة رقمية، وكذلك نقل تفاصيل الحيوانات الأليفة من موقع ويب إلى نظام إدارة علاقات العملاء (CRM)، كما تم تسريع مقاطع الفيديو لإظهار العملية في الوقت الفعلي.
يدعم النموذج حاليًا 13 إجراءً مختلفا، ويعمل بشكل أفضل مع متصفحات الويب، وأشارت جوجل إلى أنه لم يتم تحسينه بعد لمهام أنظمة التشغيل المكتبية، على الرغم من أنه أظهر إمكانات جيدة في اختبارات الأجهزة المحمولة.
كما أضافت جوجل تدابير أمان لضمان عدم إساءة استخدام النموذج، يتم مراجعة كل إجراء يقترحه النموذج بواسطة خدمة أمان قبل تنفيذه. كما يمكن للمطورين تقييد بعض الإجراءات أو طلب تأكيد صريح من المستخدمين في المهام عالية المخاطر مثل المعاملات المالية.
استخدام النموذج في الإنتاج
تستخدم عدة فرق داخلية في جوجل النموذج بالفعل في الإنتاج، ويشمل ذلك مهام اختبار واجهات المستخدم وأتمتة العمليات عبر منصات مثل Search وFirebase، كما استخدم المطورون الخارجيون في برنامج الوصول المبكر النموذج لبناء أدوات لأتمتة سير العمل والمساعدات.
نقلاً عن : الجمهور الاخباري
تعليقات