اخر اخبار التكنولوجيا
نفيديا جارفيس- A A SDK- متعدد النماذج يدمج الكلام والرؤية والأحاسيس الأخرى في نظام واحد
نفيديا جارفيس- A A SDK- متعدد النماذج يدمج الكلام
والرؤية والأحاسيس الأخرى في نظام واحد
اليوم ، في مؤتمر 5G Mobile World
أعلن المؤسس والمدير التنفيذي لشركة
Nvidia Jensen Huang عن Nvidia Jarvis
وهي مجموعة تطوير برمجيات متعددة الوسائط AI
تجمع بين الكلام والرؤية وأجهزة استشعار أخرى
في نظام واحد من أنظمة الذكاء الاصطناعي.
NVIDIA Jarvis هو SDK لبناء ونشر تطبيقات AI
التي تدمج الرؤية والكلام وأجهزة استشعار أخرى.
إنه يوفر سير عمل كاملًا لإنشاء وتدريب ونشر أنظمة AI
التي تسرعها وحدة معالجة الرسومات والتي يمكنها
استخدام الإشارات المرئية مثل الإيماءات والنظرة
جنبًا إلى جنب مع الكلام في السياق.
كما ذكر من قبل ، Jarvis هو محاولة الشركة لمعالجة
مدخلات متعددة من أجهزة استشعار مختلفة في وقت واحد.
وتتمثل الحكمة وراء هذا النهج في أنه سيساعد في بناء
السياق للتنبؤ بدقة وتوليد الاستجابات في تطبيقات
الذكاء الاصطناعي القائمة على المحادثة.
تمهيدًا لذلك قامت نفيديا بتمثيل المواقف التي قد يساعدها ذلك
في نشر مدونتها:
يمكن دمج حركة الشفاه بإدخال الكلام لتحديد السماعة النشطة.
يمكن استخدام النظرة لفهم ما إذا كان مكبر الصوت
يشرك وكيل AI أو أشخاص آخرين في المشهد.
يتيح هذا الانصهار متعدد الوسائط إجراء محادثات متعددة السياق
ومتعددة المستخدمين مع وكيل AI الذي يحتاج
إلى فهم أعمق للسياق.
في جارفيس شملت نفيديا وحدات يمكن تعديلها
وفقًا لمتطلبات المستخدم. للرؤية
يوجد لدى جارفيس وحدات للكشف عن الأشخاص وتتبعهم
واكتشاف الإيماءات ، ونشاط الشفاه ، والنظرة
وتشكل الجسم.
أثناء التكلم ، يحتوي النظام على تحليل للمشاعر
ونمذجة الحوار ، والمجال والنية ، وتصنيف الكيان.
للتكامل في النظام تم استخدام خوارزميات الانصهار
لمزامنة عمل هذه النماذج.
علاوة على ذلك ، تدعي الشركة أن التطبيقات المستندة
إلى جارفيس تعمل بشكل أفضل عند استخدامها
بالاقتران مع وحدات (NeMo)
وهي مجموعة أدوات غير إطار عمل لإنشاء تطبيقات AI
مبنية على الوحدات العصبية.
للتطبيقات المستندة إلى مجموعة النظراء
يمكن نشر الخدمات التي تم تطويرها باستخدام Jarvis
باستخدام منصة EGX
والتي تعتبرها نفيديا أول حاسوب عملاق في العالم.
بالنسبة لحالات استخدام Edge و Internet of Things
يعمل Jarvis على مكدس Nvidia EGX
وهو متوافق مع مجموعة كبيرة من البنية التحتية
Kubernetes المتاحة اليوم.
جارفيس مفتوح الآن للوصول المبكر.
إذا كنت مهتمًا ، يمكنك تسجيل الدخول إلى حساب Nvidia
الخاص بك والاشتراك للوصول المبكر إليه هنا.
ليست هناك تعليقات:
إرسال تعليق