اللمس المرئي: كيف يمكن للكاميرات أن تساعد الروبوتات على الإحساس

لقد بدأ  فجر ثورة الروبوتات بالفعل، وهو ليس الكابوس البائس الذي نتخيله. بدلاً من ذلك، يأتي في شكل روبوتات اجتماعية: الروبوتات المستقلة في المنازل والمدارس والمكاتب والأماكن العامة، قادرة على  التفاعل  مع البشر والروبوتات الأخرى بطريقة مقبولة اجتماعيًا ومفهومة للإنسان لحل المهام المتعلقة باحتياجات الإنسان الأساسية.

لتصميم الروبوتات الاجتماعية التي “تفهم” البشر ، يتعمق علماء الروبوتات في علم نفس التواصل البشري. يفترض باحثون من جامعة كورنيل أن دمج حاسة اللمس في الروبوتات الاجتماعية يمكن أن يعلمهم اكتشاف التفاعلات الجسدية والإيماءات. يصفون طريقة للقيام بذلك من خلال الاعتماد ليس على اللمس ولكن على الرؤية.

تلتقط كاميرا USB داخل الروبوت ظلال إيماءات اليد على سطح الروبوت وتصنفها باستخدام برنامج التعلم الآلي. يسمون هذه الطريقة  ShadowSense، والتي يعرّفونها على أنها طريقة بين الرؤية واللمس، مما يجعل “الدقة العالية والتكلفة المنخفضة لاستشعار الرؤية في تجربة اللمس الحسية عن قرب.”

يقول المؤلف المشارك في الدراسة جاي هوفمان  من كلية سيبلي للهندسة الميكانيكية والفضائية بجامعة كورنيل، إن الاستشعار باللمس في الروبوتات الاجتماعية أو التفاعلية يتم تحقيقه عادةً باستخدام مستشعرات القوة أو أجهزة الاستشعار بالسعة . كان العيب في نهج مجموعته هو أنه، حتى لتحقيق الدقة المكانية الخشنة، هناك حاجة إلى العديد من أجهزة الاستشعار في منطقة صغيرة.

ومع ذلك، من خلال العمل مع روبوتات قابلة للنفخ غير صلبة، قام هوفمان وزملاؤه بتركيب كاميرا USB للمستهلكين قاموا بتوصيل عدسة عين السمكة بها لمجال رؤية أوسع.

يقول هوفمان: “بالنظر إلى أن الروبوت أجوف بالفعل ، وله جلد ناعم وشفاف ، يمكننا فعل تفاعل باللمس من خلال النظر إلى الظلال التي أنشأها الأشخاص الذين لمسوا الروبوت”. استخدموا الشبكات العصبية العميقة لتفسير الظلال. يقول: “وكنا قادرين على القيام بذلك بدقة عالية جدًا”. كان الروبوت قادرًا على تفسير ست إيماءات مختلفة، بما في ذلك اللمس بيد واحدة أو اليدين، والإشارة، والمعانقة، واللكم، بدقة تتراوح بين 87.5 إلى 96 بالمائة ، اعتمادًا على الإضاءة.

ليست هذه هي المرة الأولى التي يتم فيها استخدام رؤية الكمبيوتر للاستشعار عن طريق اللمس ، على الرغم من أن مقياس ShadowSense وتطبيقه فريدان. يقول هوفمان: “لقد تم استخدام التصوير للمس بشكل أساسي في الإمساك بالروبوتات”. على النقيض من ذلك، أراد هوفمان والمتعاونون معه تطوير شعور يمكن الشعور به عبر الجهاز بأكمله.

تتضمن التطبيقات المحتملة لـ ShadowSense توجيه الروبوت المحمول باستخدام اللمس ، وشاشات تفاعلية على الروبوتات اللينة. والثالث يتعلق بالخصوصية، وخاصة في الروبوتات الاجتماعية المنزلية. يقول هوفمان: “لدينا ورقة أخرى قيد المراجعة حاليًا تبحث تحديدًا في القدرة على اكتشاف الإيماءات البعيدة [عن جلد الروبوت]”. بهذه الطريقة، سيكون المستخدمون قادرين على تغطية كاميرا الروبوت الخاصة بهم بمادة شفافة مع السماح لها بتفسير الإجراءات والإيماءات من الظلال. وبالتالي، على الرغم من منعه من التقاط صورة عالية الدقة للمستخدم أو البيئة المحيطة به، باستخدام النوع الصحيح من مجموعات بيانات التدريب، يمكن للروبوت أن يستمر في مراقبة بعض أنواع الأنشطة غير اللمسية.

يقول هوفمان إن ShadowSense لا يعمل بشكل جيد في ظروف الإضاءة المنخفضة. تتداخل الضوضاء البيئية ، أو الظلال من الكائنات المحيطة، أيضًا مع تصنيف الصور. الاعتماد على كاميرا واحدة يعني أيضًا وجود نقطة فشل واحدة. يقول هوفمان: “أعتقد أنه إذا أصبح هذا منتجًا تجاريًا، فربما [يتعين علينا] العمل بشكل أفضل قليلاً في اكتشاف الصور”.

كما هو الحال، استخدم الباحثون  نقل التعلم – إعادة استخدام نموذج التعلم العميق المدرب مسبقًا في مشكلة جديدة – لتحليل الصور. يقول هوفمان: “إحدى المشكلات المتعلقة بالشبكات العصبية متعددة الطبقات هي أنك تحتاج إلى الكثير من بيانات التدريب لعمل تنبؤات دقيقة”. “من الواضح أنه ليس لدينا الملايين من الأمثلة لأشخاص يلمسون روبوتًا مجوفًا قابل للنفخ. ولكن يمكننا استخدام الشبكات المدربة مسبقًا والمدربة على الصور العامة، والتي لدينا المليارات منها، ونقوم فقط بإعادة تدريب الطبقات الأخيرة من الشبكة باستخدام مجموعة البيانات الخاصة بنا “.