فزیکل اے آئی اور ہیومنائڈ روبوٹکس
مرکزی توجہ اور تھیم: جسمانی دنیا میں اے آئی سسٹمز — مجسم ذہانت (Embodied Intelligence)
ہدف: ڈیجیٹل دماغ اور جسمانی جسم کے درمیان خلا کو پُر کرنا۔ طلبہ اپنے اے آئی علم کو استعمال کرتے ہوئے ہیومنائڈ روبوٹس کو سمیولیٹڈ اور حقیقی دنیا کے ماحول میں کنٹرول کرتے ہیں۔
کوارٹر کا مجموعی جائزہ
اے آئی کا مستقبل صرف ڈیجیٹل دنیا تک محدود نہیں بلکہ جسمانی دنیا تک پھیل چکا ہے۔ یہ کیپ اسٹون کوارٹر فزیکل اے آئی متعارف کراتا ہے — ایسے اے آئی سسٹمز جو حقیقی دنیا میں کام کرتے ہیں اور طبیعی قوانین کو سمجھتے ہیں۔ طلبہ ROS 2، Gazebo اور NVIDIA Isaac استعمال کرتے ہوئے قدرتی انسانی تعامل کے قابل ہیومنائیڈ روبوٹس کو ڈیزائن، سمیولیٹ اور ڈیپلائے کرنا سیکھتے ہیں۔
ماڈیول 1: روبوٹک اعصابی نظام (ROS 2)
- توجہ: روبوٹ کنٹرول کے لیے مڈل ویئر
- ROS 2 نوڈز، ٹاپکس اور سروسز
- rclpy کے ذریعے پائتھن ایجنٹس کو ROS کنٹرولرز سے جوڑنا
- ہیومنائیڈ روبوٹس کے لیے URDF (یونفائیڈ روبوٹ ڈسکرپشن فارمیٹ) کو سمجھنا
ماڈیول 2: ڈیجیٹل ٹوئن (Gazebo اور Unity)
- توجہ: فزکس سمیولیشن اور ماحول کی تعمیر
- Gazebo میں فزکس، گریوٹی اور کولژن کی سمیولیشن
- Unity میں ہائی فِڈیلیٹی رینڈرنگ اور انسان–روبوٹ تعامل
- سینسرز کی سمیولیشن: LiDAR، ڈیپتھ کیمرے، اور IMUs
ماڈیول 3: اے آئی–روبوٹ دماغ (NVIDIA Isaac™)
- توجہ: جدید پرسیپشن اور ٹریننگ
- NVIDIA Isaac Sim: فوٹو ریئلسٹک سمیولیشن اور مصنوعی ڈیٹا کی تخلیق
- Isaac ROS: ہارڈویئر ایکسیلیریٹڈ VSLAM اور نیویگیشن
- Nav2: دو پیروں والے ہیومنائیڈ کی موومنٹ کے لیے پاتھ پلاننگ
ماڈیول 4: وژن–لینگویج–ایکشن (VLA)
- توجہ: ایل ایل ایمز اور روبوٹکس کا امتزاج
- وائس ٹو ایکشن: وائس کمانڈز کے لیے OpenAI Whisper کا استعمال
- ادراکی منصوبہ بندی: قدرتی زبان (جیسے "کمرہ صاف کرو") کو ROS 2 ایکشنز کی ترتیب میں تبدیل کرنا
- کیپ اسٹون پروجیکٹ: خودمختار ہیومنائیڈ — ایک فائنل پروجیکٹ جس میں سمیولیٹڈ روبوٹ آواز کی کمانڈ وصول کرتا ہے، راستہ بناتا ہے، رکاوٹوں سے بچتا ہے، کمپیوٹر وژن سے آبجیکٹ کی شناخت کرتا ہے اور اسے سنبھالتا ہے۔
فزیکل اے آئی کیوں اہم ہے
ہیومنائیڈ روبوٹس ہماری انسان-مرکوز دنیا میں اس لیے نمایاں ہیں کہ ان کی جسمانی ساخت انسانوں جیسی ہے اور انہیں انسانی ماحول میں تعامل سے حاصل ہونے والے وافر ڈیٹا سے تربیت دی جا سکتی ہے۔ یہ اے آئی کے اس سفر میں ایک بڑی تبدیلی ہے جہاں ماڈلز ڈیجیٹل دنیا سے نکل کر جسمانی خلا میں کام کرنے والی مجسم ذہانت بن جاتے ہیں۔
سیکھنے کے نتائج
- فزیکل اے آئی اور مجسم ذہانت کے اصولوں کو سمجھنا
- روبوٹ کنٹرول کے لیے ROS 2 میں مہارت حاصل کرنا
- Gazebo اور Unity کے ذریعے روبوٹس کی سمیولیشن
- NVIDIA Isaac اے آئی روبوٹ پلیٹ فارم پر ڈیولپمنٹ
- قدرتی تعامل کے لیے ہیومنائیڈ روبوٹس کا ڈیزائن
- مکالماتی روبوٹکس کے لیے GPT ماڈلز کا انضمام
ہفتہ وار تقسیم
ہفتہ 1–2: فزیکل اے آئی کا تعارف
- فزیکل اے آئی اور مجسم ذہانت کی بنیادیں
- ڈیجیٹل اے آئی سے فزیکل قوانین سمجھنے والے روبوٹس تک
- ہیومنائیڈ روبوٹکس کے منظرنامے کا جائزہ
- سینسر سسٹمز: LiDAR، کیمرے، IMUs، فورس/ٹارک سینسرز
ہفتہ 3–5: ROS 2 کی بنیادیں
- ROS 2 آرکیٹیکچر اور بنیادی تصورات
- نوڈز، ٹاپکس، سروسز اور ایکشنز
- پائتھن کے ساتھ ROS 2 پیکیجز بنانا
- لانچ فائلز اور پیرامیٹر مینجمنٹ
ہفتہ 6–7: Gazebo کے ساتھ روبوٹ سمیولیشن
- Gazebo سمیولیشن ماحول کی سیٹ اپ
- URDF اور SDF روبوٹ ڈسکرپشن فارمیٹس
- فزکس اور سینسر سمیولیشن
- روبوٹ ویژولائزیشن کے لیے Unity کا تعارف
ہفتہ 8–10: NVIDIA Isaac پلیٹ فارم
- NVIDIA Isaac SDK اور Isaac Sim
- اے آئی پر مبنی پرسیپشن اور مینیپولیشن
- روبوٹ کنٹرول کے لیے رینفورسمنٹ لرننگ
- سم-ٹو-ریل ٹرانسفر تکنیکس
ہفتہ 11–12: ہیومنائیڈ روبوٹ ڈیولپمنٹ
- ہیومنائیڈ کائینی میٹکس اور ڈائنامکس
- دو پیروں پر چلنا اور بیلنس کنٹرول
- ہیومنائیڈ ہاتھوں کے ساتھ گرفت اور مینیپولیشن
- قدرتی انسان–روبوٹ تعامل کا ڈیزائن
ہفتہ 13: مکالماتی روبوٹکس
- روبوٹس میں مکالماتی اے آئی کے لیے GPT ماڈلز کا انضمام
- اسپیچ ریکگنیشن اور نیچرل لینگویج انڈرسٹینڈنگ
- ملٹی موڈل تعامل: آواز، اشارہ، وژن
تشخیص (Assessments)
- ROS 2 پیکیج ڈیولپمنٹ پروجیکٹ
- Gazebo سمیولیشن امپلیمنٹیشن
- Isaac پر مبنی پرسیپشن پائپ لائن
- کیپ اسٹون: مکالماتی اے آئی کے ساتھ سمیولیٹڈ ہیومنائیڈ روبوٹ
تعلیم شروع کریں: ماڈیول 1: ROS 2 بنیادی باتیں