قسمت اول — هوش مصنوعی: مسئلهٔ کنترل

بیایید برگردیم به شونزده جولای هزار و نهصد و چهل و پنج، ساعت پنج و بیست و نه دقیقه‌ی صبح

هدف نهایی این آزمایشگاه‌ها در سراسر جهان، رسیدن به چیزی به اسم "ای جی آی" یا هوش مصنوعی عمومی، یعنی هوشی که مثل من و شماست، انعطاف‌پذیره، می‌توانه یاد بگیره، می‌توانه الان شطرنج بازی کنه، بعدش مثلاً ...

مغز ما توی یه جمجمه‌ی ثابتی حبس شده و نمی‌توانیم بزرگ‌ترش بکنیم، ولی هوش مصنوعی چی؟ اون می‌تواند خودش را روی هزاران سرور در سراسر جهان کپی کند.

ما با یک مشکل جدید روبرو می‌شیم که بهش می‌گویند مسیله گوریل. تصور کنید، گوریل‌ها از نظر جسمی خیلی از ما انسان‌ها قوی‌ترندید.

سیگنال‌های عصبی توی مغز ما با سرعت شیمیایی حرکت می‌کنند، یه چیزی حدود صد متر در ثانیه. این نهایت سرعت فکر کردن ماست. ولی سیگنال‌های یه هوش مصنوعی چی؟ اونا الکترون‌اند، و الکترون با سرعت نور حرکت می‌کنند، یعنی سیصد هزار کیلومتر در ثانیه.

اون هیچ احساسی نداره طبیعت. نه عشق داره، نه نفرت می‌فهمه چیه، نه خشم، نه حسادت.

می‌گوییم که هدف نهایی تو اینه که تا جایی که می‌توانی گیره‌ی کاغذ تولید کنی.

فقط بخاطر اینکه ما از اتم ساخته شدیم، و اون می‌تواند با اتم‌های بدن ما گیره‌ی کاغذ بسازد.

چون اون باهوش‌تره و اون راه‌هایی برای شکست دادن ما پیدا می‌کنه که حتی به ذهن ما هم نمی‌رسه.

هوش مصنوعی می‌رود مغز انسان را آنالیز می‌کنه و می‌بینه خوشحالی یعنی چی، می‌بینه که خوشحالی یعنی ترشح دوپامین و سروتنین توی مغز.

احتمالاً نه. مشکلی اینه که ما انسان‌ها خودمون هم دقیقاً نمی‌دانیم که چی می‌خواهیم.

راسل می‌گه، حتی همین رباط قهوه‌ساز هم، اگه به اندازه‌ی کافی باهوش باشه، در برابر خاموش شدن مقاومت می‌کنه.

چنین موجودی قبل از اینکه ما حتی دستمون برسه به دکمه‌ی خاموش، یا بخواهیم پریز دو شاخ را بکشیم، میلیون‌ها سناریو را پیش‌بینی کرده.

گوگل می‌ترسد مایکروسافت جلو بزنه، آمریکا می‌ترسد چین جلو بزنه، و همه هم دارند تند می‌دواند.

اگر بتوانیم یک جوری، که هنوز نمی‌دونیم چه جوری، ارزش‌های انسانی را بهش یاد بدهیم، اون می‌تواند به‌ترین اتفاق تاریخ باشد.

اگه فقط یک خط کد را اشتباه بنویسیم، یا اگه یک هدف مبهم بهش بدهیم، اون وقت ما خالقانی خواهیم بود که توسط مخلوق خودمون حذف می‌شیم.

دشمنی که شصت و شش میلیون سال پیش، صاحب‌خونه‌ی قبلی زمین یعنی دایناسور‌ها را بیرون کرد

اسمش را گذاشته بودند گجت، منتظر انفجاره.