هوش مصنوعی تا چه حد میتواند آینده را پیشبینی کند؟ این پرسش زمانی مطرح شد که نتایج یک مسابقهی سالانهی پیشبینی بهسرپرستی دیوید سیف، اقتصاددان، منتشر شد؛ مسابقهای مخفی برای اقتصاددانها، مدیران صندوقهای سرمایهگذاری و مدیران حوزهی فناوری.
این رقابت که برای هفتمین بار برگزار شد، از شرکتکنندهها میخواهد احتمال وقوع حدود ۳۰ رویداد را در حوزهی سیاست، اقتصاد، کسبوکار، علم، فرهنگ و ورزش اعلام کنند. از پیشبینی نامزدی تیلور سویفت و تراویس کلسی تا پذیرش یورو در بلغارستان.
سم لفل، مدیر یک صندوق سرمایهگذاری، هنگام واردکردن پاسخها تصمیم گرفت از ChatGPT هم استفاده کند. او قوانین پیچیدهی بازی را برای ChatGPT فرستاد و مدل در چند ثانیه اعلام کرد که آمادهی ارائهی درصدهای احتمالات است. لفل همهی پرسشها را وارد کرد و ChatGPT بهشتاب برای هرکد برنامهام عدد ارائه داد؛ عددهایی که گاهی بر پایهی محاسبات آماری بودند، نه تحلیل کیفی.
۱۶۰ شرکتکننده وارد رقابت شدند و با وقوع رویدادها، سیف امتیازها را بهروزرسانی میکرد. هرچه فاصلهی پیشبینی با نتیجهی واقعی بیشتر باشد، امتیاز بالاتر و بدتر میشود.
در نهایت بازی، سیف برای نخستینبار برنده شد. ChatGPT رتبهی ۸۰ را بهدست آورد؛ یعنی دقیقاً در حد میانگین شرکتکنندهها. برخی این نتیجه را نشانهی ضعف و برخی نشانهی توانمندی مدل دانستند.
از دید سیف، معیار مهمتری هست: اگر برای همهی رویدادها احتمال ۵۰ درصد انتخاب میشد، امتیاز ۷۵ هزار بهدست میآمد. امتیاز ChatGPT حدود ۸۲,۹۲۵ بود؛ یعنی از این معیار پایینتر و با ارزش افزودهی منفی.
مدل در رویدادهایی که سوابق کافی داشتند عملکرد بهتر و در مواردی که به اطلاعات تازه و پیگیری اخبار نیاز بود عملکرد ضعیفتری داشت. نمونهاش پیشبینی ۹۵ درصدی برای برگشت فضانوردان ناسا تا اول مارس (۱۱ اسفند) بود، در حالیکه در نهایت ۲۰۲۴ روشن شده بود این مأموریت تا آن تاریخ انجام نمیشود.
لفل معتقد است این نتیجه ملاحظاتی دارد. پیشبینیها با ورژنی قدیمیتر ChatGPT انجام شد؛ مدلی که از آن زمان پیشرفت کرده است. ChatGPT توانست قوانین پیچیده و ۳۰ پرسش را در چند دقیقه پردازش کند، در حالیکه انسانها ساعتها برای بررسی کردن هر موضوع وقت گذاشتند. از دید لفل، اگر نتیجه را نسبتبه زمان صرفشده بسنجیم، شاید ChatGPT برنده هم باشد.
او میگوید در دنیای سرمایهگذاری که نیاز به ارزیابی تعداد زیادی احتمال هست، استفاده از ابزارهای هوش مصنوعی دیگر امری بدیهی شده و اگر قرار باشد بهجای ۳۰ رویداد، ۳۰ هزار رویداد پیشبینی شود، شتاب و «بهاندازهی کافی خوببودن» هوش مصنوعی میتواند مزیت بزرگی باشد.
