من الأهمية بمكان التحقق من صحة كل ما يأتي من ChatGPT أو Bing Chat أو Google Bard أو أي روبوت دردشة آخر. صدق أو لا تصدق، هذا ينطبق بشكل خاص على الرياضيات. لا تفترض أن ChatGPT يمكنه حل الرياضيات. روبوتات الدردشة الحديثة التي تعمل بالذكاء الاصطناعي أفضل في الكتابة الإبداعية من العد والحساب.
روبوتات الدردشة ليست آلات حاسبة
كما هو الحال دائمًا، عند العمل مع الذكاء الاصطناعي، فإن هندسة الاستجابة السريعة مهمة. فأنت تريد تقديم الكثير من المعلومات وصياغة نص الاستجابة بعناية للحصول على استجابة جيدة.
ولكن حتى لو حصلت على جزء لا تشوبه شائبة من المنطق في الرد، فقد تغمض عينيك وتدرك أن ChatGPT ارتكب خطأً على غرار 1+1=3. ومع ذلك، فإن ChatGPT يخطئ أيضًا في المنطق كثيرًا — وهو ليس جيدًا في العد أيضًا.
إن مطالبة نموذج لغوي كبير بالعمل كآلة حاسبة يشبه مطالبة آلة حاسبة بكتابة مسرحية ـ فماذا كنت تتوقع؟ هذا ليس الغرض من الأمر.
رسالتنا الرئيسية هنا: من الأهمية بمكان التحقق مرتين أو ثلاث مرات من عمل الذكاء الاصطناعي. وهذا لا ينطبق على الرياضيات فقط.
فيما يلي بعض الأمثلة على فشل ChatGPT. لقد استخدمنا الإصدار المجاني تشات جي بي تي استنادًا إلى gpt-3.5-turbo لهذه المقالة بالإضافة إلى دردشة بينج، والذي يعتمد على GPT 4. لذا، في حين أن ChatGPT Plus مع GPT 4 سيعمل بشكل أفضل من الإصدار المجاني من ChatGPT، فستواجه هذه المشكلات حتى مع روبوت الدردشة AI المتطور.
ChatGPT لا يستطيع العد
لا يبدو أن ChatGPT وBing موثوقان في حساب قوائم العناصر. يبدو الأمر وكأنه مهمة أساسية – ولكن لا تعتمد على الحصول على إجابة جديرة بالثقة.
لقد قدمنا لبرنامج ChatGPT عمودًا من الأرقام وطلبنا منه حساب عدد مرات ظهور أحد الأرقام. (لا يتعين عليك حساب نفسك: الإجابة الصحيحة هي أن الرقم 100 يظهر 14 مرة.)
حتى عندما تقوم بتصحيح ChatGPT ويعتذر ويقدم إجابة جديدة، فلن تحصل بالضرورة على إجابة صحيحة.
غالبًا ما يتصرف ChatGPT وكأنه شخص يحاول بشكل محموم التغطية على خطأ وإعطائك إجابة – أي إجابة – لإبعادك عن ظهره. إنه في الواقع أشبه بالحياة!
كما هو الحال عادة، فإن إحدى المشاكل الكبيرة هي مدى تأكد ChatGPT من كل إجاباته، حتى عندما يرسل إليك إجابات مختلفة.
لقد جربنا GPT 4 عبر Bing Chat من Microsoft وواجهنا مشكلة مماثلة. قرر Bing كتابة بعض أكواد Python لحل هذه المشكلة الشائكة، لكنه فشل أيضًا في الحصول على الإجابة الصحيحة. (لم يقم Bing بتشغيل الكود فعليًا.)
يواجه برنامج ChatGPT مشاكل في حل مشكلات المنطق الرياضي
إذا أعطيت ChatGPT “مسألة كلامية” رياضية، فسترى غالبًا تقلبات غريبة في المنطق لن تمنحك الإجابة الصحيحة
لقد قدمنا لـ ChatGPT مسألة حسابية تعتمد على الفاكهة تعكس ما قد يسأله شخص ما إذا كان يحاول إعادة التوازن إلى محفظة استثمارية من خلال تخصيص مساهمة بين صناديق مختلفة – أو ربما مجرد شراء الكثير من الفاكهة والالتزام بمحفظة تعتمد على الفاكهة للمستثمر الجائع.
يبدأ ChatGPT بشكل جيد ولكن سرعان ما يخرج عن المسار ويتجه إلى المنطق الذي لا معنى له ولن يقدم إجابة صحيحة.
لا يتعين عليك متابعة كل منعطف لتدرك أن الإجابة النهائية غير صحيحة.
غالبًا ما يتدخل ChatGPT ويتجادل معك حول ردوده أيضًا. (مرة أخرى، هذا سلوك بشري للغاية.)
في هذه الحالة، زعم ChatGPT أنه لم يعطك الإجابة الصحيحة، ولكنه جعلك أقرب إلى النسبة التي تريدها مقارنة بما كنت عليه من قبل! وهذا مضحك للغاية.
وللعلم، واجهت خدمة Bing Chat من Microsoft المستندة إلى GPT 4 هذه المشكلة أيضًا، مما أعطانا إجابة غير صحيحة بشكل واضح. وسرعان ما انحرف منطق GPT 4 عن مساره هنا أيضًا.
نحن ننصح بعدم محاولة تتبع كل منعطف أو تفصيل في المنطق، فمن الواضح أن الإجابة غير صحيحة.
عندما أشرنا إلى أن إجابة بينج كانت غير صحيحة، استمر في الجدال معنا في حلقات مفرغة، مقدمًا إجابة خاطئة تلو الأخرى.
لا يمكن لبرنامج ChatGPT إجراء العمليات الحسابية بشكل موثوق أيضًا
من الجدير بالذكر أن ChatGPT ينجرف أحيانًا ويذكر العمليات الحسابية الأساسية بشكل غير صحيح أيضًا. لقد رأينا إجابات منطقية لمشكلات بها عمليات حسابية غير صحيحة تشبه 1+1=3 في منتصف الإجابة المنطقية.
تأكد من التحقق والتحقق مرتين وثلاث مرات من كل ما تحصل عليه من ChatGPT وغيره من برامج الدردشة الآلية التي تعمل بالذكاء الاصطناعي.