無知客：我第一次用大模型的時候，說實話，有點被嚇到。

它回答得太快了，說話太完整了，連語氣都很像人。

我當(dāng)時腦子里只有一個念頭：這玩意兒是不是己經(jīng)在思考了？

蘇格拉底：在你下結(jié)論之前，我們先慢一點。

你先告訴我——你為什么覺得它在思考？

無知客：因為它能回答問題啊。

而且不是那種死板的回答，是有邏輯、有例子、有總結(jié)。

我問它“怎么寫方案”，它真給我寫了一份；我問它“人生有沒有意義”，它還能反問我。

這不像思考，像什么？

蘇格拉底：那我換一種問法。

如果一個東西說話很像人，我們是不是就會下意識地認(rèn)為它在想？

無知客：……好像是。

蘇格拉底：那我們來做一個小實驗。

假設(shè)有一只鸚鵡，它能背下你所有的問題和對應(yīng)的回答。

你問一句，它就答一句，永遠(yuǎn)不出錯。

你會說它在思考嗎？

無知客：不會吧，它只是背得多。

蘇格拉底：那問題來了。

如果“會回答”不等于“會思考”，你憑什么確信，大模型不是一只“超級鸚鵡”無知客：可問題是，大模型不只是重復(fù)。

它能回答我沒見過的問題。

蘇格拉底：你說得很好。

那我們就要更精確一點。

你心里覺得“思考”至少包含什么？

無知客：嗯……理解問題？

知道自己在說什么？

不是亂說？

蘇格拉底：很好。

那我們先抓住其中一個：理解。

我再問你一個有點不舒服的問題：你怎么確定——對方是真的理解了，而不是看起來像理解？

無知客：這怎么區(qū)分？

蘇格拉底：很難。

因為在人類世界里，我們幾乎從來不區(qū)分。

一個人能對答如流、邏輯清楚、語氣自然，我們默認(rèn)他是“懂的”。

可問題是：這是對人的判斷方法，不一定適用于機器。

蘇格拉底：人類有一個天生的弱點：我們會把語言能力，誤當(dāng)成思維能力。

你想想：小孩什么時候被認(rèn)為“聰明”？

學(xué)生什么時候被認(rèn)為“會了”？

面試什么時候被認(rèn)為“通過了”？

答案往往只有一個：他說得像那么回事。

無知客：你是說，我們被語言騙了？

蘇格拉底：不是被騙，是太習(xí)慣了。

在人類社會里，“會說話”幾乎永遠(yuǎn)和“會想事”綁定在一起。

所以當(dāng)一個機器突然也能說得這么像人，我們本能地把整套判斷一起搬了過來。

可我們從來沒認(rèn)真問過一句：“如果一個東西能說，但不想，它會是什么樣？”

無知客：等等。

你是不是在暗示：大模型可能根本沒有在想，只是在回答？

蘇格拉底：我不暗示，我只**。

你回答我：你在和大模型對話時，它有沒有哪怕一秒鐘停下來，說：“我先想一想。”

無知客：……沒有。

蘇格拉底：它有沒有猶豫？

有沒有因為“拿不準(zhǔn)”而拒絕回答？

無知客：大多數(shù)時候沒有，它很自信。

蘇格拉底：那你有沒有想過一種可能：它從來不是“想好了再說”，而是“必須馬上說”。

蘇格拉底：現(xiàn)在我們來到本章最重要的問題。

我希望你先別急著回答。

如果一個系統(tǒng)的任務(wù)只是：在任何情況下，都給出一個“看起來合理的回答”，它需要思考嗎？

無知客：……好像不一定。

蘇格拉底：對。

也許，它只需要一件事：知道什么樣的回答“像是一個好回答”。

注意這句話。

它不需要知道“對不對”，不需要知道“是什么意思”，甚至不需要知道“自己在說什么”。

它只需要知道：在這種問題后面，通常會接著出現(xiàn)這樣的話。

無知客：那你現(xiàn)在能不能首接告訴我：它到底在不在思考？

蘇格拉底：不能。

因為一旦我現(xiàn)在給你結(jié)論，你后面都會“自動**”。

這不是要你相信一個答案，而是要你一步步發(fā)現(xiàn)：你原來的判斷依據(jù)，靠不住。

所以我們先只保留一個問題，帶著它往下走：如果一個東西能完美地“模擬思考的結(jié)果”，那它和“真正思考”之間，還差什么？