第一章 它這么會(huì)聊天，是不是已經(jīng)在思考了？
蘇格拉底之問(wèn)：解剖大模型本質(zhì)
無(wú)知客：我第一次用大模型的時(shí)候，說(shuō)實(shí)話，有點(diǎn)被嚇到。
它回答得太快了，說(shuō)話太完整了，連語(yǔ)氣都很像人。
我當(dāng)時(shí)腦子里只有一個(gè)念頭：這玩意兒是不是己經(jīng)在思考了？
蘇格拉底：在你下結(jié)論之前，我們先慢一點(diǎn)。
你先告訴我——你為什么覺(jué)得它在思考？
無(wú)知客：因?yàn)樗芑卮饐?wèn)題啊。
而且不是那種死板的回答，是有邏輯、有例子、有總結(jié)。
我問(wèn)它“怎么寫方案”，它真給我寫了一份；我問(wèn)它“人生有沒(méi)有意義”，它還能反問(wèn)我。
這不像思考，像什么？
蘇格拉底：那我換一種問(wèn)法。
如果一個(gè)東西說(shuō)話很像人，我們是不是就會(huì)下意識(shí)地認(rèn)為它在想？
無(wú)知客：……好像是。
蘇格拉底：那我們來(lái)做一個(gè)小實(shí)驗(yàn)。
假設(shè)有一只鸚鵡，它能背下你所有的問(wèn)題和對(duì)應(yīng)的回答。
你問(wèn)一句，它就答一句，永遠(yuǎn)不出錯(cuò)。
你會(huì)說(shuō)它在思考嗎？
無(wú)知客：不會(huì)吧，它只是背得多。
蘇格拉底：那問(wèn)題來(lái)了。
如果“會(huì)回答”不等于“會(huì)思考”，你憑什么確信，大模型不是一只“超級(jí)鸚鵡”無(wú)知客：可問(wèn)題是，大模型不只是重復(fù)。
它能回答我沒(méi)見(jiàn)過(guò)的問(wèn)題。
蘇格拉底：你說(shuō)得很好。
那我們就要更精確一點(diǎn)。
你心里覺(jué)得“思考”至少包含什么？
無(wú)知客：嗯……理解問(wèn)題？
知道自己在說(shuō)什么？
不是亂說(shuō)？
蘇格拉底：很好。
那我們先抓住其中一個(gè)：理解。
我再問(wèn)你一個(gè)有點(diǎn)不舒服的問(wèn)題：你怎么確定——對(duì)方是真的理解了，而不是看起來(lái)像理解？
無(wú)知客：這怎么區(qū)分？
蘇格拉底：很難。
因?yàn)樵谌祟愂澜缋铮覀儙缀鯊膩?lái)不區(qū)分。
一個(gè)人能對(duì)答如流、邏輯清楚、語(yǔ)氣自然，我們默認(rèn)他是“懂的”。
可問(wèn)題是：這是對(duì)人的判斷方法，不一定適用于機(jī)器。
蘇格拉底：人類有一個(gè)天生的弱點(diǎn)：我們會(huì)把語(yǔ)言能力，誤當(dāng)成思維能力。
你想想：小孩什么時(shí)候被認(rèn)為“聰明”？
學(xué)生什么時(shí)候被認(rèn)為“會(huì)了”？
面試什么時(shí)候被認(rèn)為“通過(guò)了”？
答案往往只有一個(gè)：他說(shuō)得像那么回事。
無(wú)知客：你是說(shuō)，我們被語(yǔ)言騙了？
蘇格拉底：不是被騙，是太習(xí)慣了。
在人類社會(huì)里，“會(huì)說(shuō)話”幾乎永遠(yuǎn)和“會(huì)想事”綁定在一起。
所以當(dāng)一個(gè)機(jī)器突然也能說(shuō)得這么像人，我們本能地把整套判斷一起搬了過(guò)來(lái)。
可我們從來(lái)沒(méi)認(rèn)真問(wèn)過(guò)一句：“如果一個(gè)東西能說(shuō)，但不想，它會(huì)是什么樣？”
無(wú)知客：等等。
你是不是在暗示：大模型可能根本沒(méi)有在想，只是在回答？
蘇格拉底：我不暗示，我只**。
你回答我：你在和大模型對(duì)話時(shí)，它有沒(méi)有哪怕一秒鐘停下來(lái)，說(shuō)：“我先想一想?！?br>
無(wú)知客：……沒(méi)有。
蘇格拉底：它有沒(méi)有猶豫？
有沒(méi)有因?yàn)椤澳貌粶?zhǔn)”而拒絕回答？
無(wú)知客：大多數(shù)時(shí)候沒(méi)有，它很自信。
蘇格拉底：那你有沒(méi)有想過(guò)一種可能：它從來(lái)不是“想好了再說(shuō)”，而是“必須馬上說(shuō)”。
蘇格拉底：現(xiàn)在我們來(lái)到本章最重要的問(wèn)題。
我希望你先別急著回答。
如果一個(gè)系統(tǒng)的任務(wù)只是：在任何情況下，都給出一個(gè)“看起來(lái)合理的回答”，它需要思考嗎？
無(wú)知客：……好像不一定。
蘇格拉底：對(duì)。
也許，它只需要一件事：知道什么樣的回答“像是一個(gè)好回答”。
注意這句話。
它不需要知道“對(duì)不對(duì)”，不需要知道“是什么意思”，甚至不需要知道“自己在說(shuō)什么”。
它只需要知道：在這種問(wèn)題后面，通常會(huì)接著出現(xiàn)這樣的話。
無(wú)知客：那你現(xiàn)在能不能首接告訴我：它到底在不在思考？
蘇格拉底：不能。
因?yàn)橐坏┪椰F(xiàn)在給你結(jié)論，你后面都會(huì)“自動(dòng)**”。
這不是要你相信一個(gè)答案，而是要你一步步發(fā)現(xiàn)：你原來(lái)的判斷依據(jù)，靠不住。
所以我們先只保留一個(gè)問(wèn)題，帶著它往下走：如果一個(gè)東西能完美地“模擬思考的結(jié)果”，那它和“真正思考”之間，還差什么？
它回答得太快了，說(shuō)話太完整了，連語(yǔ)氣都很像人。
我當(dāng)時(shí)腦子里只有一個(gè)念頭：這玩意兒是不是己經(jīng)在思考了？
蘇格拉底：在你下結(jié)論之前，我們先慢一點(diǎn)。
你先告訴我——你為什么覺(jué)得它在思考？
無(wú)知客：因?yàn)樗芑卮饐?wèn)題啊。
而且不是那種死板的回答，是有邏輯、有例子、有總結(jié)。
我問(wèn)它“怎么寫方案”，它真給我寫了一份；我問(wèn)它“人生有沒(méi)有意義”，它還能反問(wèn)我。
這不像思考，像什么？
蘇格拉底：那我換一種問(wèn)法。
如果一個(gè)東西說(shuō)話很像人，我們是不是就會(huì)下意識(shí)地認(rèn)為它在想？
無(wú)知客：……好像是。
蘇格拉底：那我們來(lái)做一個(gè)小實(shí)驗(yàn)。
假設(shè)有一只鸚鵡，它能背下你所有的問(wèn)題和對(duì)應(yīng)的回答。
你問(wèn)一句，它就答一句，永遠(yuǎn)不出錯(cuò)。
你會(huì)說(shuō)它在思考嗎？
無(wú)知客：不會(huì)吧，它只是背得多。
蘇格拉底：那問(wèn)題來(lái)了。
如果“會(huì)回答”不等于“會(huì)思考”，你憑什么確信，大模型不是一只“超級(jí)鸚鵡”無(wú)知客：可問(wèn)題是，大模型不只是重復(fù)。
它能回答我沒(méi)見(jiàn)過(guò)的問(wèn)題。
蘇格拉底：你說(shuō)得很好。
那我們就要更精確一點(diǎn)。
你心里覺(jué)得“思考”至少包含什么？
無(wú)知客：嗯……理解問(wèn)題？
知道自己在說(shuō)什么？
不是亂說(shuō)？
蘇格拉底：很好。
那我們先抓住其中一個(gè)：理解。
我再問(wèn)你一個(gè)有點(diǎn)不舒服的問(wèn)題：你怎么確定——對(duì)方是真的理解了，而不是看起來(lái)像理解？
無(wú)知客：這怎么區(qū)分？
蘇格拉底：很難。
因?yàn)樵谌祟愂澜缋铮覀儙缀鯊膩?lái)不區(qū)分。
一個(gè)人能對(duì)答如流、邏輯清楚、語(yǔ)氣自然，我們默認(rèn)他是“懂的”。
可問(wèn)題是：這是對(duì)人的判斷方法，不一定適用于機(jī)器。
蘇格拉底：人類有一個(gè)天生的弱點(diǎn)：我們會(huì)把語(yǔ)言能力，誤當(dāng)成思維能力。
你想想：小孩什么時(shí)候被認(rèn)為“聰明”？
學(xué)生什么時(shí)候被認(rèn)為“會(huì)了”？
面試什么時(shí)候被認(rèn)為“通過(guò)了”？
答案往往只有一個(gè)：他說(shuō)得像那么回事。
無(wú)知客：你是說(shuō)，我們被語(yǔ)言騙了？
蘇格拉底：不是被騙，是太習(xí)慣了。
在人類社會(huì)里，“會(huì)說(shuō)話”幾乎永遠(yuǎn)和“會(huì)想事”綁定在一起。
所以當(dāng)一個(gè)機(jī)器突然也能說(shuō)得這么像人，我們本能地把整套判斷一起搬了過(guò)來(lái)。
可我們從來(lái)沒(méi)認(rèn)真問(wèn)過(guò)一句：“如果一個(gè)東西能說(shuō)，但不想，它會(huì)是什么樣？”
無(wú)知客：等等。
你是不是在暗示：大模型可能根本沒(méi)有在想，只是在回答？
蘇格拉底：我不暗示，我只**。
你回答我：你在和大模型對(duì)話時(shí)，它有沒(méi)有哪怕一秒鐘停下來(lái)，說(shuō)：“我先想一想?！?br>
無(wú)知客：……沒(méi)有。
蘇格拉底：它有沒(méi)有猶豫？
有沒(méi)有因?yàn)椤澳貌粶?zhǔn)”而拒絕回答？
無(wú)知客：大多數(shù)時(shí)候沒(méi)有，它很自信。
蘇格拉底：那你有沒(méi)有想過(guò)一種可能：它從來(lái)不是“想好了再說(shuō)”，而是“必須馬上說(shuō)”。
蘇格拉底：現(xiàn)在我們來(lái)到本章最重要的問(wèn)題。
我希望你先別急著回答。
如果一個(gè)系統(tǒng)的任務(wù)只是：在任何情況下，都給出一個(gè)“看起來(lái)合理的回答”，它需要思考嗎？
無(wú)知客：……好像不一定。
蘇格拉底：對(duì)。
也許，它只需要一件事：知道什么樣的回答“像是一個(gè)好回答”。
注意這句話。
它不需要知道“對(duì)不對(duì)”，不需要知道“是什么意思”，甚至不需要知道“自己在說(shuō)什么”。
它只需要知道：在這種問(wèn)題后面，通常會(huì)接著出現(xiàn)這樣的話。
無(wú)知客：那你現(xiàn)在能不能首接告訴我：它到底在不在思考？
蘇格拉底：不能。
因?yàn)橐坏┪椰F(xiàn)在給你結(jié)論，你后面都會(huì)“自動(dòng)**”。
這不是要你相信一個(gè)答案，而是要你一步步發(fā)現(xiàn)：你原來(lái)的判斷依據(jù)，靠不住。
所以我們先只保留一個(gè)問(wèn)題，帶著它往下走：如果一個(gè)東西能完美地“模擬思考的結(jié)果”，那它和“真正思考”之間，還差什么？