兩份研究,兩個相反的答案


前陣子觀察一件事:寫作能力這件事,AI 之前,人與人之間的差距很大;AI 普及之後,這個差距好像慢慢在收窄。原本判斷力比較強的人,透過 AI 確實能寫出更好的文章,但他自己的核心判斷力,可能跟以前差不多;原本比較弱的人,透過 AI 寫出來的文章,邏輯和條理進步的幅度反而更明顯。我去找了有沒有實證研究可以印證這個觀察,結果找到兩份,答案完全相反。

NBER 一份针對客服中心的研究(Brynjolfsson、Li、Raymond)發現,AI 輔助讓客服代理的生產力平均提升 15%,而這些增益不成比例地流向資歷較淺、技能較低的員工。研究者的解讀是,生成式 AI 可能把頂尖員工的最佳實踐,直接編碼、傳遞給技能較低的員工。另一份针對寫作任務的研究,得出類似的結論:原本寫作分數最低的專業人士,在獲得 AI 輔助後的進步幅度,遠大於原本分數就高的參與者。這兩份研究,都站在「差距收窄」的一邊。

哥倫比亞商學院(David Holtz 等人)针對肯亞創業者使用 AI 商業建議的研究,結論卻完全相反:AI 並沒有縮小差距,反而加深了表現最好與最差的人之間的不平等。關鍵在於,問題廣泛、複雜、模糊的時候,AI 不是取代人類判斷,是放大它——AI 產出的價值,高度取決於引導它的人類判斷力。表現較差的創業者,往往不假思索照單全收 AI 給的通用建議,這種一體適用的建議取代了他們原本該有的思考;表現較好的創業者,對 AI 建議保持懷疑,只用它來落實真正貼合自己情境的改變。

兩組研究表面矛盾,拆開任務的性質看却可以調和。客服對話、寫作初稿,問題界定清楚、答案空間有限,AI 能直接把最佳實踐複製給生手,差距因此收窄——這是執行層的問題。創業策略這種模糊、開放的問題,AI 給的是通用建議,能不能判斷這個建議適不適合自己的具體情境,才是關鍵,這是界定層的問題——低表現者輸的不是執行能力,而是不知道該不該相信 AI 給的答案。壓縮發生在執行層,分化發生在界定層。

但這兩份研究本身,還藏著兩個問題。

第一個是時間截面跟趨勢的落差。這些研究天生只能測「現在」這個時間點的 AI,沒辦法論證「AI 判斷力繼續進步之後」會發生什麼事。拿它們論證「壓縮正在發生」可以,拿它們論證「壓縮會一路持續到判斷力被完全淹沒」,證據力就不夠了——這種長期命題,需要的是已經走完全程的歷史先例(例如西洋棋),而不是還在半路上的橫切研究。

第二個是量尺本身可能製造假象。客服研究用的解決率、處理時間,接近 ratio scale,卻藏著天花板和地板效應:低表現者離天花板遠,數學上本來就有更大的進步空間;高表現者已經接近上限,就算判斷力真的等幅提升,測出來的涢幅也會被壓縮成看起來很小。「低表現者進步更多」這個結論,有一部分可能只是地板效應製造出來的假象,不是判斷力真的被拉平了。寫作評分用 rubric 打分更麻煩:從 3 分進步到 5 分,跟從 7 分進步到 9 分,這兩個「2 分」的心理距離不一定相等,把 ordinal 硬套成 interval 去算「進步幅度」,換一把尺,結論可能整個翻盤。

查核 AI 給出來的答案,或者查核研究給出來的答案,從來不能只看結論漂不漂亮、引用次數多不多——先問清楚,這個結論是用什麼量尺量出來的,測的又是什麼時間點的東西。兩份研究的「壓縮」結論,某程度上都該打上問號,不是壓縮不存在,是這個問題,比「壓縮到底存不存在」這件事本身,更值得放在前面講。