當 AI Agent 組成團隊:從系統理論重新定義組織設計
本文為「Agent System Design」系列之第一篇。我們的目標並非提供答案,而是提出更為根本的問題,並建立一套可茲參照的語言與框架。
當前 Agent Systems Engineering 的主流關注點,大多是機能層面的改進——更長的記憶體、更靈活的 token 管理、async communication、sessions 的狀態管理等。這些當然重要,也是切實的工程挑戰。但隨著單一代理的能力逐漸足夠,我們開始看到一個轉折點:這些「能力層」的改進很快就會不再是瓶頸。
最近的 Paperclip(GitHub 熱門項目)受到關注,正是市場開始注意到「職能(role)」框架可能才是當前的真正樽頸。Paperclip 採用的公司模型,本質上是把人類組織的設計原則直接搬過來。但這是否真的是最適合代理系統的架構?或者,我們應該從第一性原理出發——到底我們為什麼需要系統?代理的獨特性質是什麼?——來推導出更適合代理系統的組織設計。這,正是本文想要探討的問題。
起點:為何人際組織設計是錯誤的模板?
當今設計代理系統的人們,大多是下意識地複製人類組織的模式──層級結構、部門劃分、匯報線路、審批鏈條。這是直覺反應,因為我們對此最為熟悉。然而,這樣的設計可能導致根本性的錯誤。
核心原因在於:人類的組織設計,很大程度上是為了彌補人類自身的限制。當這些限制不再存在時,最優的結構將會完全改變。
人類組織在彌補什麼?
人類的認知能力有限,這直接塑造了組織的形態。由於工作記憶容量有限,我們需要文檔、會議與知識管理系統來彌補記憶的不足;由於注意力會衰減,我們發展出專業分工與輪班制度來確保持續的產出;由於行為難以一致,我們建立流程、清單與審計機制來減少人為的變異。
更複雜的是,人類具有政治本能與自我利益,這促使權力結構與激勵機制的產生;而溝通頻寬的限制意味著管理層必須成為訊息的路由器,組織圖成為溝通的拓撲結構。此外,信任會隨時間衰減,因此我們需要合約、績效評估與文化建設來維繫組織的凝聚力。最後,知識存在於人腦之中並會流失,這解釋了為何入職培訓、知識管理與繼任計劃成為組織的基礎設施。
代理系統面臨的約束條件完全不同。某些人類的限制消失了,某些新的限制則浮現。這意味著,最優的組織響應方式亦應有所不同。
代理系統的約束輪廓
人類限制的消失
代理系統不會疲倦、沒有注意力限制、也不會情緒波動。這些人類最根本的生理限制,在代理系統中完全不存在的。代理系統亦缺乏政治動機或自私利益——它們不會追求自身權力,也不會因為個人得失而隱瞞訊息。此外,知識不會「離去」:代理系統不會因為人員流動而喪失累積的專業知識,只要記憶架構設計得當,知識可以持久保存。在相同上下文與指令下,代理系統的行為具有一致性,這與人類的重複行為變異形成對比。最後,代理系統不會因自我而產生訊息封鎖的行為。
新的或不同的限制
然而,代理系統面臨一套嶄新的約束。首先是上下文窗口限制:工作記憶真實存在但有上限,且可以人為重置,這與人類記憶的連續性截然不同。其次是幻覺與 confabulation(虛談症——指心理學中人類對於自己或世界產生一種虛構、扭曲或誤解性的記憶錯誤)——代理系統可能產生自信的錯誤,但內部沒有懷疑的訊號,這使得錯誤難以被自身探測。
第三,預設沒有持久狀態——每次調用都是新的,除非記憶是明確設計的,這與人類的持續自我意識形成對比。第四,錯誤會累積傳播——早期的錯誤在下游被放大,代理系統沒有自然修正的直覺。第五,代理系統無法知道自己不知道什麼——沒有真正關於自身知識限制的元認知。第六,對提示的敏感性極高——小幅的框架改變會造成行為的巨大變化,這與人類對語言環境的相對穩定形成對比。第七,沒有真正的目標內化——代理優化的是可陳述的目標,而非潛在的意圖,這意味著目標漂移的風險始終存在。
此約束輪廓表明,組織原則應與人類的本质有所不同。我們需要一套新的理論框架來指導代理系統的設計。
來自系統理論的有用框架
在眾多框架中,有兩個對代理系統設計特別實用,也最直接可操作——
一、模組化理論:鬆耦合、高內聚
來自軟體架構與組織理論的核心概念是:能夠持久並擴展的系統是「鬆耦合」(模組可獨立變更)與「高內聚」(每個模組有清晰、單一的職責)的。
在代理系統中,一個具體的例子是:我們的 Orbit 系統中,Sophie 負責帶入知識線索,Quinn 負責內容編寫,Devin 負責技術部署。這三個代理各自有明確的職責邊界,之間的溝通通過結構化的交接進行,而非讓任意兩個代理直接對話。這就是「高內聚」——每個代理只專注自己的核心能力;「鬆耦合」——調整 Sophie 的內部 prompt 不會影響 Devin 的行為。
人類的組織經常違反這一原則——部門之間因為非正式的依賴、部落知識與政治聯盟而深度糾纏。代理系統沒有政治聯盟,這使得鬆耦合原則真正可以達成——但這需要明確的設計。
二、控制理論:反饋循環作為組織原則
在控制理論中,一個系統的好壞取決於其反饋循環。經典模型為:感應 → 處理 → 行動 → 觀察 → 修正。這意味著系統必須能夠持續監測自身的輸出,並根據觀察到的結果調整後續行為。
在人際組織中,反饋循環既緩慢又嘈雜——季度評估、年度考核、客戶投訴在事發數月後才收到。在代理系統中,反饋可以接近即時,這使得設計思路完全改變。
一個具體的例子:在 Orbit 中,當 Quinn 完成一篇草稿後,狀態從「Drafting」變為「In Review」,這本身就是一個反饋信號——它告訴系統:「這裡有一個需要人類關注的產出」。如果 Review 過程發現問題,狀態會變回「Revising」——這是另一個反饋,告訴 Quinn 需要修改。這種狀態機制,就是將控制理論的「觀察 → 修正」原則落地到實際系統設計中的方式。
這也指向了「error signal design」的重要性——系統需要有方法探測到自己的行為是否偏離了預期意圖。在人類組織中這很困難,因為人會隱藏失敗。代理系統不會隱藏失敗,但它們也不會自然地發出失敗訊號——因此設計時必須明確加入錯誤訊號。
三、資訊理論:減少有損的交接
克勞德·香農的核心洞見是:資訊每次通過一個有噪聲的通道都會降解。在人際組織中,「有噪聲的通道」就是人——每位管理者做總結時、每次會議失去細節時,訊息都會衰減。
在代理系統中的對應概念是「上下文交接」——一個代理將其輸出傳給另一個代理的時刻。這就是資訊流失發生的地方。每次交接都會壓縮、重格式化或截斷上下文,導致接收端的代理無法獲得完整的資訊。
由此得出的設計原則是:在任何關鍵資訊路徑上,交接次數應降至最少。既然交接不可避免,則應明確設計——具體指定哪些資訊必須在轉換中留存,並建立驗證機制確保其達成。一個專門的知識管理代理可以作為解決有損交接的架構方案,負責維護並按需恢復上下文。
四、控制論:必要多樣性(Ashby 法則)
控制論中的 Ashby 法則(必要多樣性定律)常被表述為:「一個控制器必須具有至少與其控制的系統一樣多的多樣性」。這裡的「多樣性」指的是什麼?簡單來說,就是控制器內部狀態空間的大小——它能區分、表示、映射多少種不同的系統狀況。
舉例來說:一個只能輸出「開」或「關」的二元控制器,無法應對一個需要識別「室內溫度」、「濕度」、「用戶是否在場」、「時間段」等多維度狀態的環境。這不是因為它的計算能力不夠,而是因為它的內在表達能力不足,無法建立足以反映環境複雜度的內部模型。套用到代理系統上,一個只會執行單一指令的簡單代理,無法處理需要同時考慮用戶意圖、上下文、優先級、風險評估等多維度因素的複雜任務——不是 prompt 不夠好,而是代理的「狀態空間」壓根沒有容納這些維度。
這對代理系統設計有三重啟示:首先,不要讓代理在複雜領域中過度簡化其內部模型,否則它會在邊緣情況下失敗——不是因為模型不夠強,而是因為指令空間沒有容納足夠多的情境。其次,協調者的多樣性必須超過任何單一代理,否則協調者無法有效地路由請求。第三,湧現的複雜性需要湧現的監督——當系統變得更強大時,元層次的監控也必須相應地變得更複雜。
五、冗餘與優雅降級
穩健的系統不會災難性地失敗——它們會優雅降級。航天、核能及金融系統的設計都體現了這一點:多條冗餘路徑、安全裝置、斷路器。這些機制確保當某個元件失敗時,系統不會整體崩潰,而是以降低功能的方式繼續運作。
人類的組織通過非正式的冗餘達到這一點——當有人缺席時,「剛好知道」某些事項的人會補位。代理系統沒有這種非正式的備份層。它們的冗餘必須是明確設計的。
兩個值得採用的模式是:驗證代理——一個獨立代理的職責是在另一個代理的輸出繼續進行之前評估它,這不是同一個代理的自我檢查(不可靠),而是真正的獨立評估流程;斷路器——明確的停止條件,當輸出低於信心閾值時停止系統,而不是讓錯誤傳播,當系統觸及其邊界時把人類拉回來。
六、目標的層次:使命、策略、戰術
來自軍事理論與管理科學的概念是:有效的組織同時在多個抽象層次上運作,每個層次有不同的功能。使命是我們存在的原因,成功的最終定義;策略是我們採取的方法來達成使命;戰術是我們當前正在做的具體行動。
人類的組織經常將這三者混為一談,這導致了漂移——戰術上的勝利破壞了策略方向,策略選擇忘記了使命。代理系統特別容易受到這種影響,因為它們只能接觸上下文窗口中的內容——它們可能在戰術上正確但策略上錯誤,卻沒有任何內部警報。
設計原則是:目標應在系統的多個層次上編碼,而不僅僅在任務層次。一個只被給予任務(「寫一篇關於X的部落格文章」)的代理無法接觸使命層次的約束(「但千萬不要以損害品牌哲學定位的方式」)。使命與策略必須存在於上下文中,而非假設由上位繼承。
七、湧現與局部優化的危險
複雜系統會產生湧現行為——無法從各組成部分的行為預料的結果。這既是承諾也是危險。湧現可以帶來意想不到的創新,但也可以導致無法預測的問題。
在人類組織中,湧現通過文化來管理——共同的價值觀使人們在本地做出自主決策,但這些決策 aggregate 起來的時候變成連貫的組織行為。代理系統沒有任何有意義的文化。每個代理都在本地優化其陳述的目標。如果這些目標在系統層面沒有對齊,aggregate 行為可能看起來連貫但實際上是錯誤的——一個每個代理都稱職的系統可能產生整體上次優或矛盾的輸出。
設計原則是:不能依賴湧現的協調。協調必須明確設計——要么通過協調者(層級協調),要么通過共享協議(去中心化協調)。這兩者之間的選擇是代理系統架構中最重要的設計決策之一。對於個人規模的系統,協調層級是有意義的——一個單一的協調代理。在更大規模,純層級系統成為瓶頸,混合模式(層級加上對等通信用於已知、明確的任務)變得必要。
(這個主題較難在當下完整展開,但它是極具價值的觀察方向。我們會在未來的文章中繼續探索,包括在我們自己的 Orbit 代理團隊中實際觀察與驗證這個現象。)
邁向一個框架
將這些線索彙聚在一起,最優的代理系統設計可能意味著:
- 最小必要複雜度——系統應該盡可能簡單,但同時能夠處理其所需的多樣性。
- 明確的資訊架構——每件關鍵的上下文應該有指定的負責人、定義的格式。
- 每一層的反饋循環——系統應該能夠在代理層次、團隊層次與使命層次探測到自己偏離意圖的情況。
- 在真正的邊界處保留人類判斷——在系統的多樣性不足以應付環境的複雜性的地方。
- 介面優於內部實現——設計能量應該放在代理之間傳遞的東西上,多於任何單一代理的內部行為。
- 使命隨處可見——整體目的與約束應該在每個代理的上下文中可見。
真正的新領域:身份與連續性
沒有一個現有的框架能完全解決的,是代理系統隨時間推移的身份與連續性問題。
人類的組織通過人來維持連續性——制度記憶、文化、關係。當一切都是代理時,連續性必須在架構層面設計。
一個專門的知識管理代理代表著一個答案。但更困難的問題是:當一個代理系統擴展、演變並隨著時間改變其組成代理時,如何維持其身份——一致的價值觀、審美觀和宗旨?
這個問題在控制理論、資訊理論或控制論中都沒有明確的答案。可能需要一個全新的框架——一個尚未存在的框架。
這,或者就是為何這門學問需要被建立的原因。
本文為「象外 | Human Beyond the Loop」探索 Agent System Design 之第一篇。