海爾維提情境與古德哈特定律(Helvetica Scenario and Goodhart's Law)
自己明明小時候經常寫東西，卻從國中開始一直很怕寫作，或許可以用古德哈特定律（Goodhart’s Law）來解釋？
最近在重溫生成對抗網路（Generative Adversarial Networks, GANs）的原論文。2014年的論文，著實有一些年頭了，所幸寫得很直觀易懂，讀起來不怎麼費勁。其中有一個細節很有意思，不是算法和框架本身，而是在作者的分析之中，有提到一個叫「Helvetica Scenario」的東西（姑且稱作「海爾維提情境」吧），說是對抗網路需要避免這種情境。
這「海爾維提情境」是個什麼東西呢？DuckDuckGo和ChatGPT給了我不同的答案。根據搜尋引擎DuckDuckGo（其實是匿名套皮谷歌lol）的解釋，「海爾維提情境」是一個BBC喜劇節目中的哽，說是鈣原子的質心會在某些特定條件下到處遊走，形成非常不穩定的狀態。當然節目本身肯定是在扯淡，論文中引用這個捏他，估計是為了形容一種神經網路什麼都沒學到的混沌狀態吧。
有趣的是，GPT老師給了我完全不一樣的解釋。說的是這樣一個故事：如果讓個人工智慧「把世界變得更美麗」，這人工智慧有可能會把世界上所有的文字都變成Helvetica字體——因為人類和人工智慧都知道Helvetica字體是很好看，很標準的字體，但是人工智慧誤把這當作「唯一」美麗的標準了，因此把一切都變成Helvetica體，能夠最大化人工智慧關於「美麗」的標準。
雖然GPT老師給的大概率是Hallucination下的胡謅（畢竟DuckDuckGo給的是真有論據的嘛），但我個人覺得GPT老師的解釋更有道理。這很能描繪對抗模型中的mode collapse問題。對抗模型中，我們希望模型通過一些隨機噪聲生成多元的真實圖片，達到分類器看不出來的程度。對於人工智慧模型來說，ta很有可能就直接把一個真實的圖片給「背下來」，每次都生成這一張死記硬背的圖片。這當然可以達成糊弄分類器的目標，但是更顯然的是，這根本就不是想像中的人工智慧啊，完全沒有創造力欸，完全忽略了「多元化」的目標！
不僅是對抗神經網路，很多機器學習的框架，都有類似的問題：模型把一個指標做得太好了，反而在現實中不太適用。這在經濟學中被稱作「古特哈特定律（Goodhart’s Law）」——“Any observed statistical regularity will tend to collapse once pressure is placed upon it for control purposes”。用大白話來講，就是一個衡量標準變成一個一定要實現的目標，就不再是一個有用的標準了。感性上我非常認同。我的粗略理解是，人類會追求一些「好」的東西，因此會製作衡量標準，把抽象的「好」量化成直觀的數字或指標，從而最大化這些量。然而，人類的認知能力總歸有些限制，這些數字並不能夠反映「好」的所有方面。結果就是，這些優化後的冷冰冰數字，反而與「好」的概念背道而馳。正如對抗模型中，「好」僅僅被量化成「是否能騙過分類器」，因此會有非常荒謬卻合理的結果。
在廣義上將，如果一些衡量標準上有了「pressure」，即使在其上作優化，也會將此標準扭曲。過去的記憶又湧上心頭。唸國中之前，我是很喜歡寫東西的！小學的時候，每天在空間裡記日記，分享給同學們看（雖然童言無忌也得罪了一些人）。看哆啦A夢時寫過同人小說（雖然當時不知道這叫法）。看完《上下五千年》時，就有寫秦始皇穿越回現代的小科幻短文；讀完《西遊記》後，也有續寫過悟空和佛祖的故事呢！對於文字的熱情，明明曾經也是有的呀？
進入國中之後，一切都變了。想起了那時學的考場作文，根據幾個字或幾個似是而非的文字，寫一篇至少800字的文章。滿分60分，50及以上算寫得好。這種作文看似沒有標準，但是在敬愛的陳小川老師的諄諄教誨下，這種考場作文變得跟他所鄙夷八股文沒有區別：需要有好詞佳句，需要有煽情，需要提到親人，需要提一點古文經典，還需要所謂的昇華⋯⋯每次作文課我是學不到任何東西的。雖然有點得罪人，但是大多數時候陳小川先生念的優秀作文，都是華而不實。偶爾能聽到一兩篇令人耳目一新的，但絕大多數的來說，題材可能略微不同，空洞的感覺卻又大同小異。
而我呢，常常是被作為反面典型呀。照著那些標準寫文章，總有一種彆扭感。有人推薦我背一個模板，看到個題目就往上套，而我又不想這麼做。因此，不要說50分了，我是絕大多數情況下，連47都上不了的。我們敬愛的陳小川先生，每次考完後，總是要報一下幾個人沒上47分，順便酸一下；好多次都在唸完「優秀作文」後，故意讀一些「反面教材」。說是匿名，但小川就在往我這邊瞟呀——當然確實也是我寫的垃圾～。去他的辦公室，陳小川先生也很少給我好臉色看呢，可能也有因為我初一時得罪過他吧。對我歇斯底里地吼叫，卻不會真正教會學生如何寫作，現在想起來真是有點可憐呢。
我也有點可憐吧，有些玻璃心。自己的信心被一次又一次的低分作文消磨殆盡，對寫文字的態度，從熱情到無感，再到恐懼。日記什麼的就偶爾寫寫啦，公開的文字根本就不敢想像。即使是現在寫一些自己的東西，那「800字要求」也會是不是擾亂我的思緒。當然也不能完全怪小川先生啦～小時候父親比較嚴格，給我佈置過很多閱讀任務，還一定讓我寫所謂的讀後感。父親推薦的書確實都是好書，不過確實不適合小學生看，我也就漸漸地應付形式地「水」那些毫無感情的讀後感，寫過一兩週後也完全忘了。前陣子看我小時候寫的讀後感，還很震驚自己原來度過那麼多書——不過基本上忘光了。我何嘗不是那個「對抗模型」呢？有一說一，「對抗」真是個好翻譯呀，明明原本只是對應「adversarial」的說～
屈於升學壓力，初三的時候，還是迫使自己朝那些奇怪的標準「優化」自己了。或許看起來有些好結果吧。有一次週末的作文作業，題目忘了是什麼了，好像是關於自己的榜樣？反正我寫的是給漢字編碼的那位王選院士——其實我是在寫作文之前，根本不知道他是誰。在母親的督促（壓力？），「精雕細琢」了一個週末。最後確實拿了52分的高分，陳小川第一次讓我把我的文章當「優秀範文」唸了出來。他好像很高興，還在興頭上說什麼「一直在用有色眼鏡看我」，給我道歉什麼什麼的。我就無感，反正這篇文章不像我。喔，原來原來您還知道是在給我穿小鞋呀！我破碎的心，我失去的兩年，您能補給我嗎？
果然，我畢竟還是人，不是沒有感情的「對抗神經網路」，還是受不了這種違心的優化。那年中考題目叫「答案」。正好那時在聽齊豫，非常喜歡她的《答案》。「天上的星星，為何像人群一般的擁擠呢？地上的人們，為何又像星星一樣的疏遠？」標準什麼的，我直接不管了，就當是一篇《答案》歌詞同人文了。小學校園，朋友，旅行⋯⋯嗖嗖嗖颼颼颼就意識流地寫完。不久後得知，我中考語文考出了我初中三年的最低分，我卻感到酣暢淋灕，真正有種解放的感覺——果然，寫出自己的文字，還是最舒服呀。
齊豫 - 《答案》
已經七年了呀。慢慢的，我也開始出於興趣寫東西了⋯⋯完蛋，這夢魘又來了！這裡不昇華一下，總感覺缺了點什麼？寫到這裡也沒什麼特別想發散的東西。就祝自己因為能夠寫些東西，做個好夢吧☆:.｡. o(≧▽≦)o .｡.:☆