久久久久久久999_99精品久久精品一区二区爱城_成人欧美一区二区三区在线播放_国产精品日本一区二区不卡视频_国产午夜视频_欧美精品在线观看免费

標題: 24 年前的香農專訪：一個頑皮的科學巨匠，信息論之父 [打印本頁]

作者: 51黑專家 時間: 2016-5-7 22:04
標題: 24 年前的香農專訪：一個頑皮的科學巨匠，信息論之父
作者： John Horgan
機器之心編譯
參與：Wenhui Li、吳恒、李亞洲

SyncMind 是機器之心的周末專欄，關注更加廣泛的科技人文思考，希望將寬宏的視野與思想「一點點注入那些必須熟悉的、被掩蓋著的鉚釘和縫隙上。」

克勞德·香農是美國著名的數學家、電子工程師，他開創性的研究奠定了現代數字通信的理論基礎。2016 年 4 月份是他的百年誕辰紀念月，為表紀念，IEEE Spectrum 重新發表了前 Spectrum 編輯 John Horgan 于 1992 年對香農的人物專訪。這篇專訪為我們揭示了香農性格的多個側面：除了是廣為人知的信息理論之父，他還是一位投資人、發明愛好者、解謎愛好者和愛搞惡作劇的人。1992 年的這篇專訪中包含了一幅由波士頓攝影師 Stanley Rowin 拍攝的香農肖像。在這篇文章里，IEEE Spectrum 還重印了由 Rowin 拍攝、 Spectrum 從未發表過的香農照片。在與阿爾茲海默氏病抗爭了很長一段時間后，香農于 2001 年逝世，享年 84 歲。他被認為是有史以來最偉大的電子工程英雄之一。

真正的克勞德·香農是什么樣子？一個拜訪者來到波士頓城外一幢用灰泥粉飾過的宅邸 Entropy House，那里就是香農和他的夫人 Betty 住了三十年的地方。對這個問題，你在不同的房間里可能得到不同結論。在一間老舊卻整潔的房間里，成排擺放的獎章莊嚴地印證著香農數不勝數的榮譽，其中包括 1996 年獲得的美國國家科學獎（the National Medal of Science）、有日本「諾貝爾」獎之稱的京都獎（the Kyoto Prize）和 IEEE 榮譽獎章（IEEE Medal of Honor）。

另一個房間里，珍藏著香農的著作。AT&T 貝爾實驗室研究執行總監 Robert W. Lucky 將其工作稱為「載入史冊的科技思想（in the annals of technological thought）」， IBM 院士 Rolf W. Landauer 稱香農「極具開創性的洞察力（pioneering insight）」的可等同于愛因斯坦。香農，作為 1984 年加入貝爾實驗室的年輕工程師，定義了信息理論。在《貝爾系統技術雜志（the Bell System Technical Journal）》發表了一篇極富才氣的論文后，他建立了電子數據高效打包和傳輸的知識框架。這篇題目為《通信的數學理論（A Mathematical Theory of Communication）》論文，現在仍然是通信時代的「大憲章」。

然而在給訪問者展示他的獎品時，這位 75 歲有著一頭蓬亂雪白頭發、笑起來像精靈一樣的老頭，竟然感覺不好意思。在不安的一分鐘后，他竄入了隔壁的另一個房間。這個房間放著裝裱好的證書，其中一個將香農稱為「玩雜耍的醫生（doctor of juggling）」。它也被整齊排放在堆滿各種小發明的桌子上。

香農用了很多年收集到其中的一些寶藏，比如會說話的下棋機、百刃折疊刀、電動彈簧單高蹺和數不清的樂器。里面也有他自己創造的：有三個小丑的微縮舞臺、一個能在迷宮中自己找到出口的機械老鼠、喜劇演員 W.C. Fields 的雜耍模型和一個能夠計算羅馬數字的名為 Throbac（Thrifty Roman Numeral Backward Computer ）的計算機。香農曾試圖讓模型 W.C. Fields 表現真人的喜劇能力，但是最終落空了。「我愛建造機器，但是總是維修它們真的很難，」他有點不滿足地說。

這個裝滿小發明的房間揭示了香農的其他側面：這樣的他會邊用四個球玩著雜耍，邊騎著獨輪自行車穿行在貝爾實驗室大廳里。這樣的他發明了裝有火箭發動機的飛盤，設計了「讀心術(mind-reading)」機器。

這個房間代表了香農，一個為了尋找下棋機見解的人，開始在工作的時候下如此多的象棋。據前同事說，「至少一位監管員某種程度已近開始擔心了」。
香農并沒有感到歉意。「在我追尋自己興趣愛好的時候，很好會考慮它最終的價值或對世界的價值。」他高高興興的說，「我在很多完全無用的事情上花費了很多的時間。」

《金甲蟲》的影響

香農對數學抽象概念和小玩意的興趣早早就萌發了。他成長于密歇根州的蓋洛德，那里離他 1916 年出生的地方不遠。那時，他就開始玩弄玩他爸爸（遺囑檢驗法官）給的無線電套件和安裝工具組合。他還沉迷于解答他最終成為數學教授的姐姐 Catherine 給他的數學謎題。

「當我還是一個孩子的時候，就對密碼學和此類東西感興趣。」香農說。他最愛的故事是埃德加·愛倫·坡寫的推理小說《金甲蟲》，這是愛倫·坡鮮有幸福結局的小說：通過解密一個神秘地圖，英雄最終找到了埋藏的寶藏。

作為密歇根大學（位于安阿伯市）的畢業生，香農獲得了數學和電子工程兩個學士學位。他對這兩個領域的精通使他成功成為了麻省理工學院的研究生。在與 Amos Joel（這一領域的著名專家，在貝爾實驗室工作）就復雜的電話交換線路進行討論后，他在自己的碩士論文里論述了由90 年代中期、英國數學家 Amos Joel 發明的一個代數結構如何在電子線路中表達開關和繼電器。

克勞德·艾爾伍德·香農
生日：1916 年 4 月 30 日
出生地：密歇根州佩托斯基市
身高：178 厘米
體重：68公斤
幼年崇拜的英雄：托馬斯·愛迪生
第一份工作：西聯匯款的信差
家庭情況：妻子是Mary Elizabeth (Betty) Moore；三個孩子分別為 Robert J., 電腦工程師；Andrew M., 音樂家；Margarita C., 地質學家
學歷：1936年學士，密歇根大學；1940年碩士、博士，美國麻省理工學院
愛好：小發明、雜耍、獨輪車
最喜歡的發明：W.C. Fields 雜耍機器人
最喜歡的作家：T·S·艾略特
喜歡的音樂：迪克西蘭爵士樂
喜歡的食物：放巧克力醬的香草冰淇淋
會員資格和獎項：IEEE（國際電子電力工程協會）會士、美國國家科學院成員、美國文理科學院成員；1966 年 IEEE 榮譽勛章；1966 年美國國家科學獎章；1972 年哈維獎；1985 年京都獎
最喜歡的獎項：1940 年碩士論文獲美國電氣工程師學會獎

這篇由 22 歲學生所做的論文影響深遠：電路設計能在建造前被數學性地測試，而不是通過冗長的試驗和錯誤來驗證。工程師現在能夠在布爾代數的幫助下照章設計電腦硬件和軟件、電話網絡和其他復雜系統。

香農的論文被稱為「本世紀可能最重要的研究生論文，」但是香農，顯然將它輕描淡寫了。「這只是碰巧，因為沒有其他人在兩個領域都熟悉，」他說。他沉思了一會，補充說，「我已經永遠地愛上了這個詞，『布爾』。」

在 1940 年獲得博士學位（他的博士畢業論文討論了遺傳傳遞的數學運算）后，香農在新澤西州普林斯頓的高等研究院（the Institute for Advanced Study）呆了一年。這時香農明顯降低了說話的聲音，他回憶了當他在研究院做演講時，傳奇人物愛因斯坦從房間的后門突然進來。愛因斯坦看著香農，在與另一位科學家接耳說完話后就離開。在演講結束后，香農沖向剛才那位科學家詢問愛因斯坦說了什么。這位科學家嚴肅地告訴他這位偉大的物理學家「想要知道茶在哪里。」說完后，香農就爆笑了起來。

你怎么拼寫「有了！（Eureka）」？

香農在 1941 年去了貝爾實驗室，之后在那里呆了 15 年。在二戰期間，他參與了開發數字加密系統的團隊，其中的一個系統被丘吉爾和羅斯福用來開跨洋會議。

就是這個工作，香農說，引導他發展自己的信息理論。他意識到，數字編碼能夠在偵探的眼睛下保護信息，那也能夠在靜電和其他形式的干擾下保護信息。這些編碼也能夠用于更高效地打包信息，從而讓更多的信息通過既定通道傳輸。

「我的第一個（關于信息理論的）想法，」香農說，「是如何在噪聲渠道里最好的改善信息傳輸。這是一個特殊的問題，因為那時你可能正想著電報系統或者電話系統。但當你想這個問題時，你腦海中可能就對所有廣泛的應用有了概念。」被問及是否在某一個時刻他有了「Eureka」似的閃電靈感，香農用下面這句話側面回答了這個過分簡單的問題，「我本該有過，但是我不知道如何拼寫那個詞。」

香農在 1984 年的論文里對信息的定義對其通論理論非常的重要。回避了關于意義（他曾強調他的理論「不能也不曾打算解決意義問題」）的問題，香農表明信息是一個可測量的商品。他表示，給定消息中的信息量，除了可能被傳送的消息，由被選中的特定消息的或然率決定。

他將系統中全部的信息能力定義為熵，熵這一概念來自于熱力學所表達的系統的無序程度，或者物理學家稱之為「混亂程度」。（偉大的數學家和計算機理論家 John von Neumann 說服了香農使用「熵」這個詞。von Neumann 認為，沒有人知道什么是「熵」這一事實，將在信息理論的辯論中給香農優勢。）

香農定義了信息的基本單位，也就是是貝爾實驗室的 John Tukey 衍生出的二進制單元，然后是比特，作為一個或兩個狀態的信息表達。一個人能夠在相對較小的比特中編碼大量信息，就像在古老的游戲《二十個問題》中，一個人能夠就通過靈巧的詢問快速調整歸零得到正確答案。

基于這個數學基礎，香農展示了任何給定的通信通道都有可信賴傳輸信息的最大承載量。事實上，他表示一個人可以通過高明的編碼去接近這個最大值，但永遠不能完全達到這個最大值。這個最大值也就是熟知的香農極限。

香農 1984 年的論文顯示了如何計算香農極限——但并不知道如何接近那個極限值。后來，香農和其他一直在挑戰這個問題。第一步是消除信息冗余。就像一個說話簡潔的羅密歐僅僅用「i lv u」幾個字表達信息，好的編碼首先將信息壓縮到最高效的模式。

去除足夠冗余之后，一個所謂的誤差修正編碼加進來，從而保證分拆信息不會被噪聲淹沒。舉例來說，一個誤差修正編碼處理數字流時，可能會加入一個多項式方程，保證所有的數字落到方程式上。接收端的譯碼員知道偏離方程式的任何數字在傳送中是被改變了。

Aaron D. Wyner 是 AT&T 貝爾實驗室（位于美國新澤西州默里希爾市）通信分析研究部的負責人。他指出，一些科學發現追溯起來只是那個時代不可忽視的產品，但香農的不是這樣。

事實上，香農的想法過于有先見之明，以至于不能產生即刻影響。1984 年加入貝爾實驗室的 Edgar Gilbert 說，「實驗室里很多實際操作的人認為，這是一個有趣卻不非常有用的理論。」。他的一部分工作就是和香農一起完成的。簡單來說，真空管電路處理不了接近香農極限所需的復雜編程，Gilbert 解釋。香農的論文甚至受到來自伊利諾伊大學香檳分校的 J. L. Doob 的負面評論。Historian William Aspray 也指出在那個年代，在任何事件中，香農的概念框架都不適用于信息理論應用。

直到 20 世紀 70 年代，伴隨著高速集成電路的出現，工程師們開始全面利用信息理論。就算在今天，香農的見解也無形中幫助構建了儲存系統、處理系統、數字化信息傳送系統，從緊密的磁盤到超級計算機，從傳真機到外太空探索（如旅行者號探測器）。

洛杉磯南加利福尼亞大學的電器工程師、美國電氣與電子工程師協會信息理論學會(IEEE Information Theory Society)前會長 Solomon W. Golomb 認為，香農的影響未被夸大。「就像文學領域說字母表的發明對人的影響多么重要一樣，」Golomb 評論到。

信息理論和信仰

然而，尤其是早些時候，信息理論迷住的人群比想象的要多的多。在語言學、心理學、經濟學、生物學、甚至音樂和藝術領域的人都開始融合信息理論到他們的科目中。

John R. Pierce 是香農以前的同事，同時也是加利福尼亞斯坦福大學的榮譽退休教授。他就將信息論的「普遍濫用（widespread abuse）」對比成其他兩個意義深遠、遭受諸多誤解的科學思想：海森堡的不確定性原理（Heisenberg’s uncertainty principle）和愛因斯坦的相對論。

一些物理學家走了非常長的路去論證信息理論的熵在數學上等同于熱力學熵。結果證明那是真是的，但卻無關緊要，據香農前同事、貝爾實驗室的老將 David Slepian說，他在信息編碼領域也非常有影響。Slepian說，許多工程師也「還真正理解這一理論就跳進樂隊花車」。香農的著作激發了 1956 年美國電子工程師協會信息理信息理論學會的成立，其他致力于經濟、生物系統、和其他應用的下屬學會也快速成立。在 20 世紀 70 年代，美國電機及電子工程師學會會刊信息理論版（the IEEE Transactions on Information Theory）發表了一篇社論，題目為《信息理論，光合作用和宗教》譴責了對香農理論的過度外延。（編者按：事實上，這篇 Peter Elias 的社論標題為《兩篇著名的論文》，發表于 1958 年 9 月。）

香農同樣懷疑一些對他理論的使用，同時，他也做著自己的研究。在 20 世紀 50 年代，他做了一個關于語言冗余的家庭實驗，參與的有：香農的太太，貝爾計算機科學家 Betty ；另一個貝爾科學家、IEEE 前會長 Bernard Oliver 以及 Oliver 的妻子。試驗中，一個人提供一個詞的開頭幾個字母，或者提供句子里的單詞，然后其他人將會試著猜測剩下的是什么。香農也指導了貝爾實驗室的一個實驗，實驗里工作人員對文本中不同字母出現的次數進行統計、排序。

此外，香農建議將信息理論應用到生物系統中，因為應用到這一領域至少沒那么牽強附會。「神經系統是一個復雜的交流系統，并且它用復雜的方式處理信息，」他說。當問到他是否認為機器能夠「思考」時，他回答道：「當然啦。我是一個機器，你是一個機器，我們都思考，不是嗎？」

確實如此，香農在信息理論的研究和他對小發明的喜愛了導致他早早產生了對智能機器的迷戀。香農是最早提議計算機與人類下棋的科學家之一；在 1950 年，他為《科學美國人》寫了一篇文章，解釋如何完成這一任務。

香農并不只是限制于象棋。他還建造了一個能夠玩硬幣配對（the game of penny-matching）游戲的「讀心」機器，在這個游戲中，一方猜測另一方選擇了正面或反面。香農在貝爾實驗室的同事 David W. Hagelbarger，開發了這個機器的原型；這個機器記錄并分析對手過去的選擇，從而找尋規律，預測接下來的選擇。因為人類總是會陷入到一種模式中，機器在那個時候已經有了超過 50% 的勝率。之后，香農建造了自己的機器版本，對 Hagelbarger 的機器進行了挑戰，成就了如今的一場傳奇決斗。

他還構建了機器能夠早桌游 Hex 上打敗任何人類，在那個年代，Hex 在數學圈內非常流行。事實上，香農自定義了這個桌球游戲，讓人類一方能得到更多的 hex。為了獲得勝利，機器要做的就是拿到中心 hex，然后匹配對手的路數就行。

機器可以立刻移動。但是為了表達出機器在思考下一步，香農給它的電路增加了一個延時開關。才華出眾的哈佛大學數學家 Andrew Gleason，曾與這個機器進行了挑戰，言稱沒有機器能打敗他。而當 Gleason 被虐得體無完膚，仍要求再次挑戰時，香農才告訴他自己機器的秘密。

1950 年，香農制造了一個機器老鼠，在沒有協助的情況下能夠學習如何通過迷宮，最終找到奶酪。香農將其命名為「Theseus」（忒修斯，希臘神話中的英雄，為解救希臘的童男童女，自告奮勇到克里特島除掉彌諾陶洛斯），最終除掉 Minotaur 并找到了走出可怕迷宮的路。事實上，老鼠的「大腦」位于迷宮地板下的一堆真空管室中；電路控制著磁鐵的移動，進而控制著老鼠的移動。

1977 年 IEEE Spectrum 的編輯給讀者出了個難題：創造一個可以通過試錯法走出迷宮的微型老鼠，它的大腦是獨立的外接電腦，能從之前的錯誤中吸取經驗，當再次通過相同的迷宮時，不允許出錯。一位香農之前同事告訴編輯，香農早在二十多年前就已經創造了一個類似的微型老鼠。

考慮到五十年代的技術難以達到相應的水平，編輯因此電話聯系了香農。香農開玩笑說，他用這個「智能老鼠」騙了全國各地很多人。窗簾附近的桌子下藏著真空管和絲杠是至關重要的。他輕笑道。1979 年，當 Spectrum 隆重地為神奇的微型老鼠迷宮競賽頒獎時，香農把 Theseus 從閣樓中取下，裝進他的旅行車中。將它展示給競爭微型老鼠的人觀看。

當被問及人工智能的前景時，香農指出在當時計算機盡管擁有超強的運算能力，但在處理原始信息方面還沒達到人類智能的水準。他認為僅僅在機器復制人類的視覺能力方面就已經是一項相當艱巨的任務了。但是，他補充道：「我認為，幾十年后機器智能超越人類是完全可以預期的。」

雜耍的統一場論

1956 年，香農離開了他在貝爾實驗室的終身職位（后來的十多年間，他仍保留著會員資格），成為了 MIT 通信科學系的教授。后來的幾年里，他癡迷于雜耍。并且制造了幾臺雜耍機，還構想了所謂的「雜耍統一場論」：如果 B 代表球的數量，H 代表手的數量，D 表示球在手中度過的時間，F 則代表著每個球的飛行時間，E 代表每只手不拿球的時間，那么B/H=(D+F)/(D+E)。(不幸的是，該理論并不能幫助香農同時扔四個以上的球，他辯解稱是他手小的緣故。)

他在詩歌領域也有所涉獵。他的作品中有一篇向 Rubik’s Cube 致敬的詩歌。(也即magic cube，魔方)，一個風行于 20 世紀 70 年代末的玩具。「論魔方之規則」，定下了詩的韻格，「Ta-Ra-Ra-Boom-De-Aye。」詩曰:

敬汝魔方常凈，涂之以凡士林。
須謹記兮拇指，手胼胝而指滯。
不外借且不求，野夫轉其兩際。
唯不可接受者，茫然兮不得解。
茫然不可解兮，且其可怪也歟？
縱你勤且持，其解茫然不可尋。

香農自己有一種避免「不可解」窘境的天賦，根據曾在 MIT 師從香農并和他合著論文的Elwyn Berlekamp 的說法，「總有很多無關緊要的但可解的問題，和一些影響重大卻無解的問題。香農總有一種神秘的本能和能力，可以想出那些影響重大的問題的解決辦法。」

然而，20 世紀 50 年代末，香農在信息論領域成果寥寥。一些前貝爾實驗室的同事認為香農到MIT的時候已經精疲力盡而且對他所創造的領域感到厭倦了。

但是香農否認了這種看法。他說，他在整個六十年代都在持續研究信息論領域的各種問題，盡管他覺得他的多數調查沒有重要到可以發表的程度，但也還是發表了一些論文。香農提出「許多偉大數學家在年輕的時候就已經完成了生命中最重要的研究。」

在六十年代，香農也不再出席由他創造的領域的專業會議。 Berlekamp 提出了一個可能的解釋。據他回憶，1973 年，他說服了香農在國際信息論研討會上作第一次年度香農講座。但是香農幾乎是在臨近開始的前一分鐘退卻了。Berlekamp 說「我從沒有見過像他那樣怯場的人。聽眾們對他敬若神明。我想，他大概擔心他不能像他顯赫的名聲一樣滿足崇拜者的期望吧。」

Berlekamp 說香農最終做了一個鼓舞人心的演講，他預見了一些有關宇宙反饋和自然界自我指涉的觀點。

盡管如此，香農再次消失在公眾的視野中。近年來，受到妻子的鼓勵，香農開始出現在一些小型會議上，同時參觀一些開展信息論研究的實驗室。

1985 年，他在出人意料地出現在英國布萊頓舉辦的國際信息論研討會上。此前會議開展得十分順利，當說明那個帶著羞澀微笑在會議上踱步的白發老人正是克勞德·香農的消息傳遍大廳和會議室時，會議上很多人甚至不知道香農仍然在世。

宴會上，會議組織者終于說服香農為聽眾致辭。他講了幾分鐘——擔心他的聽眾厭倦，他后來回想起——然后，從他的口袋里拿出三個小球，玩起了雜耍。觀眾興高采烈地喝彩歡呼，然后依次排開，索要簽名。 Robert J. McEliece 是加州科技研究院的電力工程教授，同時也是會議主持人，他說：「就好像牛頓出現在了物理學會議一般。」

本文由機器之心編譯

歡迎光臨 (http://www.zg4o1577.cn/bbs/)