&

在我離家讀大學(xué)期間，我母親的聽(tīng)力越來(lái)越差。我回家聊起大學(xué)生活時(shí)，她湊近了才能聽(tīng)清楚我說(shuō)什么。不久后，如果同時(shí)有不止一個(gè)人在說(shuō)話，她就很難聽(tīng)清。現(xiàn)在，即使戴著助聽(tīng)器，她也難以區(qū)分每個(gè)人的聲音，所以一家人團(tuán)聚時(shí)要輪流說(shuō)話才能讓她聽(tīng)明白。

母親的苦處反映了助聽(tīng)器制造商面臨的一個(gè)典型問(wèn)題。人類(lèi)聽(tīng)覺(jué)系統(tǒng)能夠在擁擠的房間里，輕易辨別每個(gè)人的聲音，但幾十年來(lái)，信號(hào)處理專家、人工智能專家和聽(tīng)力學(xué)家竭盡所能，也無(wú)法讓助聽(tīng)器具備這種能力。1953年，英國(guó)認(rèn)知科學(xué)家科林·切瑞（Colin Cherry）首次將其稱為“雞尾酒會(huì)問(wèn)題”。

六十多年后的今天，在需要助聽(tīng)器的人之中，只有不到25%的人真正使用了助聽(tīng)器。最令潛在用戶失望的地方在于，助聽(tīng)器無(wú)法在多個(gè)聲音之間作出區(qū)分，比如說(shuō)話聲和同時(shí)有汽車(chē)經(jīng)過(guò)的聲音。遇到這種情況，助聽(tīng)器只會(huì)調(diào)高兩個(gè)聲音的音量，結(jié)果就變成了混亂的嘈雜聲。

7.66億人的市場(chǎng)

到了必須解決這個(gè)問(wèn)題的時(shí)候了。

為了改善助聽(tīng)器佩戴者的體驗(yàn)，近一段時(shí)期，我在俄亥俄州立大學(xué)的實(shí)驗(yàn)室利用了基于深度神經(jīng)網(wǎng)絡(luò)的機(jī)器學(xué)習(xí)技術(shù)，用它來(lái)分離聲音。我們測(cè)試了多個(gè)版本的數(shù)字濾音器，這些濾音器不僅能放大聲音，還能將說(shuō)話聲從背景噪音中分離出來(lái)，并自動(dòng)調(diào)節(jié)每個(gè)聲音的音量。

我們相信，這種方法最終能恢復(fù)聽(tīng)力受損者對(duì)聲音的理解能力，使之達(dá)到、甚至超過(guò)正常人的聽(tīng)力水平。事實(shí)上，我們的一個(gè)早期模型大幅增強(qiáng)了某些受試者在噪音中聽(tīng)清話語(yǔ)的能力，準(zhǔn)確率從10%提高到90%。

如果沒(méi)有更好的助聽(tīng)器，全世界的聽(tīng)力狀況將惡化。據(jù)世界衛(wèi)生組織估計(jì)，15%的成年人（約為7.66億人）存在聽(tīng)力受損。而隨著人口增長(zhǎng)以及老齡人口的比重增加，這個(gè)數(shù)字正在上升。先進(jìn)助聽(tīng)器的潛在市場(chǎng)不僅限于聽(tīng)力受損者。研發(fā)人員可以利用這項(xiàng)技術(shù)改善智能手機(jī)的語(yǔ)音識(shí)別功能，企業(yè)主可以用它幫助員工在嘈雜的工廠里工作，軍隊(duì)可以把它作為軍事裝備，讓士兵能夠在震耳欲聾的戰(zhàn)場(chǎng)上，聽(tīng)清戰(zhàn)友的話語(yǔ)。

這構(gòu)成了一個(gè)龐大的潛在市場(chǎng)。市場(chǎng)調(diào)研公司MarketsandMarkets估計(jì)，到2020年前，全球助聽(tīng)器行業(yè)（目前規(guī)模為60億美元）將以每年6%的速度增長(zhǎng)。但若想滿足所有那些新用戶的需求，就必須想辦法解決“雞尾酒會(huì)問(wèn)題”，而深度神經(jīng)網(wǎng)絡(luò)為我們指明了前進(jìn)的方向。

清晰語(yǔ)音：為了分離語(yǔ)音和噪聲，機(jī)器學(xué)習(xí)軟件把帶有噪聲的語(yǔ)音樣本分解成一個(gè)個(gè)時(shí)頻單元，然后分析這些單元，提取出用以區(qū)分語(yǔ)音和其他聲音的85個(gè)已知特征，接著，把這些特征輸入深度神經(jīng)網(wǎng)絡(luò)。經(jīng)過(guò)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)會(huì)根據(jù)以前處理類(lèi)似樣本的經(jīng)驗(yàn)，對(duì)單元進(jìn)行分類(lèi)，區(qū)別出哪些是語(yǔ)音，哪些是噪聲。最后，軟件使用數(shù)字濾音器，排除掉所有的非語(yǔ)音單元，只留下分離出來(lái)的語(yǔ)音。

幾十年來(lái)，電子和計(jì)算機(jī)工程師一直都著眼于通過(guò)信號(hào)處理來(lái)實(shí)現(xiàn)語(yǔ)音分離，但每每以失敗告終。最常見(jiàn)的方法是利用語(yǔ)音活動(dòng)探測(cè)器，識(shí)別人們?cè)谡f(shuō)話時(shí)的發(fā)音間隔。按照這種方法，系統(tǒng)會(huì)把間隔期間捕捉到的聲音認(rèn)定為“噪音”。然后，計(jì)算機(jī)算法再?gòu)脑间浺糁腥コ@些噪音，從理論上來(lái)說(shuō)，只留下了沒(méi)有噪聲的語(yǔ)音。

只是，這種被稱為“譜減法”的技術(shù)，效果很差，要么去除了太多的語(yǔ)音，要么去除的噪音太少。即使經(jīng)過(guò)多年的發(fā)展，毛病依然很多，事實(shí)證明它能提供的幫助很有限。

我意識(shí)到，我們必須另辟蹊徑。于是，我們從加拿大麥吉爾大學(xué)心理學(xué)家阿爾伯特·布雷格曼（Albert Bregman）的理論著手。1990年，布雷格曼提出，人類(lèi)聽(tīng)覺(jué)系統(tǒng)將聲音組織成不同的聲音流。從本質(zhì)上說(shuō)，一個(gè)聲音流對(duì)應(yīng)一個(gè)聲音源，比如身邊的某位朋友。每個(gè)聲音流的音調(diào)、音量和方向來(lái)源都是獨(dú)一無(wú)二的。

嘈雜的世界：人類(lèi)的耳朵能同時(shí)捕捉到很多聲音流，這在一定程度上歸因于其奇特的形狀。一個(gè)聲音流是指一種聲音源發(fā)出的所有聲波，比如一只狗。所有這些聲音流匯聚在一起，構(gòu)成了聽(tīng)覺(jué)場(chǎng)景（犬吠聲+警笛聲+說(shuō)話聲）。

眾多聲音流（比如在喧鬧的球場(chǎng)里說(shuō)話）匯聚在一起，就構(gòu)成了布雷格曼所說(shuō)的“聽(tīng)覺(jué)場(chǎng)景”。如果多個(gè)聲音同時(shí)出現(xiàn)在同一個(gè)頻段，場(chǎng)景中最響亮的聲音便會(huì)掩蓋其他聲音，這個(gè)原理被稱為“聽(tīng)覺(jué)遮蔽”。比如，當(dāng)雨水滴答落在屋頂上時(shí)，你可能不會(huì)注意到房間角落里鐘表發(fā)出的聲音。MP3文件就是利用這個(gè)原理及其他技術(shù)，通過(guò)去除被掩蓋的聲音，將文件壓縮至原始大小的十分之一。

按照布雷格曼的理論，我們想知道，可不可以打造一種濾音器，能夠在特定時(shí)刻、特定頻段內(nèi)，確定一個(gè)聲音流是否強(qiáng)于其他聲音流。我們希望這款濾音器能告訴我們，在特定時(shí)刻，一個(gè)包含語(yǔ)音或者噪聲的聲音流，是否會(huì)在其頻段內(nèi)處于更加強(qiáng)勢(shì)的地位，以此作為分離語(yǔ)音和噪聲的第一步。

什么是理想二元掩模？

2001年，我的實(shí)驗(yàn)室率先設(shè)計(jì)出了這樣一種濾音器，它能夠把聲音流標(biāo)記為兩種：以語(yǔ)音為主，或者以噪聲為主。有了這種濾音器，我們又開(kāi)發(fā)了一款機(jī)器學(xué)習(xí)軟件，它能根據(jù)振幅（音量）、諧波結(jié)構(gòu)（音調(diào)的特定排列）以及開(kāi)始時(shí)刻（一個(gè)聲音相對(duì)于其他聲音開(kāi)始的時(shí)間）等特征，把語(yǔ)音與其他聲音分離開(kāi)來(lái)。

最初開(kāi)發(fā)的這種濾音器就是我們所說(shuō)的理想二元掩模。它從名為“時(shí)頻單元”的聲音片段中，找出噪聲和語(yǔ)音，并加以標(biāo)記。通過(guò)時(shí)頻單元，我們可以得知各個(gè)頻段獨(dú)有的發(fā)音間隔。濾音器會(huì)分析每個(gè)時(shí)頻單元帶有噪音的樣本，用1或0來(lái)標(biāo)記。如果“目標(biāo)”聲音（在此例中是語(yǔ)音）比噪聲更響亮，則標(biāo)記為1；如果目標(biāo)聲音更柔和，則標(biāo)記為0。其結(jié)果就是一連串1和0，它們代表了噪聲或語(yǔ)音在樣本中的主導(dǎo)地位。然后，濾音器去掉所有標(biāo)記為0的單元，再把那些標(biāo)記為1的單元重新組織起來(lái)。為了從帶噪語(yǔ)音中重新構(gòu)建出可理解的句子，必須有一定比例的時(shí)頻單元被標(biāo)記為1。

2006年，我們?cè)诿绹?guó)空軍研究實(shí)驗(yàn)室開(kāi)始測(cè)試?yán)硐攵谀�。同時(shí)，雪城大學(xué)的一支研究團(tuán)隊(duì)對(duì)理想二元掩模進(jìn)行了獨(dú)立評(píng)估。在試驗(yàn)中，這種濾音器不僅對(duì)聽(tīng)覺(jué)受損者有幫助，而且也有助于聽(tīng)力正常者更好地理解帶有噪音的句子。

我們創(chuàng)造的濾音器在實(shí)驗(yàn)室中表現(xiàn)完美，但必須要指出，現(xiàn)實(shí)環(huán)境并沒(méi)有實(shí)驗(yàn)室那般理想。在實(shí)驗(yàn)室中，對(duì)于每個(gè)樣本中語(yǔ)音和背景噪音誰(shuí)強(qiáng)誰(shuí)弱，我們是事先知道答案的（“理想”指的就是這個(gè)）。但在實(shí)際應(yīng)用中，濾音器必須完全靠自己的能力，將語(yǔ)音從噪聲中分離出來(lái)。

仔細(xì)傾聽(tīng)：在2013年拍攝的這張照片中，俄亥俄州立大學(xué)的研究人員正在測(cè)試一款基于深度神經(jīng)網(wǎng)絡(luò)、用來(lái)分離語(yǔ)音的機(jī)器學(xué)習(xí)軟件。左二穿藍(lán)色上衣的年長(zhǎng)者正是本文作者汪德亮。

盡管如此，理想二元掩模能為理解語(yǔ)音提供極大幫助，這一事實(shí)具有重大意義。它表明，分類(lèi)技術(shù)（監(jiān)督學(xué)習(xí)的一種形式）可以被用來(lái)模擬理想二元掩模，以此作為一種分離語(yǔ)音與噪聲的方法。依靠分類(lèi)，機(jī)器通過(guò)完成訓(xùn)練、接收反饋、從實(shí)踐中吸取和牢記經(jīng)驗(yàn)教訓(xùn)，來(lái)模擬人類(lèi)的學(xué)習(xí)過(guò)程。從本質(zhì)上來(lái)說(shuō)，我們小時(shí)候也是通過(guò)同樣的方法學(xué)會(huì)分辨蘋(píng)果和橘子的。

隨后幾年，我的實(shí)驗(yàn)室首先是嘗試通過(guò)分類(lèi)來(lái)模擬理想二元掩模。大約在我們開(kāi)發(fā)初代分類(lèi)器的同時(shí)，卡內(nèi)基梅隆大學(xué)的一支團(tuán)隊(duì)利用機(jī)器學(xué)習(xí)技術(shù)，發(fā)明了他們自己的時(shí)頻單元分類(lèi)方法，但目的有所不同，是用來(lái)改善自動(dòng)語(yǔ)音識(shí)別。后來(lái)，德克薩斯大學(xué)的一支團(tuán)隊(duì)采用了一種不同的分類(lèi)方法，在使用單聲道特征來(lái)提高語(yǔ)音理解方面第一次實(shí)現(xiàn)了重要進(jìn)展——這與雙耳捕捉到的雙聲道特征有很大區(qū)別。

但這些早期機(jī)器學(xué)習(xí)方法使用的分類(lèi)技術(shù)仍然不夠強(qiáng)大或準(zhǔn)確，還無(wú)法真正讓助聽(tīng)器佩戴者受益。在現(xiàn)實(shí)世界中，噪聲和語(yǔ)音的混合毫無(wú)規(guī)律可言，對(duì)于這樣的復(fù)雜場(chǎng)景，這些實(shí)驗(yàn)室方法根本無(wú)能為力。因此，我們需要一種更加強(qiáng)大的分類(lèi)技術(shù)。

理想二元掩模+深度學(xué)習(xí)

我們的早期分類(lèi)算法取得了比較理想的初步結(jié)果，于是我們決定接著走下去，對(duì)它進(jìn)行改良，讓它在嘈雜的現(xiàn)實(shí)環(huán)境中也能發(fā)揮作用。這個(gè)挑戰(zhàn)促使我們?nèi)プ鲆郧皬奈醋鲞^(guò)的事：打造一款基于神經(jīng)網(wǎng)絡(luò)的機(jī)器學(xué)習(xí)軟件，經(jīng)過(guò)復(fù)雜的訓(xùn)練過(guò)程后，可以將語(yǔ)音和噪聲分離。該軟件利用理想二元掩模，來(lái)引導(dǎo)對(duì)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練。效果很不錯(cuò)。在一項(xiàng)涉及24個(gè)測(cè)試對(duì)象的研究中，這款軟件使聽(tīng)覺(jué)受損者的語(yǔ)音理解能力提高了大約50%。

可以說(shuō)，神經(jīng)網(wǎng)絡(luò)就是一種軟件系統(tǒng)，由眾多相對(duì)簡(jiǎn)單的單元構(gòu)成，通過(guò)這些單元的協(xié)同工作，達(dá)到復(fù)雜的處理水平（系統(tǒng)的結(jié)構(gòu)大致上模擬了大腦神經(jīng)元網(wǎng)絡(luò)的工作方式）。在面對(duì)新的樣本時(shí)，神經(jīng)網(wǎng)絡(luò)像人腦一樣，通過(guò)調(diào)整連接線的權(quán)重來(lái)“學(xué)習(xí)”。

智能層：深度神經(jīng)網(wǎng)絡(luò)包含兩個(gè)或以上的處理層，位于輸入層和輸出層之間。信息通過(guò)輸入層輸入系統(tǒng)（左），輸出層輸出結(jié)果（右）。為了提高性能，研究人員可以調(diào)整系統(tǒng)的參數(shù)和層與層之間的連接。

神經(jīng)網(wǎng)絡(luò)有多種形態(tài)和大小，復(fù)雜程度不一。深度神經(jīng)網(wǎng)絡(luò)擁有至少兩個(gè)“隱藏的”處理層，它們不是直接與系統(tǒng)的輸入和輸出相連。每個(gè)隱藏層分析前幾層傳遞而來(lái)的結(jié)果，根據(jù)先驗(yàn)知識(shí)，加入新的考慮因素。

為了打造我們自己的深度神經(jīng)網(wǎng)絡(luò)，我們先編寫(xiě)算法，根據(jù)聲波的振幅、頻率和聲調(diào)的常見(jiàn)變化，提取出可以用來(lái)區(qū)分語(yǔ)音和噪聲的特征。我們識(shí)別出的特征有85個(gè)，最重要的特征包括聲音的頻率和強(qiáng)度（響亮還是輕柔）。

然后，我們對(duì)深度神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，讓它利用這85個(gè)特征來(lái)區(qū)分語(yǔ)音和噪聲。訓(xùn)練分成兩個(gè)階段：在第一階段，我們通過(guò)無(wú)監(jiān)督學(xué)習(xí)，設(shè)定程序的參數(shù)。也就是說(shuō)，我們把特征的很多例子載入程序，好讓它事先了解以后在實(shí)際運(yùn)行過(guò)程中要分類(lèi)的信號(hào)類(lèi)型。

接下來(lái)，我們利用帶噪語(yǔ)音樣本及其理想二元掩模的相應(yīng)結(jié)果，來(lái)完成第二階段的訓(xùn)練，即監(jiān)督學(xué)習(xí)。那些“1和0”分類(lèi)結(jié)果就如同考試題，用來(lái)不斷磨練程序區(qū)的能力。

如果神經(jīng)網(wǎng)絡(luò)輸出結(jié)果與理想二元掩模之間存在差異，就會(huì)被判為錯(cuò)誤。經(jīng)過(guò)計(jì)算和，我們會(huì)相應(yīng)地調(diào)整神經(jīng)網(wǎng)絡(luò)連接線的權(quán)重，以便再次進(jìn)行同樣的分類(lèi)時(shí)，使偏差縮小。對(duì)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練要經(jīng)過(guò)成千上萬(wàn)次這樣周而復(fù)始的考試。

在這個(gè)過(guò)程中有一個(gè)重要的改進(jìn)，就是建立了第二個(gè)深度神經(jīng)網(wǎng)絡(luò)，對(duì)第一個(gè)網(wǎng)絡(luò)的結(jié)果進(jìn)行調(diào)整。第一個(gè)網(wǎng)絡(luò)專注于標(biāo)記各個(gè)時(shí)頻單元的特征，而第二個(gè)網(wǎng)絡(luò)會(huì)檢查特定單元附近幾個(gè)單元的特征。

為什么這個(gè)改進(jìn)效果很好？可以打個(gè)比方來(lái)解釋：如果說(shuō)第一個(gè)網(wǎng)絡(luò)著眼于一套待售住宅的各個(gè)房間，那么第二個(gè)網(wǎng)絡(luò)就是用來(lái)考察住宅周邊的環(huán)境。換句話說(shuō)，第二個(gè)網(wǎng)絡(luò)向第一個(gè)網(wǎng)絡(luò)提供了有關(guān)語(yǔ)音和噪聲的額外背景，從而進(jìn)一步提高了分類(lèi)的準(zhǔn)確性。

讓人欣喜的考試成績(jī)

監(jiān)督訓(xùn)練結(jié)束時(shí)，深度神經(jīng)網(wǎng)絡(luò)分類(lèi)器在分離語(yǔ)音和噪聲方面明顯優(yōu)于以前的方法。事實(shí)上，在依靠單聲道技術(shù)的所有算法中，這種算法在幫助聽(tīng)障者理解帶噪語(yǔ)音方面首次取得重大進(jìn)步。

接下來(lái)我們進(jìn)行了人類(lèi)實(shí)測(cè)。我們請(qǐng)12位聽(tīng)障者和12位聽(tīng)覺(jué)正常者通過(guò)耳機(jī)聽(tīng)取嘈雜環(huán)境中的句子樣本。樣本成對(duì)出現(xiàn)：首先是語(yǔ)音和噪聲同時(shí)發(fā)生，然后是用我們基于深度神經(jīng)網(wǎng)絡(luò)打造的程序處理同一個(gè)樣本。句子中有兩種噪音，一種是持續(xù)的嗡嗡聲，另一種是很多人同時(shí)說(shuō)話的嘰嘰喳喳聲。

在經(jīng)過(guò)程序處理后，兩組實(shí)驗(yàn)對(duì)象的聽(tīng)力理解能力均出現(xiàn)大幅提升。在沒(méi)有經(jīng)過(guò)程序處理的情況下，聽(tīng)力受損者在嗡嗡聲的環(huán)境中只能懂36%的單詞，經(jīng)過(guò)程序處理后，這個(gè)比例提高到86%。在嘰嘰喳喳的嘈雜環(huán)境中，他們一開(kāi)始只能理解29%的單詞，而經(jīng)過(guò)程序處理后，能理解的單詞提升到84%。

對(duì)于聽(tīng)力正常者，在第一種噪音環(huán)境中，他們的理解力從37%提高到80%；第二種環(huán)境中，這個(gè)數(shù)字從42%提高到78%。

在我們的實(shí)驗(yàn)中，最引人注目的一個(gè)結(jié)果是，聽(tīng)力受損者在程序的幫助下，理解能力甚至可以超過(guò)聽(tīng)力正常者。憑借這些結(jié)果，可以自豪地說(shuō)，我們這套基于深度神經(jīng)網(wǎng)絡(luò)打造的程序，是迄今為止最接近于解決雞尾酒會(huì)問(wèn)題的一種技術(shù)。

當(dāng)然，該程序的能力也存在局限性。例如，在我們的樣本中，掩蓋語(yǔ)音的噪音類(lèi)型非常類(lèi)似于程序在訓(xùn)練過(guò)程中分類(lèi)的噪音類(lèi)型。想要在現(xiàn)實(shí)生活中發(fā)揮作用，程序需要迅速學(xué)會(huì)濾除很多的噪音類(lèi)型，包括不同于它已經(jīng)碰到過(guò)的類(lèi)型。例如，通風(fēng)系統(tǒng)的嘶嘶聲不同于冰箱壓縮機(jī)的嗡嗡聲。另外，我們使用的帶噪樣本中，并沒(méi)有將回聲包括進(jìn)去，而回聲會(huì)使雞尾酒會(huì)問(wèn)題變得更加復(fù)雜。

在得到那些早期研究結(jié)果后，我們又購(gòu)買(mǎi)了一個(gè)為電影制片人設(shè)計(jì)的聲效數(shù)據(jù)庫(kù)，用其中的1萬(wàn)種噪音，進(jìn)一步訓(xùn)練我們的程序。2016年，我們發(fā)現(xiàn)，重新訓(xùn)練后的程序可以對(duì)抗全新的噪音，顯著改善理解能力。目前，我們正在更多的環(huán)境中運(yùn)行該程序，讓更多的聽(tīng)覺(jué)受損者測(cè)試它。

最終，我們相信該程序可以在性能強(qiáng)大的計(jì)算機(jī)上進(jìn)行訓(xùn)練，直接嵌入助聽(tīng)器或者通過(guò)藍(lán)牙等無(wú)線連接方式與智能手機(jī)協(xié)同工作，向耳機(jī)提供經(jīng)過(guò)處理的實(shí)時(shí)信號(hào)。而且制造商還可以通過(guò)發(fā)布加強(qiáng)版的軟件補(bǔ)丁來(lái)不斷提高助聽(tīng)器的性能。

有了這種方法，雞尾酒會(huì)問(wèn)題不再像幾年前那樣令人怯步。通過(guò)在更多的噪音環(huán)境中進(jìn)行更廣泛的訓(xùn)練，我們和其他人現(xiàn)在開(kāi)發(fā)的軟件有望最終克服這一難題。這個(gè)過(guò)程就像小孩學(xué)習(xí)分離語(yǔ)音和噪聲的過(guò)程，也就是不斷地暴露于各種各樣的語(yǔ)音和噪聲環(huán)境中。通過(guò)更多的練習(xí)，這種方法只會(huì)越來(lái)越好。這就是其魅力所在。