2019年9月18日，英國知名AI公司Emotech 聯合華為，在HUAWEI CONNECT 2019全球大會上首發全球第一款多模態AI英語口語教評解決方案，用人工智能技術在多模態領域的突破性成果，賦能英語口語教育，助力教育產業良性發展。

根植于領先的多模態技術及深度學習算法，Emotech開創了更接近人類自然交互模式的AI口語教學及測評解決方案。通過視頻及音頻等多個模態的整合機器學習，為未來的教學和測評帶來變革的契機。本次發布成果在多模識別、評測、反饋及糾錯功能突破了現有AI測評精準度及傳統英語教學標準化的壁壘，實現了全天候、一對一個性化、精準化教學及測評。

“英語學習重在實際溝通能力，而口語卻一直是中國人學習英語的難點。傳統的口語教育依賴于外教，但有限的外教資源讓企業與消費者不得不付出高昂的金錢和時間成本。今天，英語學習者渴望更高智能、更低成本的口語學習方式，眾多教育機構也希望獲得更具標準化的知識傳授助手”，Emotech創始人莊宏斌表示。

Emotech作為一家領先的AI公司，首次嘗試將人工智能中的多模態與主動交互技術應用于英語口語教學及測評。莊宏斌說：“多模態英語助教方案可通過更真實地還原教學測互動場景，從而更高效地協助老師、學生以及教育機構提升學習效果。我們希望通過多模態人工智能與教育的碰撞，和業內各個伙伴一起為提升教學質量，緩解教育焦慮，促進教育公平盡一份力。”

在談到此次和華為合作時，莊宏斌表示，這是一次非常振奮人心的合作。

“我們第一次接觸時雙方就非常相信多模態技術會給各個行業帶來的變化并確定了合作方向，很榮幸可以跟華為合作，華為云領先的自然語言處理能力跟我們的多模態技術在教育應用場景有很好的結合，華為云首創的AI實踐“ABCD模型”： 即算法（Algorithm）、大數據（Big Data）、算力（Computing）和行業智慧（Domain），對這次合作落地有強大的推動力”。

華為云通用AI服務總經理、語音語義創新Lab主任、首席科學家袁晶博士表示，這是一次AI技術領域的強強聯合。

“Emotech在語音和多模態AI方面有先進的技術，華為云擁有全棧的AI平臺，并在自然語言處理領域有深厚的積累和實踐，雙方聯合研發并取得一定突破，這是個非常好的開始。同時，Emotech對技術的追求和對客戶的負責任的態度跟華為是一致的，Emotech對中國和全球市場都有著深入的研究和積累。非常期待我們的產品能夠幫助數以千萬計的英文學習者，也希望我們能夠一起開拓更廣闊的國際市場，”袁晶博士說。

Emotech在多模態技術上的領先性也得到了聯合國科教文組織（UNESCO）人工智能主席、倫敦大學學院計算統計學和機器學習中心主任John Shawe-Taylor教授的高度評價，他說：“多模態是一種可以接收來自多種感官系統的信息流后進行處理分析的技術，從而讓人工智能對周圍的世界獲得更深入，更真實，也更準確的理解。事實上，調用多個感官來構建對世界的認知，增加對事物的理解，是讓人類在出生后能夠更快速學習新事物和技能的關鍵。Emotech巧妙地利用了這個原理，在對話分析中引入了聲音和視覺等多個感官維度，有效地分離了噪音等其他環境干擾因素，從而大幅提升了語音的質量。我認為這是非常重要的一項技術，也祝賀Emotech能夠給教育應用帶來這樣有效的機器學習方法。”

超越真人教學，AI比老師更懂你

讀出句子，用戶就能得到每句話、每個單詞、甚至每個音素的發音評分結果；通過視頻與音頻抓取、回放自讀視頻，每個不標準的發音都能被精確識別并鎖定原因；觀看AI助教提供的標準發音示范以及比對，計算機視覺能實時追蹤重點強化口型變化，加速口音改進；每一次的學習過程都能被記錄下來，并且利用深度學習功能實時獲得AI測評報告，為后續個性化針對教育提供基礎與動態參考。Emotech的多模態AI英語口語教評解決方案覆蓋了英語口語從學習、練習、測評到改進的方方面面。

“作為傳統單一模態（語音、視覺）的升級性底層技術，多模態技術能整合語音、文字、空間等多重數據與分析，并結合深度學習，提供更還原人類自然交互的算法與應用”，莊宏斌介紹說。

現有技術純語音和文字的反饋往往有理解偏差而且效率不高，而多模技術能提供音視頻混合的錯誤點回放和正確發音示例，如真人老師一對一教學，提升學習效率。尤其是在強化學習記憶方面，多模態比單一模態有效性提高了60%以上。

并且，多模態技術徹底解決了傳統的純語音技術對于安靜環境的嚴苛要求、雜音造成的理解偏差、音軌比對效率低等突出問題。它有效提高了發音評測系統（PA）、語音識別（ ASR）的準確率，在給定噪音環境下，與單模態產品相比，它的準確率提高了30%以上。

“如此強大的抗噪能力讓機器評測與識別能力將會應用于更多復雜場景，相信該技術對于語言的總結性評估及形成性評估的智能評分精準性會起到強有力的促進作用”，莊宏斌說。

2015年創立于英國倫敦的Emotech是全球首家致力于多模態與主動交互的AI公司。集合了全球30余名頂尖人工智能領域的科學家、工程師和設計師，以及牛津大學、劍橋大學、倫敦大學學院、帝國理工等頂級院校的優秀博士生和博士后，Emotech被世界權威科技媒體 Techcrunch 選為歐洲最佳創業團隊，被英國發展署列為倫敦最佳 AI 公司 。

“Emotech一直致力于改善人類與科技的關系，讓科技變得更有溫度，”莊宏斌說，“Emotech的多模態技術可以為更多教育機構提供智能化教學升級的軟、硬件綜合解決方案、降低重復性教學成本、有助于學校、老師、培訓機構更好地應對人力、教師發音水平的挑戰、降低重復性教學成本。”

袁晶博士（華為云）表示，隨著5G以及AI芯片的發展，未來越來越多的場景中可以用到多模態技術。“在口語評測這個場景做深做扎實后，我們接下來也會在一些行業中進行多感官綜合應用的探索和嘗試，一起打造有競爭力的解決方案，為客戶創造價值”。

此前，Emotech的旗艦型產品 OLLY 曾獲 4 項 CES 大獎并打破 51 年以來的歷史記錄。 2019年，Emotech憑借領先的技術、全球軟件授權的靈活商業方式榮獲由倫敦市長親授的首屆London Business Award。創始人莊宏斌入選 2018 英國最佳亞洲科技之星，同年被授予倫敦最佳華人企業家 。

目前，聯合國人工智能主席、倫敦大學學院計算機統計學和機器學習中心的總負責人、歐洲最負盛名的計算機學教授John Shawe-Taylor以及被譽為腦神經領域愛因斯坦的Karl Friston 均為Emotech團隊顧問。