過去三年，科大訊飛智能車機系統的開發成果豐碩，從飛魚1.0到飛魚2.0軟硬一體的智能車機系統，已經在6個車廠的多個車型中量產。但是，如今智能網聯汽車已經成為常態，各家汽車廠商都希望擁有個性化的人機互聯系統，以此表現出差異化。

基于此，為滿足不同廠商的需求，為他們提供軟件或硬件的服務，在科大訊飛1024開發者節“AI+車載分論壇”上，科大訊飛面向行業正式發布了一款軟硬分離的飛魚OS車機系統。

同時，科大訊飛智能汽車發布了 “悅聽計劃”和“汽車生態開發者基金”，試圖讓更多合作伙伴一起構建汽車生態服務。

本文將重點分析科大訊飛飛魚OS這款產品和科大訊飛智能汽車未來的布局，以此來探索中國如何以智能網聯汽車為紐帶，最終實現智能化汽車的終極目標。

飛魚OS：通過雙層級+多生態實現軟硬分離

科大訊飛智能汽車事業部總經理劉俊峰談到了飛魚OS未來的使命：“在2016年的時候，我們發布了飛魚智行品牌，這個品牌是希望面向于未來的智能車機系統來構建一整套的從應用到技術到服務的完整的平臺產品結構。但是這條路確實不好走，前三年我們用自己的軟硬結合的方式來走，現在我們采用軟硬分離的方式。后面我們希望真正把這樣一套軟件系統變成可以能夠向全行業開放的一個應用平臺?！?/span>

劉俊峰

據了解，科大訊飛結合整個汽車的使用場景和相應的汽車后臺服務，整合成最新的一個iflyos AUTO版本，科大訊飛正式把它命名為飛魚OS。飛魚OS擁有更強大的架構能力和開發能力，給用戶帶來更加美好的體驗。

那么，作為一套軟硬分離的系統，它是如何實現的呢？據悉，科大訊飛通過雙層級+多生態的模式建立起飛魚OS軟硬分離的能力，為了更好的滿足不同客戶的需求，為此專門拆分了兩個層級，LITE版和PLUS版。并且通過飛魚OS可以快速實現集成和對接。PLUS版比lite版更深度定制系統的frmework層，甚至一些hl,kernel層的部分模塊。

但是，僅僅將軟硬分離的外界對接工作做好還不夠，科大訊飛考慮到每一家車廠的車聯網服務能力差異較大。于是，科大訊飛通過對后臺能力的兼容和拓展，可以為車廠定制兼容更大的多生態集合，從而保證用戶在手機上常用服務和能力能夠很好的展現在車機上。

具體來看，在最終的用戶體驗效果上，科大訊飛主要做了3點提升。

• 全閉環的汽車智能語音交互核心技術。包含語音合成、聲源定位、窄帶波束、聲紋識別、智能打斷、語音喚醒、語音識別、自然語言理解、聽歌識曲。整體組合核心技術，為用戶帶來更好的效果體驗。

• 多音區方案。隨著車內更大空間的趨勢，滿足車內更多人的智能體驗需求，科大訊飛實現了車內的多音區方案，以保障能夠支持后排乘客更好的使用智能語音。同時更好的聲音品質也是配合最終效果的一個非常重要的維度，同時科大訊飛啟動了娛樂系統主機音效升級技術探索。科大訊飛智能事業部高級產品總監汪華鋒介紹到：“多音區給整車帶來了更多的服務場景，比如用戶說打開車窗，這個時候打開的車窗其實是坐在用戶身邊的一個車窗的打開。”這種場景的實現得益于四麥方案，可以兼容2+3/2+3+2/2+2+3座椅布局。

• 從能聽會說到察言觀色。除了從聲音維度的優化提升外，科大訊飛開放了車內車外的視覺感知能力，從而讓駕駛更安全，愛車更懂你。比如，在現場科大訊飛的產品經理和設計師做了一個簡單的視頻，模擬了幾個場景?？梢詫崿F信息記憶、情緒安撫、疲勞檢測等有樂趣的功能。像是在情緒安撫這一功能演示中，智能機器人主動發出“這段路有點堵，主人別煩躁哦，我給你精選了一些好聽的新歌”的語音來調節車主煩躁的心情。

以上為飛魚OS從功能角度來看所做的三大升級。從技術角度看，飛魚OS增強了汽車聽、說、看三個維度的能力，聽的部分在聲紋識別和降噪模塊的基礎上增加了多音區能力；說的部分，在技能平臺、AIUI的基礎上，增加了XTTS和音效；看的部分，在360環視的基礎上，飛魚OS增加了人臉識別和疲勞識別能力。

更值得行業用戶開心的是，飛魚OS智能架構面對全行業開放。

飛魚OS智能架構開放三個部分

汪華鋒在論壇現場正式宣布：“科大訊飛面對全行業重磅發布 “悅聽計劃””。“讓每一句反饋、音符都傾心悅耳。”這個計劃將通過合成發音人、音效等技術，為整車提供更傾心悅耳的聲音?？拼笥嶏w也期待有興趣的合作伙伴一起加入。這就是飛魚OS智能開放架構。

汪華鋒

飛魚OS智能開放架構主要分3個部分：汽車AI技能開放平臺、硬件開放和運營組件開放。

• 汽車AI技能開放平臺。科大訊飛目前在汽車上已經上線的有47項，主要包括7大類場景的技能。汪華鋒表示：“未來，我們希望更多的細分場景由我們的開發者進來合作，在這個平臺上完善更多的汽車優秀技能?！睘榱私o開發者提供更好的支撐，汽車AI技能定制平臺可以支撐開發者或客戶的技能1s上線，實時生效。最重要的是，這個平臺可以幫助客戶或開發者能有效的收集用戶數據并且通過智能化分析，優化和不斷打磨自己設計的技能，從而為用戶提供更好的技能服務。

• 硬件開放平臺。通過硬件平臺的開放，接入車機硬件、座艙硬件、后裝設備，第三方智能駕駛、輔助駕駛接口，客戶和合作伙伴可以快速集成和使用。通過平臺的整合，讓合作伙伴能更輕松的實現智能互聯和最優秀的人機交互解決方案。

• 運營組件開放。過去很多科大訊飛的合作伙伴已經建立了非常好的合作模式，合作伙伴很多都開放了API，車載系統也早已實現了去APP化，為了更多合作伙伴的訴求，訊飛還開發了場景模型和各種生態接入接口，為合作伙伴提供相關運營組件通道，讓服務智能找人、直達用戶。

對科大訊飛而言，在從單純的智能語音能力提供商積極轉型為整車智能化方案提供商的進程中，其核心技術計算機視覺領域算法也取得的長足進步。Cityscpes評測結果就是最好的佐證。

科大訊飛刷新Cityscpes評測全部兩項任務世界紀錄

Cityscpes評測任務是由奔馳主推，提供在駕駛領域進行效果和性能測試的圖像分割數據集。該評測任務關注真實場景下的道路環境理解，用于評估參與測試的算法在城區場景語義理解方面的性能。相比其他自動駕駛領域的測試數據集，Cityscpes任務難度更高，更加貼近自動駕駛等當下熱門需求。

近年來Cityscpes熱度不斷攀升。截至目前，評測已經吸引了包括谷歌、英偉達、三星、騰訊和香港中文大學等近百家國內外優秀創新企業和頂尖學術機構的參與。在Cityscpes任務所應用的數據集中，包含了5000張精細標注的圖像和20000張粗略標注的圖像，這些圖像包含50個城市的不同場景、不同背景、不同街景，以及30類涵蓋地面、建筑、交通標志、自然、天空、人和車輛等的物體標注。

近日，科大訊飛2018年獲得的第七個世界第一來了：在國際自動駕駛領域權威評測任務Cityscpes中，科大訊飛團隊以明顯優勢刷新了全部兩項子任務的世界紀錄。Cityscpes評測集有兩項任務：像素級（Pixel-level）圖像場景分割與實例級（Instnce-level）圖像場景分割。完成這兩項任務都需要超強的技術水平。比如在第二個任務中需要區分圖像中的車輛和行人，還要將車輛中不同的汽車進行區分和標注。

結果示意圖：左-原圖，中-語義分割結果圖，右-實例分割結果圖

不斷優化的算法，為不同工作模式和不同傳感器配置的智能化車輛提供了“看得清、認得準”的核心能力：

1. 可行駛區域的判斷更加精準。意味著車輛在做出駕駛路線決策時有精度更高的依據，可以更好地將圖像和激光雷達等感知設備返回的結果進行綜合校驗判斷，從而避免因單一傳感器缺陷而產生交通事故的可能性。

2. 物體類別和形狀判斷更加精準。意味著車輛對于當前駕駛環境中其他交通參與者的屬性和具體形狀有更精確的判斷，在面對有些激光雷達難以識別的物體屬性和難以區分的物體實例時，車輛可以通過視覺感知這一更加直觀且完整的方案來大幅度地降低事故出現的概率。

專注智能汽車十多年，科大訊飛早已成長為汽車智能語音的業界第一，截止到2018年9月底，科大訊飛智能汽車服務在線用戶量已經達到了620萬，用戶月活已經達到了92%，說明整個行業的語音交互體驗越來越被用戶所接受。

但是，即使語音的體驗已經變得很成熟，服務已經很豐富，但用戶的需求一直在變。從用戶的需求層次去分析，新時期用戶有3大痛點。

首先是手機的使用習慣。音樂、導航、餐飲等服務在車機上的使用習慣仍需培養。另一個痛點是同質化。行業里越來越多的相似產品誕生，千篇一律，毫無個性，和新興消費人群匹配度不高。第三是用戶心里的汽車智能化不是僅是車機，而是整個汽車。

基于此，科大訊飛總結了汽車生態智能和人機交互系統的發展方向。

現場展示的搭載飛魚人機交互系統的智能化汽車

科大訊飛智能汽車未來布局

科大訊飛智能汽車未來布局包括生態智能和人機交互系統兩個方面。生態智能包括整車生態智能和服務生態智能。整車生態智能包括智能化打通車控、多屏、駕駛、甚至車外的交通道路協調。服務生態智能則是和出行、娛樂、生活、保修等進行進一步整合形成服務智能。

比如整車生態，科大訊飛已經實現了很多車身控制功能，如車窗、天窗、濾光板、加濕器、氛圍燈、行車記錄儀、座椅姿態等。未來還會有更多人性化功能的出現。

科大訊飛的人機交互系統大升級-未來的三個方向：

1. 多模態交互：就是將多種傳感器，比如麥克風、觸摸屏、攝像頭等技術，融合人工智能識別和理解技術，實現的多場景呈現和交互的能力。在多場景下，采用多種交互方式融合，從而給用戶提供更加接近人類的溝通方式，比如我們本次增加的疲勞識別、人臉識別等能力就是為了讓多模態交互做到更好的。

2. 多乘客交互：多乘客交互是科大訊飛在行業里首次提出并開創，目前第一步已經在蔚來汽車ES8上實現落地，首個場景是當我們后排的乘客說“打開車窗”，這時候在這位乘客的一側的窗戶會被打開，但不會影響其他人的車廠。該能力從技術上是基于整車多乘客需求，2或4麥空間定位技術，即使同時說出指令，也互不影響，為每位乘客量身定制專屬服務。

3. 情感化交互：訊飛希望能夠讓每一個人都有一個自己的AI.虛擬個人助理，人機交互一定會往類人的多情感方向發展，所以訊飛依托人工智能技術，用情感化設計語言和擬人化設計打造的具有更加懂我能力的個人虛擬助理。ES8上的nomi就采用了科大訊飛智能汽車業務的人工智能技術打造出來的。

基于對未來智能汽車的布局，科大訊飛認為，從當前產業格局維度看，汽車制造業跟交通行業、通信、IT產業、未來運營服務及供應商、第三方以及云計算、大數據、人工智能等都在結合應用，打造智能網聯汽車的新生態，呈現“多方參與、競爭合作，你中有我、我中有你”的復雜態勢。

為此，劉俊峰談到：“從產業的格局去看，應該共建一個共生共長型的去中心化生態系統。該系統不同于某一車廠、某一互聯網公司主導的生態系統，它應更開放、更從用戶需求和習慣出發。

在去中心化的生態中，每個企業都是促進者或開發者，且業務一定能更快速的落地，相應的業務的成功落地會帶來更多的用戶選擇，生態就自然會增長了?！?/span>

在合作模式方面，從客戶和供應商的買賣關系、雙邊關系擺脫出來，建立更多的多邊模式。客戶和供應商的關系更多是客戶和合作伙伴關系，且除了客戶和合作伙伴，合作伙伴之間也應該建立更緊密的聯系，從而共同成長、加速產業落地。

那么，在這個去中心化的生態系統中，科大訊飛的角色如何定位？劉俊峰告訴車云：“我們定位做一名生態的促進者，將科大訊飛讓車能聽會說、能看會思考的強大AI能力要開放出去，讓更多的生態伙伴接入，讓整車更智能，從而加速整個行業的變革。另外，我們還要做一名做體驗升級的促進者，聚集汽車和用戶之間的產品體驗，將OTA服務、自動駕駛、智能操作系統、道路安全監控、智能硬件、數據服務、遠程控制、出行服務、智能語音交互、互動娛樂等功能服務于車廠和廣大用戶?！?/span>

車云小結：

科大訊飛在1024開發者節為汽車行業用戶帶來了誠意滿格的產品，同時也對未來智能汽車如何打造差異化競爭力提出了解決方案。產品+未來布局兩條線讓行業用戶對科大訊飛充滿期待。