根據(jù)世界聽(tīng)障聯(lián)盟的數(shù)據(jù)顯示可知,全球現(xiàn)約有4.66億人患有殘疾性聽(tīng)力受損,其中兒童患者的數(shù)量為3.4億,這一龐大的統(tǒng)計(jì)數(shù)字遠(yuǎn)遠(yuǎn)超過(guò)了全球人口數(shù)量的5%?,F(xiàn)階段,我國(guó)聽(tīng)力殘疾患者數(shù)量達(dá)2780萬(wàn)人,聽(tīng)力障礙人群更是高達(dá)約7200萬(wàn)人。對(duì)于這規(guī)模龐大的聽(tīng)障群體而言,手語(yǔ)是其與外界溝通交流最重要的途徑之一,但目前掌握手語(yǔ)的群體卻寥寥無(wú)幾。因此,新式手語(yǔ)識(shí)別技術(shù)的誕生對(duì)于聽(tīng)障群體與其他群體間的正常交流至關(guān)重要。
在如此背景下,雙橋智聯(lián)團(tuán)隊(duì)于2021年正式成立,團(tuán)隊(duì)創(chuàng)始人何慧敏,立志發(fā)展助殘事業(yè),負(fù)責(zé)團(tuán)隊(duì)整體運(yùn)營(yíng),在電子科技大學(xué)中山學(xué)院董帥、彭程博士等教師指導(dǎo)下,組建了一支實(shí)力雄厚的研發(fā)團(tuán)隊(duì),團(tuán)隊(duì)潛心研究,在技術(shù)上不斷追求創(chuàng)新和突破,各項(xiàng)技術(shù)均為業(yè)內(nèi)領(lǐng)先,團(tuán)隊(duì)現(xiàn)已擁有三項(xiàng)核心技術(shù),第一,基于大語(yǔ)言模型多模態(tài)知識(shí)遷移的動(dòng)態(tài)手語(yǔ)識(shí)別技術(shù);第二,基于輕量化3D Transformer的手語(yǔ)元?jiǎng)幼骱蛷?fù)合動(dòng)作意圖識(shí)別方法:第三,基于雙向數(shù)據(jù)綁定技術(shù)的手語(yǔ)識(shí)別HCI引擎,以及5件發(fā)明專利授權(quán),3篇SCI論文,4件軟件著作權(quán)。
團(tuán)隊(duì)討論項(xiàng)目研發(fā)方案
雙橋智連團(tuán)隊(duì)推出的《基于HCI的智能手語(yǔ)識(shí)別系統(tǒng)》,具有更高的識(shí)別準(zhǔn)確度與更快的識(shí)別速度,在競(jìng)品的算法識(shí)別準(zhǔn)確率達(dá)到80%的情況下,雙橋智連的產(chǎn)品準(zhǔn)確率可高達(dá)96%。與此同時(shí),團(tuán)隊(duì)構(gòu)建了結(jié)構(gòu)化的手語(yǔ)特征數(shù)據(jù)集,自制數(shù)據(jù)集包含約10萬(wàn)個(gè)視頻,每個(gè)視頻長(zhǎng)度5~15秒,覆蓋了所有8400個(gè)手語(yǔ)詞匯。目前,雙橋智連的智能手語(yǔ)識(shí)別系統(tǒng)已在中山市特殊教育學(xué)校落地應(yīng)用。對(duì)此,中山市特殊學(xué)校副校長(zhǎng)巫曉丹說(shuō)道:“聽(tīng)障學(xué)生和健聽(tīng)人之間的高效溝通受渠道影響還存在一些障礙,通過(guò)人工智能技術(shù)輔助溝通是一種很好的方法,可以為聽(tīng)障人士搭建與世界溝通無(wú)障礙的橋梁”。該項(xiàng)目成果在未來(lái)的發(fā)展道路上,可推廣應(yīng)用到醫(yī)院、銀行、公共交通、警務(wù)、大型賽事等更多公共服務(wù)場(chǎng)所,促進(jìn)聽(tīng)障人群就業(yè),這對(duì)于提升我國(guó)無(wú)障礙交流融合水平等方面的層次具有非同凡響的意義。
目前,雙橋智連項(xiàng)目已收到10家愛(ài)心企業(yè)合作意向書(shū),全面對(duì)接了18個(gè)社群,雙橋智連團(tuán)隊(duì)將牢記自己的初心使命,打造出高效,準(zhǔn)確,輕量,數(shù)字化的聾健雙向交流助聾產(chǎn)品,為聽(tīng)障人士提供更加便捷、更加高效的溝通方式。
基于HCI的智能手語(yǔ)識(shí)別系統(tǒng),用AI技術(shù)造福世界,助力聽(tīng)障人士與世界無(wú)障礙交流!
◆編輯:龍慧◆二審:蘇鵬蘊(yùn)◆三審:周亞平