您的位置:首頁 > 資訊 > 科技 >
Smart Touch智能“屏保膜” 讓盲人朋友更好地“玩手機”
來源:科技日報 2018-11-13 09:02:06

拿出手機買東西、交水電費、定外賣……這些普通人看來隨手可得的日常對于視障人士來說卻遙不可及。不過為了他們不掉隊,技術人員也沒放棄努力。

最近阿里聯合清華大學—阿里巴巴自然交互體驗聯合實驗室公布了一項人機交互研究新成果:一枚AI盲鍵,首次打通了語音和觸感兩大感官系統,為盲人朋友更好“玩手機”提供了一種新可能。

據阿里巴巴人機自然交互實驗室研究員趙晨介紹,這種新的盲人觸感反饋技術叫Smart Touch。具體做法是給手機貼一個新的“屏幕保護膜”,上面有支持觸覺交互的“盲鍵”,通過低成本的屏幕盲鍵按鈕提供觸覺。更重要的是根據頁面的動態變化,盲鍵對應的功能也隨之改變,提升交互效率和用戶體驗。

彌補語音交互的不足

目前,視障用戶通常使用讀屏軟件操作手機,用手指觸摸屏幕后由讀屏軟件提供語音反饋。“但這樣的交互方式還存在很多問題,比如缺少觸覺反饋,用戶經常需要訪問大量不需要的元素,容錯率低、糾錯成本高且頻繁,所以視障用戶使用起來的用戶體驗并不是很好。”清華大學計算機系教授喻純表示。因此,他們希望增加聽覺、觸覺等其它交互手段,以彌補單純語音交互的不足,從而增加視障用戶人機交互的便利。

Smart Touch之所以可以實現盲鍵功能在不同頁面的功能變化,離不開自動理解頁面信息的智能算法。“該算法首先提取界面的語義和主要功能,然后以符合視障用戶心理模型的方式映射到觸覺盲鍵按鈕上。因此,和現有的技術相比,Smart Touch不單提供語音交互,還提供基于界面內容理解的觸覺盲鍵。”喻純說。

對于界面的主要功能按鈕,視障用戶也不再需要通過遍歷的方式去使用,通過盲鍵可以層次化地訪問界面元素,這大大改變了視障用戶現在使用手機的方式,從現在的語音交互拓展到語音加觸覺交互,為視障用戶提供更高效更方便的用戶體驗。

讓智能交互代替明眼人講解

“我們技術的核心主要有兩部分:界面理解和界面交互。具體來說,界面理解指對界面語意的理解。”據喻純介紹,界面的內容包括三層:第一層解決“未加標簽”控件。目前手機界面上有很多不同的圖標,大多數圖標是一張圖片加文字,目前的讀屏軟件讀出來的是“未加標簽”,Smart Touch 通過算法自動地將圖標和文本進行關聯,為圖標提供標簽。第二層對手機界面的邏輯區塊做自動識別,形成界面元素的層級組織。第三層則對界面的交互語義做理解,將界面依據視障用戶的心理模型讀出來。

“我們的研究發現視障用戶在使用手機的時候希望有個明眼人在旁邊,把界面上的內容講解給他/她。Smart Touch算法的長期目標是希望可以達到像用戶旁邊的明眼人一樣轉達頁面內容。”喻純說,“目前版本上不同界面的盲鍵是根據界面內容按規則變化的,隨著我們算法的繼續改進,以后界面的交互盲鍵也會自動生成,這樣可以支持更多的手機應用。”

低成本惠及弱勢人群

“視障用戶去應用商店下載運行Smart Touch APP后,第一次需要先根據提示在手機界面相應位置貼上‘盲鍵’按鈕,然后就可以使用Smart Touch 提供的功能了。”

落到實用性,趙晨表示盲鍵的成本非常低,“我們目前使用的是普通的硅膠膜,很便宜成本很低,這樣才可以使大多數視障用戶可以用得上用得起,更重要的創新是背后的AI算法。以后我們會對這個盲鍵進行更多的觸感設計,讓它有更清晰的觸覺反饋,滿足更多的應用程序的需要。未來可以免費發放給視障用戶使用”。

觸覺是人與環境、人與人交互的一個重要通道,也是視障用戶主要的信息通道,趙晨表示:“希望我們的技術創新不但服務于大眾用戶,也可以幫助像視障用戶這樣的弱勢或少數群體,讓他們的生活更愉快些。從另外一個角度,電話發明的初衷是為了幫助聾啞人,今天成為人人不可或缺的一個設備。從長遠看來,我們希望為視障用戶提供的技術以后也能逐步惠及大眾。”(實習記者 崔 爽)

關鍵詞:
相關文章
不斷深化市場秩序治理 湖北省為消費者挽回經濟損失1 .47億元

不斷深化市場秩序治理 湖北省為消費者挽回經濟損

從近日召開的湖北省市場監管工作視頻會議上了解到,2021年,湖北市場秩序治理不斷深化,群眾幸福感、獲得感、安全感不斷提升。該省12315平更多

2022-01-19 14:47:51
促進公平競爭 內外資投資汽車行業將進行一致管理

促進公平競爭 內外資投資汽車行業將進行一致管理

對外開放是我國的一項基本國策,近年來我國深入推進高水平對外開放,不斷放寬外資準入。1月18日,在國家發展改革委召開的國家發展改革委1月更多

2022-01-19 14:23:25
寧德時代入局 十個城市首批啟動換電服務

寧德時代入局 十個城市首批啟動換電服務

昨日,寧德時代全資子公司時代電服,推出換電服務品牌EVOGO及組合換電整體解決方案。未來,EVOGO將選擇十個城市首批啟動換電服務,并發布更更多

2022-01-19 13:21:36
廣西南寧出臺法規促進茉莉花產業健康持續發展

廣西南寧出臺法規促進茉莉花產業健康持續發展

近日,從廣西南寧市市場監管局獲悉,《南寧橫州市茉莉花保護發展條例》(以下簡稱《條例》)經南寧市十四屆人大常委會第三十一次會議通過,廣更多

2022-01-14 14:50:37
首超上海 2021山東出口規模全國第四

首超上海 2021山東出口規模全國第四

1月13日,山東省商務工作電視電話會議在濟南召開。會議總結了2021年全省商務工作,分析了當前商務發展形勢,研究部署了2022年工作任務。山更多

2022-01-14 14:03:36
營造新型營商環境 推動離岸貿易新發展

營造新型營商環境 推動離岸貿易新發展

離岸貿易是服務貿易的重要組成部分,是重要的外貿新業態之一。日前,商務部發布《十四五對外貿易高質量發展規劃》,在加快發展貿易新業態方更多

2022-01-12 16:57:58
國家知識產權出臺系列政策為中小企業創新發展提供有力支持

國家知識產權出臺系列政策為中小企業創新發展提供

為了支持中小企業發展,紓困助企,國家知識產權局會同相關部門出臺并推動實施了一系列政策措施,在主體培育、金融賦能、轉化運用、優化服務等各方面為中小企業創新發展提供有力支持。更多

2022-01-12 16:12:57
加強民間收藏文物管理 促進文物市場有序發展

加強民間收藏文物管理 促進文物市場有序發展

2021年12月27日,由國家文物局、國家發展改革委、人力資源社會保障部、商務部、文化和旅游部、市場監管總局六部門聯合出臺的《關于加強民間更多

2022-01-07 16:52:48
多方合力有序推進 就業市場不斷拓寬

多方合力有序推進 就業市場不斷拓寬

教育部高校學生司司長王輝日前在教育部舉行的新聞發布會上介紹,2022屆高校畢業生規模預計1076萬人,同比增加167萬,規模和增量均創歷史新更多

2022-01-07 16:49:50
咖啡外賣利潤低和活動力度大 “賠本賺吆喝”真的有意義嗎?

咖啡外賣利潤低和活動力度大 “賠本賺吆喝”真的

一杯美式原價24元,減去商家對用戶的活動補貼19 3元,平臺技術服務費0 96元和履約服務費3 6元,最終預計收進(非利潤)0 14元2021年12月23日更多

2022-01-07 15:10:37