2.3 ⼿勢(shì)識(shí)別
NUI 的挑戰(zhàn)：“Simple is hard.Easy is harder.Invisible is hardest.”——Jean-LouisGassée
2.3.1 ⼿勢(shì)的圖形⽤戶(hù)界⾯
未來(lái)的⼈機(jī)交互將是⾃然⽤戶(hù)界⾯(Natural User Interface),當(dāng)然這個(gè)界⾯還很模糊。隨著便宜⼜可靠的多點(diǎn)觸摸硬件的不斷發(fā)展，我們相信，在不久的未來(lái)，多點(diǎn)觸摸設(shè)備不僅僅是在實(shí)驗(yàn)室⾥了，⽽是遍布在學(xué)習(xí)室，繪圖室甚⾄是廚房⾥，⽆限可能。
⿏標(biāo)和圖形⽤戶(hù)界⾯⼀直是電腦可以在社會(huì)上⼤規(guī)模普及的重要原因。然⽽，傳統(tǒng)的⼈機(jī)交互是間接的和需要識(shí)別的⼀種⽅法。建⽴在多點(diǎn)觸摸上的⼈機(jī)⾃然交互是直觀的，流暢的和令⼈回味的。基于⼿勢(shì)的GUI 界⾯將進(jìn)⼀步使計(jì)算機(jī)成為我們⽣活中的不可或缺的⼀部分。
從⼴義上說(shuō)，“⼿勢(shì)的概念涵蓋很⼴泛，只要是為了讓交流的⽬的更明確，更引⼊矚⽬⽽采⽤的⼀切⾝體動(dòng)作，都可以稱(chēng)作⼿勢(shì)。”通過(guò)⼿勢(shì)交流是⼈類(lèi)發(fā)展歷程中最古⽼的形式，當(dāng)然，這超出了我們的討論范圍。GUI 系統(tǒng)是利⽤⼈們以往的閱歷和認(rèn)知來(lái)熟悉應(yīng)⽤程序，⽽NUI 的界⾯充分利⽤了⼈們的設(shè)想和合乎情理的結(jié)論從⽽提出了⼀個(gè)直觀的、基于⼿勢(shì)的內(nèi)容界⾯。這樣⼀個(gè)基于⼿勢(shì)的界⾯是社會(huì)化，任務(wù)協(xié)作，以及藝術(shù)性觸摸的最佳候選⽅案。這個(gè)界⾯是符合⾃然規(guī)律的、更直觀的⽤戶(hù)界⾯。
然⽽，現(xiàn)在多點(diǎn)觸摸硬件上所使⽤的⼿勢(shì)是很少的，仍然存在很⼤的發(fā)展空間，當(dāng)然也少不了繼續(xù)探尋⼀些⼿勢(shì)的可應(yīng)⽤性。多點(diǎn)觸摸界⾯需要⼀個(gè)全新的⽅案，⽽不是⽤GUI 或者WIMP 的⽅法來(lái)實(shí)現(xiàn)它。⼿勢(shì)的類(lèi)型決定了不管是多觸摸⽤戶(hù)還是單觸摸多⽤戶(hù)都能進(jìn)⾏互動(dòng)。我們將討論需要的新⼿勢(shì)，發(fā)展⼿勢(shì)識(shí)別模塊和⽀持框架能夠充分利⽤多點(diǎn)觸摸設(shè)備的潛⼒，⽀持可定制開(kāi)發(fā)和易于使⽤的復(fù)雜的多點(diǎn)觸摸應(yīng)⽤。
2.3.2 ⼿勢(shì)Widgets
NUI 的多點(diǎn)觸摸⽅案提供了⼀套強(qiáng)⼤的⼿勢(shì)界⾯平臺(tái)，⽽且是基于對(duì)象的(⽽不是WIMP)，從⽽消除了現(xiàn)實(shí)世界與應(yīng)⽤程序之間的抽象化。界⾯的⽬的在于讓⼈們能夠直接操縱、更好的沉浸式體驗(yàn)和容納界⾯上的低精度操作。流⾏的⼿勢(shì)諸如⽤兩個(gè)⼿指將圖⽚縮放、旋轉(zhuǎn)，這被稱(chēng)之為“操控⼿勢(shì)”，也是⾃然⼿勢(shì)的⼀個(gè)很好的例⼦。
圖1：多點(diǎn)觸摸程序中的⼿勢(shì)范例
新類(lèi)型的⼿勢(shì)widgets[圖2]對(duì)對(duì)象的直接操控要有⼀個(gè)全⾯的概念(在NUI的概念中，⼀切都是對(duì)象)，有⼀個(gè)流暢且具有喚起性(evocative)的環(huán)境，不僅僅是模擬⿏標(biāo)。
圖2
Gesture Widgets 應(yīng)該具有創(chuàng)造性思維，能夠存儲(chǔ)⽤戶(hù)的反饋并進(jìn)⾏處理。那么這些Gesture Widgets 就可以被擴(kuò)展來(lái)設(shè)計(jì)開(kāi)發(fā)更復(fù)雜的應(yīng)⽤，它們還應(yīng)該⽀持⾃定義⼿勢(shì)。
2.3.3 ⼿勢(shì)識(shí)別
⼿勢(shì)識(shí)別研究的主要⽬的是建⽴⼀個(gè)能夠識(shí)別⼈的特定的⼿勢(shì)然后發(fā)送這些信息或者直接控制設(shè)備的系統(tǒng)。為了確保能夠⽐較準(zhǔn)確的識(shí)別⼿勢(shì)和呈現(xiàn)⼀個(gè)直觀的界⾯，在這個(gè)系統(tǒng)模型上會(huì)做⼀些限制。多點(diǎn)觸摸設(shè)備應(yīng)該提供⼀個(gè)以上的⽤戶(hù)獨(dú)⽴⼯作或者協(xié)同⼯作的能⼒，然后讓多點(diǎn)觸摸應(yīng)⽤和多種多點(diǎn)觸摸設(shè)置模式在⼀起⼯作。
圖3：⼿勢(shì)⽰例
⼿勢(shì)(Gesture)⼀詞被定義為起點(diǎn)和終點(diǎn)在⼀個(gè)范圍內(nèi)，⽽且在兩點(diǎn)之間有動(dòng)作。在多點(diǎn)觸摸輸⼊的時(shí)候，系統(tǒng)應(yīng)該能夠識(shí)別在空間和時(shí)間內(nèi)有意義的⼿勢(shì)。⼿勢(shì)識(shí)別程序可分為三個(gè)漸進(jìn)的過(guò)程。
檢測(cè)意圖：⼿勢(shì)僅需要在⽤戶(hù)操控應(yīng)⽤程序窗⼝的時(shí)候解析，X 延展輸⼊協(xié)議以及即將到來(lái)的X12 會(huì)通過(guò)X 服務(wù)器來(lái)?yè)?dān)當(dāng)繼續(xù)地轉(zhuǎn)述觸摸事件的責(zé)任，通過(guò)軟件的執(zhí)⾏正確地反饋給應(yīng)⽤界⾯。
⼿勢(shì)區(qū)分：在同⼀個(gè)應(yīng)⽤程序操作觸摸事件的時(shí)候會(huì)有同樣的⼀套動(dòng)作，因此，觸摸事件需要基于對(duì)象意向情況下被重新定義，這些被重新定義的數(shù)據(jù)會(huì)被發(fā)送給⼿勢(shì)識(shí)別模塊。
⼿勢(shì)分類(lèi)：⼿勢(shì)識(shí)別模塊會(huì)將被定義的數(shù)據(jù)映射到相對(duì)應(yīng)的命令中，這會(huì)有各種⼿勢(shì)識(shí)別能夠⽤到，可以是單獨(dú)的或者像Markov Models, Artifcial NeuralNetworks, Finite State Machine 等那樣整合起來(lái)的。
其中最重要的技術(shù)是隱形馬爾科夫模型(Hidden Markov Models,HMM)。它是根據(jù)歷史數(shù)據(jù)，預(yù)測(cè)等時(shí)間間隔點(diǎn)上的各類(lèi)對(duì)象分布狀況。此⽅法的基本思想是根據(jù)過(guò)去對(duì)象變動(dòng)的規(guī)律，推測(cè)未來(lái)對(duì)象變動(dòng)的趨勢(shì)。
⼀個(gè)仿真的神經(jīng)⽹絡(luò)(artificial neural network，ANN)，通常只叫做NN(neuralnetwork)，它是⼀個(gè)建⽴在⽣物神經(jīng)⽹絡(luò)理論上的計(jì)算機(jī)模型[圖4]，它在多變的環(huán)境中⾮常靈活。新的⽅法可以同時(shí)使⽤HMM 和較為常見(jiàn)的ANN 來(lái)識(shí)別對(duì)象。
⼿勢(shì)識(shí)別模塊還應(yīng)提供聯(lián)機(jī)和脫機(jī)識(shí)別功能，以及shot 和progressive 的⼿勢(shì)。依照現(xiàn)在的觀點(diǎn)，可以表⽰為：
圖4：在離線(xiàn)模式下，觸點(diǎn)追蹤和⼿勢(shì)識(shí)別的框架
從客戶(hù)端架構(gòu)分離的⼿勢(shì)識(shí)別模塊本⾝就可以構(gòu)成MVC 架構(gòu)，這樣有助于稍后講到的語(yǔ)⾳識(shí)別模塊和其它的⼿勢(shì)識(shí)別模塊以適當(dāng)?shù)男问接成涞浇?#12207;控制器，然后更新視圖和模型，使之成為更強(qiáng)⼤的界⾯。
2.3.4 開(kāi)發(fā)框架
現(xiàn)在有⼀些框架已經(jīng)發(fā)布了，它們正在制定幫助多點(diǎn)觸摸應(yīng)⽤發(fā)展的觸摸事件界⾯管理⽅式。然⽽，現(xiàn)在設(shè)備輸⼊管理的⽅式仍然是抽象的，觸摸事件通過(guò)TUIO 發(fā)送（TUIO 是不考慮底層硬件的）。⽽⼿勢(shì)識(shí)別能真正地挖掘多點(diǎn)觸摸界⾯的潛⼒，這也是客戶(hù)端的任務(wù)?，F(xiàn)在⼀些通常的⼿勢(shì)，特別是那些操控圖⽚的⼿勢(shì)已經(jīng)出現(xiàn)了。這些框架不是側(cè)重于⼿勢(shì)界⾯，它們更側(cè)重于發(fā)展多點(diǎn)觸摸環(huán)境的GUI 和WIMP 的標(biāo)準(zhǔn)接⼝。
⼿勢(shì)和⼿勢(shì)識(shí)別模塊隨著NUI 界⾯的推出已經(jīng)有了長(zhǎng)⾜的發(fā)展。⼀些重要的框架有：
Sparsh-UI
Sparsh-UI 是⼀個(gè)發(fā)布在LGPL 許可證下的多點(diǎn)觸摸⼿勢(shì)識(shí)別框架，貌似也是第⼀個(gè)關(guān)于⼿勢(shì)識(shí)別的框架。它可以連接各種硬件設(shè)備，并且可以跨平臺(tái)使⽤，同時(shí)⽀持不同的編程語(yǔ)⾔和UI 框架。觸摸信息從連接裝置捕獲之后會(huì)進(jìn)⾏⼿勢(shì)的處理和識(shí)別，每⼀個(gè)在客戶(hù)端的可視化組件都可以被“聯(lián)想”成⼀組特定的⼿勢(shì)，然后試圖去識(shí)別它。新的⼿勢(shì)和識(shí)別算法可以添加到包中設(shè)為默認(rèn)。
Gesture Definition Markup Language
GDML 是基于XML 的⼀種⽤來(lái)說(shuō)明在輸⼊界⾯上如何建⽴清晰的⼿勢(shì)事件的標(biāo)記語(yǔ)⾔。通過(guò)XML 來(lái)描述⼿勢(shì)的狀態(tài)，同時(shí)⽀持在指定的基礎(chǔ)上創(chuàng)造新的⼿勢(shì)，這也就是說(shuō)，⼿勢(shì)引擎⽀持⾃定義的⼿勢(shì)。
這個(gè)項(xiàng)⽬設(shè)想成兩部分：
描述⼀個(gè)標(biāo)準(zhǔn)的⼿勢(shì)庫(kù)(Gesturelib)來(lái)滿(mǎn)⾜⼤部分應(yīng)⽤的需要。
類(lèi)庫(kù)代碼⽀持已經(jīng)既定的⼿勢(shì)，并且可以將⼿勢(shì)事件發(fā)送給應(yīng)⽤層。
Grafiti
Grafiti 是⼀個(gè)建⽴在TUIO 客戶(hù)端上的C#框架，可以⽤來(lái)管理桌上界⾯多點(diǎn)觸摸的交互⾏為，也⽀持⼀些既定的有形物體的觸摸。這個(gè)項(xiàng)⽬的⽬的是⽀持使⽤第三⽅模塊來(lái)加強(qiáng)(專(zhuān)業(yè))⼿勢(shì)識(shí)別算法。當(dāng)然，⼀些基本的⼿勢(shì)已經(jīng)包含在⾥⾯了。
NUIFrame
NUIFrame 是⼀個(gè)基于上述討論模式的C++框架(⽬前正在開(kāi)發(fā)中)。它提供了⼀個(gè)單獨(dú)的⼿勢(shì)識(shí)別模塊，除了處理⼀連串觸摸事件之外，NUIFrame 也提供了客戶(hù)端程序。這就可以確保不同的對(duì)象在使⽤相同⼿勢(shì)的時(shí)候，可以根據(jù)背景做出不同的運(yùn)算。它還將⽀持基于⽤戶(hù)特定的規(guī)格來(lái)⾃定義⼿勢(shì)。這套⼿勢(shì)⼯具⽀持圖形化的⾃動(dòng)調(diào)試所⽣成的⼿勢(shì)。
AME Patterns Library
AME Patterns Library 是⼀個(gè)新的C++模式識(shí)別庫(kù)，⽬前的重點(diǎn)是實(shí)時(shí)⼿勢(shì)識(shí)別(real-time gesture recognition)。它使⽤基于概念的程序設(shè)計(jì)來(lái)表達(dá)通⽤的⼿勢(shì)識(shí)別算法。這個(gè)庫(kù)最近作為AMELiA (the Arts, Media and Engineering LibraryAssortment，⼀個(gè)開(kāi)源的庫(kù)集)的⼀部分發(fā)布在了GNU 通⽤公共許可證下。它同時(shí)實(shí)現(xiàn)了兩個(gè)多點(diǎn)觸摸識(shí)別的隱形馬爾科夫模型，同時(shí)減少了⼀些參數(shù)模型，簡(jiǎn)化需求條件，改進(jìn)了運(yùn)⾏時(shí)間性能，同時(shí)保持了良好的識(shí)別效果。
這⾥也有⼿勢(shì)識(shí)別軟件在準(zhǔn)確性和實(shí)⽤性上存在的挑戰(zhàn)：
⼿勢(shì)識(shí)別中的圖形噪聲
不同的⼈在同⼀⼿勢(shì)上存在差異
在給定的區(qū)域⾥找到普遍性的⼿勢(shì)⽽不是去繪制難以記憶的⼿勢(shì)
包容⼿勢(shì)的可變性和復(fù)制性
慎重考慮與GUI 系統(tǒng)相⽐有沖突的地⽅
Distinguishing intentional gestures from unintentional postural adjustmentsknown as the gesture saliency problem.
懸空⼿臂式操作（gorilla arm）：⼈類(lèi)并不習(xí)慣于在操控⾏為的時(shí)候?qū)?#12095;舉在前⾯，在通過(guò)⼀段時(shí)間的操控后，⼿臂回變得酸痛、局促、浮腫等，就像⼀只⼤猩猩⼀樣在觸摸屏上操作著。盡管短時(shí)間的操控沒(méi)有什么問(wèn)題，但從1980 年早期開(kāi)始將垂直式觸摸屏作為主流輸⼊技術(shù)，卻阻礙了發(fā)展。
可以進(jìn)⼀步改善NUI 界⾯，⽐如在⼿勢(shì)識(shí)別模塊上加⼊壓⼒感應(yīng)，語(yǔ)⾳輸⼊，⾯部識(shí)別等。
