動(dòng)態(tài)場景解析需要對場景中的目標(biāo)進(jìn)行檢測、跟蹤、識(shí)別，對目標(biāo)的狀態(tài)進(jìn)行估計(jì)，對特定事件是否發(fā)生進(jìn)行判斷。由于動(dòng)態(tài)場景具有時(shí)變性、場景中目標(biāo)類別、狀態(tài)及行為具有多樣性、事件的發(fā)生具有不確定性、各種場景對象之間具有關(guān)聯(lián)性，動(dòng)態(tài)場景解析是一個(gè)非常困難的問題，傳統(tǒng)方法通常面臨著搜索空間巨大、算法效率低下等問題。但相對于計(jì)算機(jī)，人類的神經(jīng)系統(tǒng)在處理此類問題時(shí)卻毫不費(fèi)力，人眼能夠在瞬間發(fā)現(xiàn)場景中感興趣的目標(biāo)并對其屬性及關(guān)聯(lián)關(guān)系進(jìn)行判斷，原因在于人類能夠把多種信息融入搜索過程，通過對搜索空間進(jìn)行削減達(dá)到快速、準(zhǔn)確的搜索。受人類識(shí)別方式的啟發(fā)，我們提出了基于假設(shè)檢驗(yàn)（Hypothesis Testing）理論的動(dòng)態(tài)場景多目標(biāo)實(shí)時(shí)解析架構(gòu)，該架構(gòu)包含了狀態(tài)空間初始化、對象特征提取、先驗(yàn)知識(shí)引入、分支假設(shè)檢驗(yàn)、評分排序、時(shí)空關(guān)聯(lián)等算法模塊，同時(shí)此架構(gòu)可融合多種現(xiàn)有檢測、跟蹤、特征提取、識(shí)別技術(shù)，包括我們提出的異構(gòu)深度神經(jīng)網(wǎng)絡(luò)、分層矢量化多媒體信息表達(dá)、基于受限自適應(yīng)層次化稀疏表示的多目標(biāo)跟蹤等。

 

算法是一個(gè)遞歸的過程、當(dāng)場景變化時(shí)須重復(fù)這些步驟（場景更新通常是指有新目標(biāo)出現(xiàn)）：狀態(tài)空間初始化須確定候選目標(biāo)區(qū)域、指定可能的目標(biāo)類別等，合適的初始化能極大地減少搜索范圍，算法開始時(shí)可基于一些顯著性檢測算法及先驗(yàn)知識(shí)進(jìn)行初始化，在迭代時(shí)可以用前一場景的解析結(jié)果對后一場景進(jìn)行初始化。算法采用高置信度優(yōu)先的方式進(jìn)行搜索，每次都選取置信度最高的候選目標(biāo)并對其狀態(tài)進(jìn)行假設(shè)檢驗(yàn)，當(dāng)檢驗(yàn)通過時(shí)則對其引發(fā)的結(jié)果進(jìn)行分支假設(shè)檢驗(yàn)，如檢驗(yàn)沒通過則此分支被剪枝，每個(gè)通過的假設(shè)都會(huì)有一個(gè)得分（置信度），得分高低取決于目標(biāo)自身特征、多目標(biāo)之間的關(guān)聯(lián)性以及先驗(yàn)知識(shí)。算法需要優(yōu)化一個(gè)基于信息熵的能量函數(shù)，當(dāng)能量函數(shù)最小時(shí)，認(rèn)為搜索到最優(yōu)解。此能量函數(shù)融合了整個(gè)場景的信息，不僅包括場景中目標(biāo)、事件和場景自身的信息，也包括它們之間的交互信息以及先驗(yàn)信息。由于動(dòng)態(tài)場景具有時(shí)變性和相關(guān)性，在對當(dāng)前場景進(jìn)行解析時(shí)，還須關(guān)聯(lián)上一場景的解析結(jié)果，整個(gè)算法構(gòu)成一個(gè)時(shí)空關(guān)聯(lián)的有機(jī)整體?；谶@種架構(gòu)，可對動(dòng)態(tài)場景進(jìn)行在線解析（只考慮當(dāng)前場景及之前的信息），也可離線對動(dòng)態(tài)場景進(jìn)行整體解析。由于模擬了人類神經(jīng)系統(tǒng)的搜索方式，有效地減小了搜索空間，算法具有較高的搜索效率，可實(shí)現(xiàn)實(shí)時(shí)的動(dòng)態(tài)場景解析。同時(shí)由于融合了多種信息，算法能達(dá)到較高的識(shí)別準(zhǔn)確率。
 

 

圖 1：動(dòng)態(tài)場景多目標(biāo)實(shí)時(shí)解析架構(gòu)

 

該算法利用稀疏表示的能力，結(jié)合分層表達(dá)思想，將層次化和稀疏表示（特征）相結(jié)合，有效提高了目標(biāo)的模板的表達(dá)能力。在建立模板時(shí)，不僅對目標(biāo)建立模板，對背景也建立建模，在判斷候選區(qū)域是否為目標(biāo)時(shí)，可以結(jié)合兩個(gè)相似度進(jìn)行判定，分類結(jié)果更準(zhǔn)確。在跟蹤過程中，不斷更新模板時(shí)，對目標(biāo)和背景建立模板池，收集一段時(shí)間內(nèi)的目標(biāo)和背景特征分布，使得模板池的魯棒性更強(qiáng)。為了保證算法的實(shí)時(shí)性，有選擇性地對模板進(jìn)行更新，對當(dāng)前的新目標(biāo)進(jìn)行判斷，如果和模板池差別很小，則不更新模板；差別非常大說明跟蹤失敗，也不更新；只有在合適的時(shí)機(jī)才更新模板，即保持模板的穩(wěn)定性，又能減少運(yùn)算，達(dá)到實(shí)時(shí)性。為了更準(zhǔn)確地度量目標(biāo)和背景之間差異，采用自適應(yīng)權(quán)重調(diào)整方法，將目標(biāo)模板和背景之間不相似的特征賦予較大的權(quán)值，相似的特征賦予較小的權(quán)值，增強(qiáng)目標(biāo)與背景之間的區(qū)分度。通過建立目標(biāo)的時(shí)序特征模型，保證目標(biāo)模板的時(shí)序連貫性與完整性。

 

算法的主要流程:算法對視頻中多目標(biāo)的狀態(tài)采樣后，結(jié)合時(shí)間約束、空間約束對多層稀疏表示特征進(jìn)行加權(quán)，并通過目標(biāo)基、背景基的更新機(jī)制，在標(biāo)準(zhǔn)對沖跟蹤框架判斷后得到目標(biāo)的狀態(tài)（包括大小、方向、位置等）；在目標(biāo)丟失后,結(jié)合稀疏分類器網(wǎng)格粗略檢出目標(biāo)后再次判斷，從而實(shí)現(xiàn)復(fù)雜場景下實(shí)時(shí)的目標(biāo)跟蹤。