面由心生，由臉觀心：基於AI的面部微表情分析技術解讀

本文為大家帶來的演講主題是“ 面由心生，由臉觀心 ”，將主要分享如何快速實時且精準檢測並識別面部情緒。俗話說“面由心生”，意思是如果你心理有情緒，我們一般能夠從你的臉上觀察到，這種技術可以說是“由臉觀心”，是一種基於面部的AI情緒識別技術。本文主要覆蓋四部分內容：

微表情定義和意義。
微表情研究面臨的挑戰。
微表情的現狀和進展。
現有的數據庫（各自的優缺點）、微表情的特征、檢測算法、識別算法、應用、已有方法比較、未來可能的研究方向展望。

一、微表情的定義和意義

它是指我們肌肉下面有一處或者多處運動變化，表達人類情緒的一種面部運動狀態。面部表情是我們信息交流跟情感傳遞的一種重要手段。
傳統意義上說的面部表情，實際上指的是宏表情，基本上分六類，有、悲傷、、厭惡、恐懼等等。因為它受意識的控制，所以它可以掩蓋內心的真實情緒，是可以通過偽裝而表達出來的。

心理學家艾克曼教授團隊對這種面部表情進行了編碼，即人臉運動編碼系統。這套系統把人臉面部表情運動的描述方式抽象成一些基本的人臉形變單元，比如把“高興”面部表情拆解，會對應“圈眼輪匝肌外收緊；臉頰擡升……”等描述。對於不同的情緒，人臉的各個面部表情最終被對應到相應AU組合中。我們以“高興”為例，它實際上是AU6跟AU12的結合。

表情是人類情緒的外在反映，它一定能夠做到心神合一嗎？不一定。

微表情相對表情有什麽意義？
1969年，艾克曼教授和他的團隊，在心理醫生和抑郁癥患者的交談錄像中發現，患者Mary在整個視頻中情緒表現得非常積極，因為她試圖通過積極的情緒欺騙醫生，讓醫生允許她出院。但當我們去慢看視頻時，會發現視頻中有幾幀暴露了Mary的真實情緒，她想自殺。
艾克曼和團隊給這種真實情緒起了一個名字，叫微表情。微表情是一種持續時間短，運動幅度小的表情。它試圖掩飾自己真實情緒，卻不自覺暴露在人臉肌肉上。

由此可知微表情跟表情是有關系的，微表情不但不受思維意識控制，而且持續的時間非常短，人的意識還沒有來得及去控制它，就已經被暴露出來，所以它一定是真實情緒的反應。正是由於微表情的這個特點，它在刑偵、安全、司法、談判等領域都有非常重要的應用。

二、微表情研究面臨的挑戰。
微表情的發展歷程是怎樣的？第一是微表情的識別，它最開始是通過人工訓練的，大概訓練一個半小時，可以提高到30%-40%的準確性，但心理學家論證了人工識別最高不會超過47%。後來隨著心理學實驗逐漸演進到計算機應用上面，微表情有了AU組合，如果是高興，宏表情的高興是AU6+AU12，微表情是AU6或者是AU12，或者是AU6+AU12。第二是微表情運動，它是局部的肌肉塊運動，而不是兩個肌肉塊同時運動，比如高興，運動的是AU6或者是AU12。但如果強度比較大，可能會出現AU6和AU12同時發生的情況。另外宏表情和微表情有一些聯系，就是微表情的AU可能是宏表情AU的子集。

宏表情、微表情有什麽區別？
微表情不容易被覺察，而宏表情非常容易被覺察；微表情的持續時間非常短，介於0.065秒到0.5秒之間，但是宏表情的時間相對長一些，介於0.5到4秒之間；微表情的幅度變化非常小的，但宏表情變化非常大；微表情不受人的意識控制，但宏表情是可以控制的；微表情涉及到人臉面部的運動單元更少一些，但是宏表情可能涉及到更多的區域。

微表情的特點有那些？微表情的特點是持續的時間非常短、運動幅度的變化較小、難以掩飾和抑制，因此它經常容易被人所忽略掉。既然人容易忽略微表情，那麽我們可以借助計算機輔助手段來解決這些問題，比如用一個高速攝像機對著待測者的臉，讓計算機把圖像一幀一幀存儲起來。

三、微表情的研究現狀和進展
在我們團隊建立MMEW數據庫之前，針對微表情的研究，缺乏一些特別大的公開數據庫，最大的數據庫也僅有247個樣本，且它的圖像分辨率不高。

對此我們進行了優化，一方面從人員的數量上進行了優化升級，人臉分辨率和圖像的分辨率盡量做大。另一方面對於人表情情緒的分類，做到了更精確，同時樣本的均衡性要比其他的庫好。最後，我們發布的一個數據集MMEW，它包含同一個人的宏表情和微表情的樣本，這是現有的數據庫做不到的。

四、現有的數據庫、微表情的特征、檢測算法、識別算法、應用、已有方法比較、未來可能的研究方向展望。
如何建立數據庫？在收集數據前，我們要誘發微表情的產生，因此要給待測者看一些心理學家論證好的刺激源，這些小的刺激源持續時間非常短，要保證待測者的注意力十分集中。在他們產生表情之前，我們要讓待測者保持一種平靜的情緒，相當於面部沒有肌肉變化，一旦受到刺激以後，面部就會有一些刺激，我們讓待測者描述受到刺激時他是什麽樣的情緒，然後我們對這個圖片會一幀一幀觀察，最後形成MMEW數據集。
收集好數據，接下來要對數據集進行標注。因為要給情緒標簽，所以我要知道到底哪些AU發生了變化，從而給變化的AU打一個標注。且微表情是一個時間的持續概念，所以我還要標注出它發生的開始時刻、結束時刻以及高潮時刻。

微表情有什麽特征?微表情的特征，是由原始視頻特征，提取一些描述，最終送到檢測器或分類器。
現在較好的微表情特征分成這樣幾類，有時空域特征、頻域特征、光流特征，深度學習特征。

深度學習特征，它是一種黑盒模型，我們需要研究它的可解釋性的問題。對於這種光流特征，目前比較主流的方法是主方向的光流的平均特征，叫MDMO。獲取它不同的稀疏特征系數，最後送到SVM分類器里面。深度學習這個方法也有對空間和時間上進行處理，得到時間性的連接模型還有時空模型，這是一個循環卷積網絡進行微表情識別的工作。還有動態的成像系統來做微表情識別的深度學習方法。

微表情有那些檢測算法？我們說微表情檢測有兩種方法，一個是detection，它是檢測有沒有微表情發生；一個是spotting，它是除了檢測微表情有沒有發生，如果有發生，還要標注出來微表情發生的起始時刻、終止時刻、高潮時刻。
這兩種方法容易受到一些閾值的幹擾，這些閾值要進行手工調，非常耗時。識別的方法有傳統的分類器SVM、極端學習機、K近鄰，還有深度學習模型、遷移學習模型。因此我們提出了一種新的微表情檢測方法，首先要找到一些特征點，然後在實驗中我們發現標注出來的區域是最感興趣的區域，最後計算感興趣區域里面的光流。

如果是微表情，它的幅度有一定的高度，角度是恒定的。我們把它轉成極坐標系，可以發現這部分點對應微表情的特征，如果這部分點在單位圓以內，代表它的變化幅度非常小，可以理解為沒有表情；如果這部分點在圓以外，我們看它的角度實際上是變化的，那麽這個黑色的點對應的就是宏表情。
用這個方法就可以區分微表情、沒有表情、宏表情，也可以用這種方式來做微表情的檢測。我們還提出了不同的決策準則，比如有積極的準則，有保守的準則，最後在公開的數據庫上，該方法得到了非常好的性能。

和已有方法的比較，微表情識別算法評估的優勢有那些? 我們對現有的一些圖像預處理的方法，進行了評估，發現跟傳統的機器學習方法對比，光流的方法能最好的識別性能。我們還對比了傳統的機器學習方法和深度學習機器方法，發現後者更有優勢的，但是它需要去考慮可解釋的深度學習。

微表情未來可能的研究方向有那些？首先仿照人臉識別，我們認為未來微表情識別，也是需要保護隱私的。
其次我們可以去遷移一些相關領域的知識，比如說宏表情和微表情比較相近，那麽能不能把宏表情的特征遷移學習到微表情識別呢？這將是一個值得學習的方向。對於數據集，現在我們團隊有一個800多個樣本的庫，可即使把所有可獲取的微表情樣本全部加到一塊，還是非常小。最後，因為微表情在采集的時候是通過高速攝像機，所以從網上搜索的一些數據滿足不了這個幀頻，只能夠通過采集的方式獲取。我們可以采用眾籌的方式，把的數據集做的更標準化一些。還可以采用生成技術，進行一些微表情的生成，幫助我們更好的去識別微表情。因為現在深度學習比較熱，所以我們需要做可解釋的微表情識別。