人臉識別主要分為人臉檢測、圖像預處理、特征提取和匹配識別4個過程(如圖1所示)。
1.人臉檢測
人臉檢測在實際應用中主要用于人臉識別的預處理，即從輸入圖像中檢測并提取人臉圖像，標定出人臉的位置和大小。目前常用的人臉圖像模式特征有：直方圖特征、顏色特征、結構特征及haar特征等。基于以上特征采用Adaboost算法挑選出zui能代表人臉的矩形特征，按照加權投票方式，按級構造成級聯分類器。檢測時，級聯分類器對圖像中的每一塊進行分類并將zui終通過級聯分類器的圖像判定為人臉圖像。
圖1 人臉識別過程
2.圖像預處理
人臉檢測獲取的原始圖像由于受到各種條件的限制和隨機干擾，往往不能直接使用，需要在人臉圖像預處理部分對圖像進行包括光線補償、灰度變換、直方圖均衡化、歸一化、濾波及銳化等處理。
3.特征提取
特征提取是人臉識別中zui關鍵的一步，簡單說它是指通過一些數字來表征人臉信息，這些數字就是要提取的特征。
目前主流的特征提取算法主要分為線性特征提取算法和非線性特征提取算法。線性特征提取算法的代表是主分量分析(PCA)與線性鑒別分析(LDA)。
主分量分析是一種基本的多維數據描述方法，其基本思想是：利用一組為數不多的特征去盡可能地表示樣本的特征。主分量分析通常采用樣本總體協方差矩陣的特征向量系作為展開基(即K-L坐標軸)，而那些對應若干個zui大特征值的特征向量則被稱為主分量或者主成分(principal component)。模式樣本在這些主分量上線性投影后，所得的系數即稱為主分量特征。主分量分析具有：消除了模式樣本之間的相關性和實現了模式樣本的維數壓縮兩大優點，即主分量分析給出了原始高維樣本的一種簡約表示。可以證明，這種表示在zui小協方差意義下是*的。由于這些優點，主分量分析被成功應用于人臉圖像表示。但是由于這種表示是以所有樣本的*重建為目的，因此對于描述不同類樣本之間的差異而言，它不一定是*的描述。從這個意義上說，用它描述的特征來進行人臉識別不是*的。
線性鑒別分析是眾多模式識別方法中zui經典的方法之一。LDA算法的目的是確定一組*鑒別矢量(投影軸)，使得原始數據在該鑒別矢量集上投影后類間離散度和類內離散度的行列式之比達到zui大，稱該方向對應的矢量為Fisher*鑒別矢量。LDA的物理意義是，樣本在這些*鑒別矢量上投影后，同類的樣本盡可能靠近，而不同類樣本盡可能地分離，類間散布程度與類內散布程度之比達到zui大。如果說PCA獲得的是樣本的*表示特征集，那么LDA獲得的則是樣本的*鑒別特征集，該特征集應該更適于模式的分類。
但對于人臉識別而言，由于表情、光照、姿態等變化而引起的人臉圖像之間的差異造成人臉圖像在高維空間的分布是非線性的，而線性特征提取方法是對這些非線性特征進行了線性簡化，所以無法獲得更好的識別效果。于是，非線性特征提取方法引起了研究者們廣泛的關注，并取得極大的發展。非線性特征提取方法大致可分為兩個分支，即基于核的特征提取方法和以流形學習為主導的特征提取方法。
4.匹配識別
將提取到的待識別人臉特征與數據庫中的人臉特征進行對比，根據相似度對人臉的身份信息進行判斷。而這一過程又可以分為兩個大類：一類是一對一驗證，一類是一對多辨認。
一對一驗證是指將待識別人的特征信息與歷史采集特征信息進行兩兩比對，若兩者的相似度不低于設定的閾值，則驗證通過，否則失敗。在這種模式下通常采用錯誤拒絕率(FNMR，FalseNon-Match Rate)和錯誤接受率(FMR，False Match Rate)兩個指標衡量生物特征識別技術性能，具體定義如(1)和(2)所示。
一對多的辨認是利用未知身份生物特征在大量的已知身份的生物特征數據庫中查詢，設置相似度閾值，并返回列表長度，識別未知生物特征擁有者的身份。一般用錯誤匹配率(FPIR，False Positive Identification Rate)和正確識別率(TPIR，True Positive Identification Rate)兩個指標衡量識別性能。具體定義如(3)和(4)所示。
在人臉識別性能測試中為了衡量人工查看的工作強度，還定義了SEL(Selectivity)指標衡量一對多識別性能，SEL具體定義如(5)所示。
當光照條件和人臉姿態發生變化后(例如人臉在深度方向發生偏轉)，人臉識別系統的識別率會出現嚴重的下降。鑒于以上技術缺陷，在人臉識別技術領域，各大高校、科研機構都在進行更加深入的研究，各種各樣的新技術、新算法不斷涌現。例如，基于多線索的人臉識別技術通過在認知判別中引入多種有效的特征信息和多種理論推理方法，全面、準確地認識和區分對象；基于線性表示的魯棒人臉識別算法，該算法首先檢測出圖像中存在的噪聲點，然后在去除噪聲的基礎上求得準確的表示系數，做出更加準確的識別；基于流形學習的局部zui大間距鑒別嵌入(LMMDE)特征提取方法。該方法在保持樣本局部結構的同時，考慮位于同*形上不同類樣本的差異性，有效解決了因近鄰關系扭曲而引起的不同類樣本相互重疊的問題。
