Urmărirea Funcțiilor Faciale utilizând un Amestec de Modele de Distribuție a Punctelor

Sursă Originală: http://research.cs.rutgers.edu/~kanaujia/Research2/Research2.html

Tehnologia actuală este protejată prin brevetarea și comercializarea marcajului “Sistem și metodă pentru urmărirea caracteristicilor faciale”, Atul Kanaujia și Dimitris Metaxas, Rutgers Docket 07-015, brevetul provizoriu nr. 60 / 874,451 depus pe 12 decembrie 2006 . Nici o parte a acestei tehnologii nu poate fi reprodusă sau afișată sub nicio formă fără permisiunea prealabilă scrisă a autorilor.

Detectarea Funcțiilor Faciale

Prezentăm un cadru generic pentru a urmări formele în variante mari prin învățarea varietăților de formă neliniară ca subspații liniare suprapuse, sub formă de bucăți. Utilizăm analiza de formă bazată pe un punct de referință pentru a forma un model de amestec Gaussian peste formele aliniate și pentru a afla un model de distribuție a punctelor (PDM) pentru fiecare componentă a amestecului. Forma țintă este căutată mai întâi prin maximizarea densității de probabilitate a amestecului pentru profilurile de intensitate a caracteristicilor locale de-a lungul normalelor, urmată de constrângerea formei globale utilizând cel mai probabil grup PDM. Formele caracteristicilor sunt urmărite robust pe mai multe cadre prin comutarea dinamică între PDM-uri. Contribuția noastră este de a aplica ASM la sarcina de a urmări forme care implică schimbări de aspect larg și mișcări generice. Acest lucru se realizează prin încorporarea unor priori de formă învățate pe un spațiu neliniar și prin utilizarea acestora pentru a învăța spațiul de formă plauzibil. Demonstrăm rezultatele privind urmărirea caracteristicilor faciale și oferim câteva rezultate empirice pentru a valida abordarea noastră. Cadrul nostru rulează aproape în timp real la 25 de cadre pe secundă și poate fi prelungit pentru a prezice unghiuri posibile folosind un amestec de experți.

Cadrul nostru generic permite formarea automată la scară largă a diferitelor forme din mai multe puncte de vedere. Modelul se poate ocupa de o cantitate mai mare de variabilitate și poate fi utilizat pentru a învăța variole de formă neliniară continuă.

În trecut s-au făcut mai multe eforturi pentru a reprezenta variații de formă neliniară utilizând kernel PCA și perceptron multi-strat. Rezultatele din abordările neliniare depind în mare măsură de faptul dacă toate variațiile de formă au fost reprezentate în mod adecvat în datele de antrenament. Discontinuitățile în spațiul de formă pot determina aceste modele să genereze forme implauzibile. Metodele kernelului suferă de un dezavantaj major pentru a afla funcția de pre-imagine pentru a cartografia forma în spațiul caracteristic cu spațiul original. Propunem utilizarea de subspații suprapuse multiple pentru a capta variante de formă mai mari care apar în setul de date din cauza mișcării capului complet.Obiectivul nostru este de a urmări cu exactitate caracteristicile faciale în rotațiile mari ale capului. Contribuția lucrării noastre este: (1) Îmbunătățirea specificității ASM pentru a face față variațiilor de formă mari prin învățarea varietăților de formă neliniară. (2) Cadrul în timp real pentru urmărirea formelor și (3) Învățarea non-linearităților pentru predicția exactă a unghiurilor 3D posibile din formele 2D.

Rezultatele de fixare a formei pe un profil complet prezintă inițializat cu forma medie frontală. Abordarea bazată pe clustere permite ca punctele de referință ocluzate să fie identificate în timpul căutării și sunt ignorate în timpul optimizării probabilității reperelor individuale. Această căutare euristică oferă o aliniere a feței foarte precisă pentru fața complet profilată.  

SIFT Descriptor pentru modelarea aspectului

Am folosit modelarea aspectului îmbunătățit, utilizând un descriptor SIFT descriptor ( Stâng ) Gradient, care corespunde costului unui punct de reper pe o fereastră de dimensiune 19×19. Observați minimele multiple 
care determină alinierea slabă a formelor. ( Dreapta ) SIFT costul de potrivire descriptor pentru același punct de referință

Top ) Localizarea caracteristicilor faciale folosind ASM cu profile de gradient. ( Bottom ) Localizarea folosind descriptorii locali ca caracteristici SIFT. Observați localizarea exactă a caracteristicilor oculare datorate descriptorilor SIFT

Urmărirea formelor


Rularea ASM la fiecare cadru este computațional de costisitoare și provoacă puncte de trăsătură la bruiaj puternic. Urmărim caracteristicile utilizând tracker-ul Sumă de diferență de intensitate de șanț (SSID) în cadrul cadrelor consecutive. Urmărirea SSID este o metodă pentru înregistrarea a două imagini și calculează deplasarea caracteristicii prin minimizarea costului de potrivire a intensității, calculat pe o fereastră de dimensiuni fixe în jurul caracteristicii. Pe o mica miscare inter-cadru, un model de traducere liniara poate fi asumat cu exactitate. Pentru o suprafață de intensitate la locația imaginii I ( i , i , k ) , trackerul estimează vectorul de deplasare d = ( δ i , Δ i ) din imagine nouă I ( x i + δ i+ δ y k + 1 ) prin minimizarea erorii reziduale întro fereastră W în jurul( x i , y i )

Urmărirea rezultatelor – faceți clic pe imagini pentru a vizualiza filmele

Detectarea emblemelor – clipire oculară, detectarea capului și detectarea vibrațiilor – faceți clic pe imaginile videoclipurilor pe care le vizualizați

Capul capului și tremurul sunt detectate prin recunoașterea modelului de mișcare al nasului în videoclipuri

3D Head Ezinează estimarea utilizând funcțiile faciale Urmărire – Timp real Faceți clic pe imagini pentru a vizualiza filmele


Referințe:

  1. Urmărirea caracteristicilor faciale utilizând un amestec de modele de distribuție la puncte , Atul Kanaujia, Yuchi Huang, Dimitris Metaxas, CVGIP 2006, PDF )
  2. Detectarea simbolurilor prin urmărirea funcțiilor faciale , Atul Kanaujia, Y. Huang, Dimitris Metaxas, Workshop CVPR privind învățarea semantică, 2006, ( PDF )
  3. Învățarea pe scară largă a modelelor cu forme active , Atul Kanaujia și Dimitris Metaxas , ICIP 2007 ( PDF )
  4. Urmărirea dinamică a expresiilor faciale folosind subspații adaptabile, suprapuse , Dimitris Metaxas, Atul Kanaujia, Zhiguo Li. ICCS 2007 (PDF)

Brevete:

“Sistemul și metoda de urmărire a caracteristicilor faciale”, Atul Kanaujia și Dimitris Metaxas, Rutgers Docket 07-015, brevetul provizoriu nr. 60 / 874,451 depus pe 12 decembrie 2006.