.

Teoria envolvida

Para a última etapa do projeto, foi necessário conhecer e organizar todas as faces pelos momentos em que elas aparecem nas tomadas do vídeo e a que pessoas elas correspondem. Para isso, foram utilizados alguns conceitos e teorias já apresentados nos artigos anteriores da série, mas também outros tópicos ainda não estudados. Para todos os assuntos, serão listadas fontes interessantes para estudo.

Detecção de características faciais (olhos, nariz, boca):

Técnica de Viola e Jones com as cascatas adequados para cada característica facial. Mais detalhes sobre essa técnica em Detecção e rastreamento de faces em vídeos – Como detectar faces em vídeos?.

Transformação Afim:

Link da Wikipedia sobre transformação afim Link da Wikipedia sobre a matriz de transformação Como realizar transformação afim utilizando o OpenCV Link interessante para um projeto da Universidade do Porto que trata de mosaico de imagens. Com a leitura, além de aprender sobre transformação afim e correlação, você entenderá outra possibilidade de uso desse tipo de transformação e também outras teorias envolvidas para a realização desse projeto.

Correlação:

Fast Normalized Cross-Correlation Como realizar Template Matching utilizando o OpenCV Código exemplo sobre Template Matching utilizando OpenCV

Kmeans:

Link da Wikipedia sobre Kmeans Link explicando sobre Kmeans Link para uma explicação curta e um exemplo Slides explicativos sobre o Kmeans

.

Aplicação no projeto

A ideia central dessa etapa era preparar os dados para a criação da estrutura de indexação a ser utilizada pelo hipervídeo. Para isso, inicialmente, seriam identificadas as expressões faciais para a face de cada pessoa presente em uma tomada. O objetivo era guardar a face mais frontal possível e também os pontos necessários para a transformação afim que ocorre como passo seguinte. Com essa transformação afim e a aplicação da máscara, preparávamos as faces pela criação de um padrão para que elas pudessem ser comparadas através de um método simples como o de correlação. Com o valor da correlação entre as faces calculado, utilizava-se o Kmeans para criar grupos de faces semelhantes, o que corresponderiam a faces de uma mesma pessoa. Os parágrafos abaixo explicarão com mais detalhes essas etapas. Primeiramente, foi adicionado ao sistema uma funcionalidade que permitia extrair de todo quadro do vídeo apenas a imagem de cada face existente. Com a imagem da face; olhos, nariz e boca eram identificados usando o algoritmo de Viola e Jones com um filtro de Haar em cascata adequado para cada caso. Para diminuir a quantidade de falsos positivos para essas características faciais, foram criadas regiões de interesse para cada uma delas e o método citado era aplicado apenas nessas regiões. A partir do retângulo correspondente aos olhos e ao nariz, eram extraídas as coordenadas do centro dessas características. Na figura 1 pode-se observar as características faciais detectadas.

Figura 1 - Pode-se observar o centro encontrado para o nariz, olhos e boca.

Além de útil para a próxima etapa, uma face que contém dois olhos e um nariz, é uma face ”mais frontal” do que uma que não as contém, o que é muito mais interessante para o projeto. Assim, para cada quadro do vídeo, se a imagem da face não possuísse dois olhos e um nariz, tentava-se fazer uma troca pela imagem da face do próximo quadro, contanto que nessa fossem identificadas mais características faciais. Com esse procedimento, o sistema tenta obter a melhor face possível para cada pessoa em uma tomada. O próximo passo foi, utilizando os centros encontrados anteriormente, realizar uma transformação afim da face encontrada para uma face padrão em tons de cinza. Essa tinha um tamanho pré definido (64 pixels de altura e 48 de largura) e também uma posição padrão para os olhos e o nariz (olho esquerdo: (34,26); olho direito: (15,26); nariz: (24,39) ) que foi definida a partir de medições em diversas faces e baseado em proporções faciais encontradas em [1]. Com esse procedimento, tentamos eliminar problemas de translação e rotação de uma face para outra antes da etapa de correlação. Na tentativa de eliminar problemas de iluminação, foi feita uma equalização do histograma. Depois da transformação afim, também era aplicada uma máscara à imagem. Essa máscara permite comparar somente a região dos olhos e do nariz, excluindo regiões inadequadas como a boca e os cantos da imagem já que essas regiões sofrem frequentes modificações inclusive para uma mesma pessoa, o que atrapalharia o processo de cálculo da correlação com o objetivo de encontrar faces de uma mesma pessoa. Na figura 2 observa-se o processo descrito acima para trâs casos.

Figura 2: A figura apresenta, na coluna da esquerda, a face após a transformação afim e equalização do histograma. Ao centro a máscara aplicada à imagem e na coluna da direita o resultado para a aplicação da máscara.

Até esse ponto, os problemas principais estavam relacionados a encontrar os olhos e o nariz nas faces. Nem sempre conseguíamos faces frontais em uma tomada, pois, ou ela realmente não era frontal, ou o detetor falhava, tanto não encontrando a característica desejada quanto devolvendo um falso positivo. O ajuste para esse tipo de detecção se mostrou um trabalho minucioso e longo. Em seguida, deu-se início à próxima etapa. Ela consistiu em calcular a correlação entre todas as imagens e com esses dados, montar uma matriz. Essa matriz era passada para o Kmeans, que separava as faces em grupos, sendo que cada um desses grupos possui faces de uma mesma pessoa que apareceu em diversas tomadas do vídeo. Durante essa parte do projeto, também foi projetado o segundo passo para a retirada de falsos positivos. O processo de correlação já implementado também foi utilizado para calcular a correlação entre a face candidata encontrada no vídeo e uma face padrão ideal composta por uma média de faces humanas. Se o valor resultante for acima de um limiar de alto valor, o candidato é aceito como face, caso contrário, é descartado por se tratar de um falso positivo.

.

É isso aí pessoal, encerra-se aqui essa série de quatro artigos sobre detecção e rastreamento facial dentro do contexto da criação de um hipervídeo. Espero que tenham aproveitado.

.

Referências

[1] R. M. Bertollo, D. L. da Silva, L. Oliveira, R. D. Bergoli, and M. G. de Oliveira. Avaliacao da harmonia facial em relacao as proporcoes divinas de fibonacci. Revista Portuguesa de Estomatologia, Medicina Dentaria e Cirurgia Maxilofacial, 49(N4), 2008. . .

.

.

Artigos da série:

Anterior: Como rastrear faces em vídeos?

.

Dando continuidade à nossa série de artigos, nesse explicarei sobre a teoria envolvida no rastreamento das faces em um vídeo e também sobre a aplicação dessa teoria no projeto.

.

Teoria envolvida

Durante essa etapa do projeto, foi desenvolvida a parte do sistema responsável por rastrear as faces previamente identificadas pelo detector. Para isso, foi utilizado o algoritmo CamShift [1].

O algoritmo do Camshift (Continuously Adaptive Mean Shift) [1] é uma modificação do algoritmo Mean Shift e foi inicialmente criado como uma das partes de um grande projeto que tinha a intenção de melhorar a maneira com que os seres humanos interagem com interfaces gráficas. Por exemplo, em jogos ou na visualizações de objetos 3D, em que o movimento da cabeça do usuário se transforma na movimentação do personagem em um jogo ou a visualização do objeto 3D dessa nova posição.

Bradski argumenta que para um sistema desse tipo ser útil, ele deve ser extremamente eficiente em termos computacionais. Isso se deve já que o rastreador não será o único processo consumindo processamento da CPU, ao contrário, ele será um acessório e deverá permitir que o programa principal, no qual ele enriquece seu funcionamento, possa ocupar uma fatia adequada da CPU. Assim, esse algoritmo foi desenvolvido respeitando esse requisito e também sendo possível utilizá-lo com câmeras de baixo custo e sem a necessidade de calibração.

O algoritmo do Mean Shift foi criado para encontrar picos em uma distribuição de probabilidade. Como a distribuição de probabilidade de um objeto em uma cena de vídeo pode mudar e se mover dinamicamente com o decorrer do tempo, Bradski em [1] modificou tal algoritmo para que este fosse robusto a tais alterações, portanto o Camshift é capaz de seguir uma distribuição de probabilidade que se altere dinamicamente. Além disso, o método é baseado em um histograma para produzir a distribuição de probabilidade de um objeto.

Esse método possui quatro passos básicos para sua execução. O primeiro deles é a criação de um instrumento que permita a representação do objeto a ser seguido, que no caso desse projeto é uma face. Para isso, cria-se um histograma das cores que represente essa face.

O segundo passo é composto pelo cálculo da probabilidade de cada pixel de um quadro do vídeo ser uma face. Após a criação do histograma que é feita no início do processo, o cálculo da probabilidade para os quadros seguintes será baseado nessa distribuição de cores. Pode-se entender esse processo através da observação da figura didática 1 retirada de [2]. Nela é possível observar a criação de uma barra para representar todas as cores presentes no histograma da face. Essa barra é construída empilhando-se todas as barras que representam a quantidade em que uma determinada cor está presente no histograma. Então, utilizando como exemplo a cor representada pela barra mais a direita do histograma, pode-se entender que esta cor corresponde a aproximadamente quarenta e cinco porcento de todas as cores presentes em uma face, ou seja, a probabilidade de um pixel selecionado radomicamente dessa região cair na porção correspondente a essa cor é de quarenta e cinco porcento. Assim, para um pixel qualquer presente no quadro e que possua essa mesma cor, a probabilidade dele corresponder a um pixel da face rastreada é de quarenta e cinco porcento.

Figura 1 - Figura didática com um histograma a esquerda e uma barra a direita que representa todas as cores presentes no histograma do objeto a ser rastreado

O terceiro, é responsável por atualizar a localização da marcação da região do quadro do vídeo em que a face está presente. Para isso, a cada novo quadro, e com a probabilidade de cada pixel ser de uma face calculada, o algoritmo é capaz de perceber tais regiões com grande concentração de altas probabilidades e mover a posição da marcação para o centro dessa nova região.

Na última etapa ocorre o cálculo do tamanho e o ângulo da face para cada mudança na marcação da região correspondente à face. Isso é realizado analisando a escala e a orientação que melhor se adequa aos pixels da região de alta probabilidade da nova região marcada como face. Essa etapa é exclusiva do Camshift se comparado com o Mean Shift, sendo uma das diferenças que são notáveis quando se observa o resultado do rastreamento.

.

Aplicação no projeto

Com a implementação do Camshift no projeto, essa parte do sistema é capaz de rastrear múltiplas faces em um vídeo. Portanto, após uma face ter sido detectada pelo algoritmo de Vila e Jones, o que atualiza sua posição de acordo com sua movimentação é o CamShift. Após a implementação, o método mostrou bons resultados tanto para uma face quanto pra múltiplas faces. Porém, alguns ajustes foram necessários para o melhor funcionamento do sistema.

Foram criadas algumas regras para determinar se o retângulo que demarcava uma face na imagem realmente correspondia a uma face. Para contornar os casos em que uma face saía da imagem, como uma pessoa virando de costas ou saindo da visão da câmera, foi criada uma regra que excluía, para o rastreamento nos quadros seguintes, retângulos menores que vinte pixels em largura e em altura. Também foram criadas regras para excluir retângulos com proporções esticadas de mais na vertical e na horizontal, além da exclusão de um de dois retângulos, caso eles estivessem na mesma posição. Abaixo, na figura 2, pode-se observar o exemplo do caso de uma pessoa virando de costas.

Figura 2 - Exemplo da atuação do rastreamento realizado pelo Camshift. Mesmo com o personagem virando de costas o método mostra-se capaz de seguir a região facial do ator. Quando o personagem estiver totalmente de costas, uma das regras descritas acima atuará e retirará a marcação do vídeo.

Essas regras também contribuem pra o primeiro tratamento que o sistema faz para as faces falso positivas. Já que, quase a totalidade de faces falso positivas possuem, após a análise do CamShift, um retângulo de marcação

muito pequeno ou então esticado de forma a não caracterizar uma face. Assim, essas faces são filtradas pelas regras criadas. Depois dessa etapa do sistema ter sido implementada, é possível perceber que o sistema tornou-se mais robusto como um todo devido a melhor qualidade da detecção das faces, tanto em seu posicionamento pela imagem ao longo dos quadros do vídeo quanto pela quantidade de falsos positivos. Pode-se observar, nas figuras 3 e 4, alguns casos que demonstram a melhoria do sistema.

Figura 3: Inicialmente o personagem olhava para frente, o que gerou uma detecção pelo método de Vila e Jones utilizando um filtro em cascata para faces frontais. Em seguida, ele vira sua face de lado e, com a atuação do rastreamento, a face não é perdida.

Figura 4: Neste caso, pode-se observar uma face rotacionada que ainda está sendo identificada pelo sistema, pois, em algum momento anterior, o ator teve sua face posicionada verticalmente.

Vale ainda acrescentar, que foram notados dois problemas com o rastreamento usando o CamShift. Como seu funcionamento é baseado em cores, o retângulo de marcação da face, em determinados casos específicos, acaba se tornando maior do que o esperado, pois também englobava regiões como a do pescoço ou até mesmo o início do tórax se a roupa da pessoa exibisse essa região. O outro ponto ocorre para situações em que duas faces diferentes estão lado a lado. Nesse caso, as regiões de cada uma das faces se perdiam e invadiam a área da face adjacente.

.

Referências

[1] G. R. Bradski. Real time face and object tracking as a component of a perceptual user interface. In Proceedings of the Fourth IEEE Workshop on Applications of Computer Vision (WACV98), 1998.

[2] Robin Hewitt. Seeing with opencv – part3 – Follow that face, SERVO, 2007.

(http://www.cognotics.com/opencv/servo_2007_series/index.html)

.

.

Artigos da série:

Próximo: Como classificar faces?

Anterior: Como detectar faces em vídeos?

.

Dando continuidade à nossa série de artigos, nesse explicarei sobre a teoria responsável pela detecção facial e também a aplicação dela no projeto de iniciação científica.

..

Teoria envolvida

Durante essa fase do projeto foi desenvolvida a parte do sistema responsável pela detecção de faces em um vídeo, sendo utilizado o algoritmo de Viola e Jones [1], baseado em filtros de Haar em cascata.

Segundo Viola e Jones, seu método possui três contribuições principais que o distingue de outros algoritmos e o torna computacionalmente mais eficiente, elas são: a imagem integral, o algoritmo de aprendizado baseado em AdaBoost e um método para combinar classificadores de complexidade crescente baseados em Haar-like features para criar um filtro em cascata eficiente.

Figura 1 - O valor da imagem integral na posição 1 é a soma dos pixels do retângulo A. O valor referente à posição 2 é igual a soma de A+B, para a posição 3 é A+C e para a posição 4 é A+B+C+D. Logo, a soma dos valores dos pixels do retângulo D pode ser calculada por 4+1-(2+3)

A técnica da imagem integral foi utilizada para que fosse possível computar de forma eficiente a presença ou não de uma Haar-like feature em cada uma das diversas posições e escalas que uma janela de observação pode ser colocada na imagem em que se quer detectar um objeto. Para isso, como o termo integral pode sugerir, é feita a soma dos valores de todos os pixels presentes acima e a esquerda de um pixel em específico podendo esse ser representado por um ponto (x,y) da imagem. Após a integração, obtém-se para cada pixel da imagem o valor da soma dos pixels do retângulo formado pelo canto da origem da imagem (canto superior esquerdo) e pela localização do pixel em questão, assim, para descobrir o valor médio dessa região, basta dividir o valor obtido pela área do retângulo. É importante notar que para calcular o valor médio de uma área que não tem um de seus cantos na origem da imagem, o processo necessário torna-se computacionalmente simples, necessitando de quatro etapas como pode ser visto na figura 1 retirada de [1].

Essa técnica torna eficiente o cálculo para avaliar a presença ou não de uma haar-like feature em determinada posição na imagem, pois utiliza exatamente os resultados obtidos com a imagem integral. Isso ocorre porque a presença é determinada pela subtração da média dos valores dos pixels da região considerada escura com a região clara. Se a diferença estiver acima de um limiar, ou seja, realmente existe uma região mais clara e outra mais escura, então pode ser verificada a existência da feature. Ao lado, pode-se observar o que seriam as haar-like feature na figura 2 retirada de [2] e a sobreposição delas em uma imagem para avaliar sua presença na figura 3 retirada de [1].

Figura 2 - Exemplos de haar-like fetures.

Figura 3 - Exemplo de sobreposição de fetures em uma face.

O algoritmo de aprendizado baseado em AdaBoost é utilizado para definir quais das diversas features existentes serão utilizadas e também os valores dos limiares a que estarão sujeitas. O que Viola e Jones observaram foi que um número pequeno de features combinadas podem formar bons classificadores, sendo o principal problema escolher quais features são as mais adequadas. Para isso, a etapa de aprendizado realizada por uma variante do AdaBoost é responsável pela escolha de uma feature para treinar cada classificador para que ele consiga separar, da melhor maneira possível, amostras positivas e negativas. Assim, para cada feature, o algoritmo determina um limiar que minimize o número de amostras classificadas erroneamente. Na prática, segundo [1], nenhuma feature consegue uma baixa taxa de erro nesse processo de classificação. Para cada ciclo do processo de boosting, que deve escolher uma feature dentre 180000 possíveis, as selecionadas nos primeiros ciclos possuem taxa de erro de 0,1 a 0,3, já as selecionadas durante os ciclos finais chegam a taxas de erro de 0,4 e 0,5.

Figura 4 - Estrutura que representa o detector em cascata.

O produto do processo anterior, os classificadores fracos, cada um contendo uma feature e um limiar, são então combinados com o auxílio de pesos para formar um classificador forte com o intuito de criar uma estrutura que possa minimizar a ocorrência de falsos negativos. Esses são organizados no formato de uma árvore de decisão degenerada que consiste no detector em cascata.

O funcionamento básico de uma estrutura como essa ocorre pela passagem de todas as sub janelas de uma imagem por diversos classificadores, sendo os primeiros mais simples que os seguintes. Se é obtido um resultado positivo pela análise do primeiro classificador, a janela segue para o seguinte, que se também for aprovada, continua pelos próximos classificadores até ser rejeitada ou então chegar ao final da cascata. Em qualquer uma das etapas, uma janela pode ser rejeitada, isso quer dizer que o detector entende que ali uma face não está presente. A cascata descrita pode ser observada na figura 4 ao lado também retirada de [1].

A estrutura dessa cascata reflete uma característica particular de um processo de detecção que consiste na existência de uma quantidade muito maior de sub janelas negativas em uma imagem do que sub janelas positivas, ou seja, que contenham faces. Assim, tem-se como objetivo rejeitar o maior número de janelas negativas logo nas primeiras etapas fazendo com que apenas janelas positivas continuem pelo processo de detecção. Isso é interessante, pois quanto mais se caminha pela estrutura em cascata, passa-se por classificadores mais complexos, e que portanto, exigem um custo maior de processamento. Logo, quanto antes uma janela negativa é rejeitada mais eficiente se torna o processo, pois requisita que apenas janelas positivas, que é um evento raro, passem por toda a árvore.

Em cada etapa os classificadores se tornam mais custosos, pois a medida que se percorre a árvore eles são treinados usando os exemplos que passaram por todas as etapas anteriores. Consequentemente, os classificadores que surgem posteriormente se deparam com uma tarefa de classificação mais difícil.

Como é salientado por Vila e Jones, o treino de uma cascata envolve um dilema entre a eficiência computacional e desempenho do detector. Isso ocorre porque, em geral, classificadores com mais features alcançam taxas maiores para detecção e menores para falsos positivos. Entretanto, classificadores como esses requisitam maior tempo de processamento. Chega-se a conclusão que para otimizar um processo como esse, deve-se atentar para o número de etapas de classificadores, o número de features e o limiar em cada uma dessas etapas. Como essa otimização é um processo extremamente complicado, na prática, o que se faz é criar uma cascata que a cada etapa reduza a taxa de falsos positivos e a taxa de detecção. Para cada etapa, define-se uma meta para o valor mínimo de redução de falsos positivos e para o valor máximo de redução para a detecção. Então, acrescentam-se features até que se atinja as metas estabelecidas para cada etapa e etapas são adicionadas até que se alcance uma taxa de falso positivos e de detecção desejadas para a cascata.

.

Aplicação no projeto

A biblioteca utilizada nesse projeto, OpenCV, já possui uma implementação do método explicado, bem como um filtro em cascata treinado para detectar faces. Para a manipulação e ajuste desse método, a função responsável do OpenCV possui alguns parâmetros que devem ser passados, entre eles encontram-se: fator de escala para a janela, o número mínimos de vizinhos, o menor tamanho possível para cada face e a opção de procurar faces em áreas que provavelmente elas não existem.

Figura 5 - Detecção de faces com o parâmetro de vizinhos em zero.

O fator de escala da janela é responsável pelo crescimento que a janela recebe em cada ciclo de passagem pela imagem, assim, para um valor de 1,1, a janela cresce dez porcento em cada ciclo. Para um valor de 1,2 cresceria vinte porcento o que resultaria em menos janelas a serem verificadas e que resulta em um menor tempo de processamento porém uma maior chance de se perderem faces.

O número mínimo de vizinhos serve para resolvermos o problema apontado pela figura 5 retirada de [3]. Neste caso, o valor adotado foi zero, o que mostrou todas as regiões da imagem que o detector julgou serem faces. Normalmente, o local onde realmente existe uma face recebe diversas marcações que se sobrepõem. Então, para obtermos um resultado mais adequado, utiliza-se esse parâmetro para definir o número mínimo de regiões sobrepostas necessárias para que uma face seja retornada.

O parâmetro do menor tamanho possível para cada face é utilizado para definirmos um tamanho mínimo para a face ser encontrada diferente do padrão pelo qual o filtro em cascata foi treinado, que em geral é de 20×20 ou 24×24 pixels. Assim, podemos determinar que apenas faces de tamanhos maiores sejam encontradas com a intenção de que não se perca tempo de processamento tentando detectar faces que não interessam para a aplicação que o sistema esteja sendo desenvolvido.

O último parâmetro permite evitar a procura de faces em áreas que provavelmente elas não existem. Isso também é útil para evitar que se perca tempo de processamento em áreas que, após a passagem de um detetor de bordas na imagem, acredita-se que não existam faces.

Após implementar o método, diversos ajustes foram necessários para maximizar seu desempenho.  Os parâmetros da função do OpenCV do algoritmo de Viola e Jones foram variados e também combinou-se essa função com outras etapas de processamento da imagem antes de sua detecção, como o aumento e a diminuição da imagem, equalização de histograma e smoothing. Na tentativa de aumentar o número de faces detectadas, o parâmetro de número mínimos de vizinhos foi diminuído, o que também resultou no aumento do número de falsos positivos, o que era esperado. Entretanto, isso não causou problemas para o projeto, pois, posteriormente, os falsos positivos foram tratados e puderam ser retirados do conjunto de faces encontradas. Verificou-se que a melhor combinação ocorreu para uma imagem de setenta e sete por cento da original, com um fator de escala para a janela de dez porcento, número mínimo de vizinhos igual a quatro, sem busca em regiões que provavelmente não existem faces e gaussian blur 3×3.

Ao final, o detector mostrou bons resultados. Como era esperado, faces frontais foram bem identificadas contanto que não estivessem rotacionadas, já que essa característica é uma limitação do método utilizado. Apenas faces levemente rotacionadas ainda eram identificadas. Sobre invariância a escala, o método se mostrou adequado. O único fato que pode ser percebido foi sua restrição ao tamanho mínimo da face presente no vídeo, que decorre da limitação existente no detector em cascata utilizada pelo método. Isso limita a identificação de faces muito pequenas presentes em vídeos, mas não comprometeu o projeto, já que faces desse tamanho não são tão frequentes e quando presentes, normalmente não fazem parte da ação principal da tomada. Ainda pode ser citado, que, apesar do filtro em cascata ter sido criado para detectar faces frontais, percebeu-se que, em alguns casos, faces quase laterais foram identificadas, beneficiando-nos com um maior número de faces encontradas no vídeo.

Seguem exemplos de detecção facial realizadas nessa etapa do projeto nas figuras 6, 7 e 8 abaixo:

Figura 6 - Exemplo de detecção de face.

Figura 7 - Exemplo de detecção de múltiplas faces.

Figura 8 - Exemplo de detecção em face não frontal

.

Referências

[1] P. Viola and M. Jones. Rapid object detection using a boosted cascade of simple features. In CVPR 2001 – IEEE Conference on Computer Vision and Pattern Recognition, 2001.

[2] A. Kuranov, R. Lienhart, and V. Pisarevsky. An empirical analysis of boosting algorithms for rapid objects with an extended set of haar-like features. Intel Technical Report MRL-TR-July02-01, 2002.

[3] Robin Hewitt. Seeing with opencv – part2 – Finding faces in images, SERVO, 2007.

(http://www.cognotics.com/opencv/servo_2007_series/index.html)

.

.

Artigos da série:

Próximo: Como rastrear faces em vídeos?

Anterior: Detecção e rastreamento de faces em vídeos

.

Figura 1 - Exemplo de detecção facial - Lena

.

Como tudo começou?

Na verdade, a história não é assim tão simples e está dentro de um contexto maior e encadeada com acontecimentos anteriores. Mas como eu não estou aqui para contar a história de minha vida, vou contar o que interessa dentro desse contexto.

Meu interesse por visão computacional começou de forma inesperada e inclusive sem saber que o que eu estava me interessando chamava-se visão computacional. Eu, o Barbolo e o Ivan estávamos tendo algumas ideias relacionadas a encontrar coisas em imagens, juntar várias câmeras e criar “uma câmera” que enxergasse para todos os lados e coisas parecidas. Discutíamos bastante sobre o assunto e também como transformar essas ideias em aplicações reais para que pudéssemos encontrar nosso próximo projeto empreendedor. Mas normalmente eu era o mais empolgado com os possíveis projetos que poderiam surgir dentro dessa nova área que estávamos descobrindo.

Pois é, mas eu e meus amigos não somos os únicos seres pensantes desse planeta, claro que já existiam diversas coisas a respeito, inclusive uma tal área da computação que estudava toda essa parte de processamento e análise de imagens, a visão computacional. Podemos definir rapidamente visão computacional como uma ciência que se encarrega de ensinar o computador a enxergar como um humano.

Além disso, a tal bola que enxergava pra todos os lados já existia (figura 2), e pouco tempo depois descobrimos uma empresa, aqui mesmo no Brasil, que estava mexendo exatamente com aquilo que começamos a pensar.

Figura 2 - Câmera que enxerga para todos os lados - Já existe!

Nessa época, estava por vir mais um módulo de estágio do cooperativo. Meu interesse por visão aumentava, mas como não temos nenhuma matéria relacionada a isso na graduação, ficava um pouco complicado deslanchar em cima do assunto sem ter conhecimento nenhum sobre ele, era preciso estudar. Foi aí que decidi fazer do estágio uma iniciação científica, que inclusive, fazer uma IC, era algo desejado por mim já do primeiro ano da POLI. E posso dizer que não me arrependo nem um pouco. Hoje, um ano e meio depois, creio realmente ter encontrado o campo que gosto dentro da computação, inicio meu mestrado nessa área esse ano e também começo minha empresa que atuará nesse segmento, que no nosso país, ainda não é muito desenvolvido.

Tendo decidido o que eu ia fazer do estágio, fui correr atrás de quem mexia com visão na USP. Comecei pela POLI. Perguntei para vários professores e colegas até que cheguei em alguns professores que me atenderam. Entre eles posso citar o Hae Yong Kim e a Anna Helena Reali Costa. Ainda em busca de mais oportunidades para ter uma melhor opção de escolha, além de querer conhecer quem mais mexia com isso, conversei com professores do IME-USP. Dentre eles, Roberto Marcondes Cesar Junior, Roberto Hirata Junior e mais intensamente com o Marcel Jackowski e com o Carlos Hitoshi Morimoto.

Eu estava procurando algo relacionado a faces. Não lembro mais exatamente o motivo, mas tinha “cismado” que queria aprender mais sobre reconhecimento facial, ou algo relacionado a faces. Já que eu não conhecia os professores, minha escolha foi baseda no projeto que eu mais me identifiquei e que estava relacionado ao meu interesse. O projeto foi o do professor Hitoshi e portanto fiz a iniciação com ele no IME.

Espero com essa primeira parte ter ajudado alguns indecisos com relação a iniciação científica, estágio e o uso dele para realizar uma IC (sim, é possível e não arranca pedaço ), facilitado a busca por professores que mexem com visão, além de ter despertado interesse em alguém para conhecer mais sobre de visão computacional, correr atrás de suas vontades, preferências e do que gosta de fazer. Espero ter motivado alguns a sair da mesmice e não achar que é refém do que já existe, parece ser o padrão ou o que deve acontecer.

.

O projeto - Criação automática de índices de faces para aplicação em hipervídeo

Na iniciação científica, sob a orientação do professor Hitoshi, investigamos formas automáticas para a criação de índices para hipervídeos baseados em faces. Similar ao conceito de hipertexto, um hipervídeo é um vídeo não linear que permite ao usuário acessar outros hipervídeos por meio de links distribuídos ao longo do hipervídeo. O primeiro artigo do Bit a Bit foi justamente sobre hipervídeo. Então, se você não lembra ou não sabe o que é, leia o artigo O que é Hipervídeo?.

Durante o projeto foram estudados algoritmos de visão computacional que foram utilizados no desenvolvimento de um sistema, utilizando a biblioteca OpenCV juntamente com Python, com a capacidade de detecção e rastreamento de faces para que então possibilitasse a criação automática de índices para hipervídeos.

Cada face detectada seria adicionada a uma estrutura contendo informações sobre as tomadas em que ela apareceu no vídeo. Uma tomada pode ser definida como o conjunto mínimo e sequencial de quadros que transmite significado. Este é um conceito importante para hipervídeo, pois pode-se desejar que um link esteja presente durante uma tomada, mas não na próxima. Consequentemente, um hipervídeo requer algoritmos capazes de detectar as transições de tomadas que foi foco de outras atividades de pesquisa do IME.

Entre outras várias aplicações possíveis, esse projeto visou utilizar essa estrutura como um índice visual que permita ao usuário clicar em uma face para visualizar informações do personagem e acessar outras tomadas onde o personagem aparece no vídeo, o que poderia ser aplicado na TV Digital, DVDs ou mesmo na internet. Além disso, existia a relação do nosso trabalho com um projeto dentro do TIDIA-Ae que consistia na criação de ferramentas de hipervídeo para uso em plataformas de educação a distância.

Ao longo dessa série de artigos, me concentrarei na detecção, no rastreamento e no início da classificação das faces, pois essas foram as partes centrais dos meus trabalhos no projeto. Para a detecção foi utilizado o algoritmo de Viola e Jones, baseado em filtros de Haar em cascata, para o rastreamento foi utilizado Camshift e para a classificação das faces utilizou-se conceitos como correlação, transformação afim e Kmeans.

.

Alguns resultados

Neste tópico, apresentarei algumas imagens demonstrando resultados das etapas do projeto. Mais detalhes sobre os resultados de cada etapa serão encontrados nos próximos artigos dessa série.

Na etapa de detecção, era possível detectar primordialmente faces frontais sem que elas estivessem rotacionadas ou fossem muito pequenas. Seguem exemplos:

Figura 3 - Exemplo de detecção de face

Figura 4 - Exemplo de detecção de múltiplas faces.

Com a adição do rastreamento, assim que uma face era detectada, o rastreador entrava em ação e seguia a movimentação da face pelo vídeo sem a necessidade da detecção. Isso garantia maior robustez já que era possível manter a trajetória das faces laterais ou rotacioandas além de ser computacionalmente menos custoso. Seguem exemplos:

Figura 5 - Face de lado não é perdida quando utiliza-se o rastreamento.

Figura 6 - Face rotacionada continua a ser identificada pelo sistema.

Figura 7 - Mesmo com a pessoa praticamente de costas, ainda é possível encontrar sua face.

Para a classificação das faces, foi necessário extrair as características faciais como os olhos, o nariz e a boca.

Figura 8 - Pode-se observar o centro encontrado para o nariz, olhos e boca.

Também foi realizada uma transformação afim para cada face e a aplicação de uma máscara para então calcularmos a correlação entre as faces.

Figura 9 - A figura apresenta, na coluna da esquerda, a face após a transformação afim e equalização do histograma. Ao centro a máscara aplicada à imagem e na coluna da direita o resultado da aplicação da máscara.

.

.

Artigos da série:

Próximo: Como detectar faces em vídeos?

.

Logo do OpenCV

Neste post irei dividir com você as experiências que já tive com a instalação da bibliteca OpenCV no Ubuntu. Vou relatar o processo de instalação do OpenCV 1.1 nas versões 8.10, 9.04 e 9.10 do Ubuntu.

Apesar do OpenCV ser tipicamente utilizado com C ou C++, também é possível utilizá-lo com Python (ou Octave) graças aos wrappers criados por terceiros ou ao que já acompanha a versão 1.1 da biblioteca.  Neste texto, focarei a instalação para o uso de Python com o wrapper Ctypes OpenCV. Por que o Ctypes OpenCV? Pois o que acompanha a biblioteca me “deixou na mão” durante o desenvolvimento do último projeto.

.

Passo zero:

(vale para todos as três versões do Ubuntu)

• O OpenCV, funciona com Python, apenas para as versões 2.5.x ou 2.6.x da linguagem. A versão 3.x ainda não tem suporte oficial. Logo, verifique se você possui ele instalado em seu computador, caso contrário, instale o Python 2.6.4.
• Mais umas coisinhas a serem instaladas. Digite no terminal (Aplicativos -> Acessórios -> Terminal) o comando abaixo. Sim, são várias coisas. Algumas são realmente requisitos para a instalação, outras servem apenas para diminuirmos chances de problemas depois. Instale, não dói nada

 sudo apt-get install build-essential libgtk2.0-dev libavcodec-dev
libavformat-dev libavfilter-dev libswscale-dev libtiff-dev libjasper libgstreamer0.10-dev
libxine-dev libunicap-dev libdc1394-22-dev swig ffmpeg mplayer vlc 

• Baixe o OpenCV 1.1, o Ctypes-OpenCV e os exemplos de códigos do Ctypes OpenCV, você vai querer testar e consultar depois.

.

Ubuntu 8.10:

Nesta versão do Ubuntu, a instalação é bem simples e funciona bem. Basta seguir os passos abaixo:

• Após o passo zero, no início desse post, descomprima o OpenCV e, pelo terminal,  entre na pasta criada. Se ela estiver em seu desktop, será algo próximo a:

 cd Desktop/opencv-1.1.0 

• Agora, digite:

 ./configure --disable-sse2 --with-python --with-swig --with-ffmpeg 

Obs.: Para processadores antigos, como o AMD de uns quase dez anos atrás que usei no laboratório, era necessários desativar instruções do tipo SSE2, caso contrário, ao rodar algum programa que usasse o OpenCV você obteria a mensagem: Illegal instruction. Eu não expliquei isso antes de você escrever o comando pois obtive problemas com os wrappers de python caso não desativasse esse tipo de instrução no Ubuntu 9.04 e 9.10, imagino que na versão 8.10 isso também ocorra apesar de não ter testado. Então, se você irá usar o OpenCV com C ou C++, não existe necessidade do –disable-sse2, caso contrário, é melhor desativar esse tipo de instrução.

• Agora preste atenção ao pequeno relatório que apareceu em seu terminal. Verifique, principalmente, se o python e o ffmpeg estão com “yes“. Seu relatório deve se parecer bastante como o da figura abaixo:

Figura 1 - Relatório do configure com as opções corretamente marcadas.

Caso o Python ou o ffmpeg não tenham aparecido com o “yes“, tente as soluções mostradas nas outras versões do Ubuntu que estão abaixo.

• Agora, digite:

 make 

• Depois que terminar, digite:

 sudo make install 

Será que funcionou? Vamos testar.

O OpenCV acompanha alguns programas exemplo, tanto em C quanto em Python, para você testar a instalação e aprender a usar a biblioteca.  Siga os passos abaixo.

• Se sua pasta do OpenCV estiver no desktop, digite:

 cd Desktop/opencv-1.1.0/samples/c 

• Agora compile os exemplos com:

 . build_all.sh 

• Agora rode um dos programas:

 ./delaunay 

Se surgiu uma nova janela e “coisas coloridas” estão aparecendo nela, a biblioteca foi instalada com sucesso.

Instalando o Ctypes OpenCV

Será bem simples. Descomprima o arquivo que você ja baixou no passo zero para o desktop e, pelo terminal, entre na pasta src. Após isso, digite:

 sudo python setup.py install 

Depois de instalado, veja os exemplos que você também baixou do Ctypes OpenCV no passo zero. Dê duplo clique em algum deles, por exemplo o delaunay.py. Ou então rode via terminal com o comando

 python delaunay.py 

.

Ubuntu 9.04:

Nessa versão do Ubuntu as coisas já não são mais tão simples. Apesar do processo de instalação ser o mesmo da versão 8.10, surgem alguns problemas no meio do caminho.

Primeiro problema: O Python não é reconhecido ao rodar o configure.

Se você rodar o configure, verá que no relatório que ele exibe aparece “no” para o Python. Se você verficar melhor a saída completa verá:

Figura 2 - Problema com o Python

Resolução: Provavelmente deve existir uma solução melhor, mas esta funcionou para mim. Baixei o source do Python 2.6.4, compilei e reinstalei via terminal, da seguinte forma:

./configure
make
sudo make install

Obs.: Se seu computador não possuir suporta a instruções SSE2, utilize para o primeiro comando: ./configure –diable-sse2

.

Segundo problema: O ffmpeg não é reconhecido ao rodar o configure. Resultado, não é possível manipular vídeos com a biblioteca.

Se você rodar o configure, verá que é exibido “no“ para o ffmpeg no relatório. Se você verficar melhor a saída completa verá:

Figura 3 - Problema com o ffmpeg

Resolução: Basta seguir os passos abaixo em seu terminal:

sudo mkdir /usr/include/ffmpeg
cd /usr/include/ffmpeg
sudo ln -s ../libavcodec/avcodec.h avcodec.h
sudo ln -s ../libavformat/avformat.h avformat.h
sudo ln -s ../libavformat/avio.h avio.h
sudo ln -s ../libavutil/avutil.h avutil.h
sudo ln -s ../libswscale/swscale.h swscale.h

Com os problemas resolvidos, e o passo zero realizado, siga o procedimento básico da instalação.

 ./configure --disable-sse2 --with-python --with-swig --with-ffmpeg --enable-swscale --enable-shared 

Antes dos próximos comandos, não esqueça de verificar no relatório do configure se o python e o ffmpeg estão com “yes“. Seu relatório deve se parecer bastante como o da Figura 1 desse post.

make
sudo make install

Ao terminar, teste e instale o Ctypes OpenCV para programar com Python. Para isso, siga as instruções dos tópicos “Será que funcionou? Vamos testar.” e “Instalando o Ctypes Opencv” que estão na instalação para o Ubuntu 8.10, acima neste mesmo post.

.

Ubuntu 9.10:

Nessa versão, existe mais um problema além dos já existentes para o Ubuntu 9.04.

Problema: Erro durante a compilação do código.

Resolução: Entre na pasta que você descomprimiu o OpenCV1.1, vá em cxcore, include e abra o arquivo cxmisc.h. Na linha 133, troque o

#elif

por:

#else

Para completar a instalação, basta seguir o texto acima sobre a instalação no Ubuntu 9.04.

.

.

Da mesma maneira que passamos de documentos de texto isolados para o hipertexto, podemos repetir o processo para os vídeos e o que teremos serão os hipervídeos. Agora, assim como os hiperlinks em um hipertexto proporcionam navegabilidade dentro do próprio texto e a outros documentos externos, o mesmo pode ocorrer para o hipervídeo. Mas existe uma diferença com relação aos links nesses dois contextos. Em um hipervídeo, o link depende também do tempo e do espaço, portanto ele não é mais estático.

Um link pode ser referente a um objeto, podendo esse ser uma roupa, um carro, uma pessoa ou qualquer outro objeto que se deseje adicionar mais detalhes. Pode-se perceber então que um link pode mudar de posição, além de aparecer e desaparecer durante a execução do vídeo.

Os links podem levar o usuário a outras partes do mesmo vídeo ou ainda a outros vídeos, sendo esses dentro do próprio computador do usuário ou pela internet. Além disso, também é possível que os links levem para imagens, textos, sons, gráficos ou qualquer outro material que ajude a explicar com mais detalhes o objeto clicado, o que confere um grande potencial para esse tipo de mídia.

Esta forma de hipervídeo, que explora mais conteúdos complementares ao que aparece na imagem e permite a investigação mais detalhada dos objetos em estudo em mídias complementares recebe o nome de detail-on-demand. Esse tipo de abordagem é adequada para vídeos que explicam “como fazer”, nos quais um tópico explicado num nível mais abstrato pode ser detalhado quando o usuário clica em um elemento para visualizar aspectos mais específicos. Podemos citar então, vídeos de treinamento, educacionais, publicitários e até novos tipos de jornais onde seria possível se aprofundar mais em determinada notícia, enquanto em outras, o usuário decide apenas assistir de forma mais superficial.

Existe também uma outra abordagem para o hipervídeo. Essa está mais preocupada com os caminhos que um usuário pode seguir dentro de uma narrativa do que como detalhamento dos conteúdos presentes nela. Dessa maneira, é criada uma forma de narrativa multiperspectiva, onde as escolhas do usuário determinam o desdobramento da narrativa, permitindo a ele a interação direta com a história e seu desenrolar.

Nessa lógica, o hipervídeo proporciona ao espectador, assim como ocorre em jogos de vídeo-game, a experiência de interferir e, portanto, conduzir o foco da narrativa a partir de suas escolhas e interesses. Podendo então, enfatizar determinados personagens ou temas. Essa interferência causa um efeito cascata sobre o desenvolvimento da narrativa. Mais do que navegar por diversas possibilidades de desenvolvimento da história, há a reestruturação da história, impulsionada pelas escolhas realizadas pelo espectador. Um exemplo conhecido foi o Hypercafe. Ele permitia ao usuário seguir diferentes conversas, oferecendo oportunidades dinâmicas de interação que apresentam narrativas alternativas.

A utilização do hipervídeo dá ao usuário a habilidade de criar uma experiência não linear com esse tipo de mídia, o que permite sair de um papel mais passivo e tornar-se ator, definindo percursos e conteúdos a serem explorados. Logo, com a liberdade para criar seu próprio caminho, não dependendo de como o vídeo foi originalmente criado nem ficando restrito ao conteúdo superficialmente presente, a experiência com essa mídia se torna mais agradável, já que as escolhas são feitas pela própria pessoa que a utiliza.

-

Nas referências abaixo você encontra textos de blogs, wiki, artigos um pouco mais formais e outros nem tanto. Vale ressaltar que, apesar desse assunto ser relativamente novo e ainda estar em franco desenvolvimento e criação, os três primeiros links retratam exemplos de hipervídeos.