Inferência de modelo 3D de humanos para aplicações em vestuário usando câmera monoscópica
Projeto de formatura dos alunos Darlan dos Santos Barros Junior, Tomaz Fogaça Vieira, do curso de Engenharia de Computação da Escola Politécnica da Universidade de São Paulo, sob a orientação dos professores Romero Tori e Fátima Nunes. Este projeto descreve um sistema de ferramentas para viabilizar provadores virtuais online.
Introdução
A compra de roupas pela internet ainda é uma barreira a ser vencida, pois a interação física com o cliente é essencial na decisão da compra. O cliente pode não dispor de meios adequados de averiguar o que está comprando, o que por vezes gera insatisfação e custos com devoluções.
Proposta
Este trabalho tem como meta mitigar os problemas citados, ao criar um sistema de provador virtual de roupas. Esse sistema permite que o cliente visualize a aparência da vestimenta sobre um modelo 3D virtual de seu próprio corpo.
Projeto
Divide-se o procedimento em 4 partes essenciais:
- Captura de imagens, em que são tiradas fotografias do usuário em vários ângulos diferentes e extraídas as suas silhuetas.
- Modelagem do usuário, onde a informação contida nas silhuetas é utilizada para criar um modelo 3D.
- Simulação da vestimenta, em que uma peça de roupa pré-modelada é vestida sobre o modelo.
- Apresentação dos resultados no navegador.
Implementação
- Captura de imagens
Para aumentar a abrangência do projeto, só é necessário um navegador, uma webcam, um vestuário e ambiente adequados. Dessa forma, a captura é feita diretamente no navegador e enviada a um servidor que realizará as próximas etapas.
- Processador de imagem
Este módulo é responsável pela conversão da imagem do usuário em um arquivo de texto com as suas dimensões (representadas por uma silhueta). Isso é feito utilizando a biblioteca OpenCV para filtrar e segmentar a imagem, através do uso de filtros de ruído, bordas e algumas técnicas de visão computacional.
- Algoritmo construtor
Nesta etapa foi utilizado o software Blender, que já possui uma biblioteca de processamento tridimensional. É possível modelar a pessoa a partir de suas silhuetas utilizando a técnica conhecida como Visual Hull. A comunicação com o Blender se dá através de sockets, pois não é possível integrá-lo ao servidor.
- Criação dos modelos de roupas
Diversos softwares direcionados ao mercado da moda realizam essa etapa, e optou-se por utilizá-los por simplicidade. O software escolhido foi o Marvelous Designer. Os modelos de roupas foram exportados previamente e então adicionados aos testes.
- Simulação da física de tecidos
Esta etapa simula o caimento da roupa sobre o modelo produzido anteriormente, partindo dos modelos de física já embutidos no Blender.
- Apresentação dos resultados
O servidor envia imagens do modelo vestido de volta para o navegador do usuário.
