Prof. Dr. José Mario De Martino
Orientações

 

 

 

 

Doutorado

 

 

elias.jpg

 

José Elias Yauri Vidalon
Reconhecimento de Sinais Manuais e Não-Manuais de Libras.
Financiamento:  Bolsa CNPq
Início: agosto/2013   Término:
Resumo:  O objetivo do projeto é desenvolver solução baseada em técnicas de visão computacional para o reconhecimento automático de sinais manuais e não manuais da Língua de Sinais Brasileira - Libras.

 

 

mologni.jpg

 

Rodrigo Mologni Gonçalves dos Santos
Suporte ao Planejamento de Cirurgia Ortognática explorando Técnicas de Visualização 3D e de Aprendizado de Máquina.
Financiamento:  Bolsa CNPq
Início: agosto/2011   Término:

Resumo:  A Cirurgia Ortognática é um grupo de procedimentos cirúrgicos de competência da Cirurgia e Traumatologia Bucomaxilofacial, especialidade da Odontologia. Trata as deformidades dentofaciais, que não são possíveis de serem corrigidas somente pela Ortodontia. A definição do plano de tratamento é a etapa mais importante destas cirurgias, sendo formada por: 1) análise facial, onde, por meio do exame físico, são avaliadas e mensuradas as estruturas faciais; 2) análise cefalométrica, na qual são feitas, em radiografias padronizadas da cabeça, mensurações dos tecidos duros e moles; 3) traçado de previsão, para a predição do resultado pós-cirúrgico; e 4) cirurgia de modelos, na qual o ato cirúrgico é simulado, em modelos de gesso das arcadas dentárias, para o estudo e confecção dos guias cirúrgicos. Tradicionalmente, estas tarefas são realizadas de modo artesanal. Com o constante avanço das técnicas computacionais, duas outras metodologias se apresentaram à disposição da Cirurgia Ortognática: uma bidimensional (2D) e outra tridimensional (3D). Na abordagem 2D, as duas primeiras tarefas foram transferidas para o ambiente computacional, permitindo que os resultados dos movimentos cirúrgicos fossem visualizados na tela do computador na forma de imagens 2Ds. O maior benefício, trazido pela abordagem 2D, foi permitir que se pudesse antever os resultados do procedimento cirúrgico, observando as transformações da imagem fotográfica do perfil do paciente conforme os deslocamentos ósseos fossem sendo realizados. A necessidade de manipulação dos modelos das arcadas foi uma das motivações para o surgimento da tecnologia 3D mais moderna e ainda em desenvolvimento. A abordagem 3D possibilita que todas as tarefas sejam realizadas em um modelo anatômico virtual 3D da cabeça do paciente, criado a partir de tomografia computadorizada. É apresentado neste documento uma proposta de pesquisa visando o estudo e a aplicação de técnicas de aprendizado de máquina para, a partir de medidas realizadas sobre o modelo virtual 3D da cabeça do paciente, sugerir planos de tratamento eficazes. Como resultado, espera-se automatizar a etapa de movimentação dos segmentos ósseos e assim reduzir significativamente o tempo gasto pelo especialista com esta atividade, reduzindo custos, além de aumentar a precisão dos procedimentos.

 

 

mocap.jpg

 

Paula Dornhofer Paro Costa
Animação Facial Expressiva para Agentes Virtuais Personificados.
Financiamento:  Bolsa CNPq
Início: janeiro/2010   Término:

Resumo:  Sistemas de animação facial sincronizada com a fala podem ser aplicados em interfaces humano-computador que reproduzem os mecanismos de comunicação face-a-face com os quais estamos naturalmente familiarizados, representando uma alternativa a interfaces baseadas em janelas, ícones, menus e dispositivos apontadores. Além disso, cabeças virtuais animadas podem assumir papéis como: personagens de filmes ou jogos, tutores, vendedores, assistentes pessoais, recepcionistas e apresentadores de notícias.

     Por outro lado, as expressões faciais, juntamente com a fala e os gestos realizados por outras partes do corpo, são os meios mais eficazes através dos quais um ser humano expressa suas intenções, sua postura diante de um assunto, seu estado emocional interno ou transmite outras mensagens nãoverbais como, por exemplo, estados físicos de cansaço, doença, fome, etc..

     Dessa maneira, agentes virtuais personificados que inspirem veracidade e confiança devem ser capazes de reproduzir de maneira convincente as expressões faciais associadas aos possíveis estados emocionais relevantes a uma determinada aplicação.

     Este trabalho tem como objetivo estender a metodologia de síntese de animação facial baseada em imagens proposta nas dissertação "Animação facial 2D sincronizada com a fala baseada em imagens de visemas dependentes do contexto fonético" (veja abaixo) de maneira a incluir a modelagem da fala acompanhada da expressão de emoções, para o Português do Brasil. Como no trabalho anterior, o presente projeto busca uma metodologia que seja aplicável a uma abordagem de síntese baseada em imagens, ou 2D. A adoção desta abordagem é motivada pelo aspecto inerentemente fotorrealista da animação 2D e pela busca de um sistema de menor complexidade computacional, que possa ser portado para dispositivos com capacidades limitadas de processamento e memória tais como smartphones e decodificadores de TV digital.

 

 

alicia

 

Wanessa Machado do Amaral
Sistema de transcrição da língua brasileira de sinais voltado à produção de conteúdo sinalizado por avatares 3D.
Financiamento:  Bolsa Capes
Início: agosto/2008   Término: setembro/2012

Resumo: Acessibilidade e uma preocupação crescente em computação. Uma vez que as informações em ambientes computacionais são apresentadas em sua maioria por meios visuais, pode-se ter a falsa impressão de que a acessibilidade para deficientes auditivos não e um problema. No entanto, para pessoas que adquirem a surdez antes da alfabetização, materiais escritos são, em geral, menos acessíveis do que se apresentados em línguas de sinais.

     Para o deficiente auditivo a língua de sinais e geralmente a primeira língua adquirida, e ler um texto em uma língua escrita e o equivalente a utilizar uma língua estrangeira. Apesar de um surdo poder ser fluente em português assim como o ouvinte pode ser fluente em língua de sinais, a língua oral e escrita comumente não e sua primeira língua. E possível aprimorar a interação homem-máquina de portadores de deficiência auditiva adequando as respostas dos sistemas computacionais as necessidades dos surdos.

     A libras, língua brasileira de sinais, utiliza gestos e expressões faciais para a comunicação, sendo utilizada pela comunidade brasileira de surdos e reconhecida como língua oficial do Brasil. Para criar conteúdo virtual em língua de sinais, de maneira automática, faz-se necessária a utilização de uma notação capaz de descrever os sinais. Sistemas de transcrição foram desenvolvidos para as línguas de sinais. Porém, uma vez que não foram criados com o intuito de gerar animações por computador, estes sistemas de transcrição possuem limitação, tais como ambiguidades ou omissão de informações, dificultando seu uso para os propósitos deste trabalho. Em geral, o reconhecimento e a reprodução de um sinal com o uso dos sistemas de transcrições existentes são possíveis apenas por interpretes experientes ou por profundos conhecedores da notação.

     Este trabalho propõe um sistema de transcrição para a reprodução computacional e em tempo real de conteúdo em língua de sinais através de um agente virtual sinalizador, modelo tridimensional que representa uma figura humana e que articula os sinais da libras. Para isso e necessário registrar explicitamente quantidade suficiente de informações para que a reprodução seja próxima a realidade. Apesar dos estudos das línguas de sinais existirem por quase meio século, o problema de transcrição continua um desafio. Dessa forma, a proposta de uma notação para descrever, armazenar e reproduzir conteúdo em libras por um agente virtual sinalizador em tempo real oferece uma ferramenta poderosa de estudo e pesquisa, que contribui para um melhor entendimento da língua brasileira de sinais, uma vez que ainda se conhece pouco sobre sua estrutura, gramática e fonética, quando comparado ao conhecimento adquirido ao longo dos séculos pelos estudos das línguas orais.

Tese: pdf.

Repercussão na Mídia: Entrevista Ederson Granetto - Univesp, maio 2012; Jornal da Unicamp, maio 2012; ComCiência, março 2012;  Pesquisa Fapesp, março 2012.

 

 

 

 

Mestrado

 

 

tiago.jpg

 

Tiago de Freitas Pereira
A Comparive Study of Countermeasures to Detect Spoofing Attacks in Face Authentication Systems.
Financiamento:
Inicio: março/2011  Término: setembro/2013
Abstract: User authentication is an important step to protect information and in this field face biometrics is advantageous. Face biometrics is natural, easy to use and less human-invasive. Unfortunately, recent work has revealed that face biometrics is vulnerable to spoofing attacks using low-tech equipments. The goal of this masters dissertation is twofold. Firstly, we introduce a novel and appealing approach to detect face spoofing using the spatiotemporal (dynamic texture) extensions of the highly popular local binary pattern operator. Evaluated with the only two publicly current available databases (Replay Attack Database and CASIA Face Anti-Spoofing Database), the final performance results show that our approach performs better than state of the art countermeasures (following their provided evaluation protocols). Secondly, we provide a comparative study of countermeasures covering different databases and focusing in the biases that these databases can introduce. Evaluated with state of the art countermeasures, the results shown that the countermeasures are very sensitive to databases biases.

 

 

riser.jpg

 

Rafael Guimarães Ramos
Visualização do Comportamento Dinâmico de Risers Rígidos.
Financiamento: Bolsa Capes
Inicio: março/2011  Término:
Resumo: A exploração de petróleo em águas profundas e ultraprofundas é uma tarefa desafiadora, sobretudo devido às condições ambientais adversas a serem enfrentadas. A grande importância deste recurso mineral no cenário global, entretanto, tem impulsionado essa atividade, especialmente no caso do Brasil, que possuiu grande parte de suas reservas nesse tipo de ambiente.
     Um peça essencial para a extração de petróleo em alto mar é o riser. O riser é um tubo  delgado cilíndrico de aço utilizado para o transporte de petróleo, gás e água desde o poço no leito marinho até a unidade de produção. Pode ser rígido ou flexível, sendo esta característica escolhida de acordo com as condições do problema.
     O riser rígido tem a vantagem de apresentar resistência a altas pressões e menor custo, se comparado ao riser flexível. Entretanto, possui como desvantagem a fadiga causada pela vibração induzida pelo desprendimento de vórtices. Este efeito, causado pelo movimento da plataforma, ondas e correnteza, pode levar a fraturas ou mesmo rupturas no riser.
     A necessidade de se detectar esse tipo de falha, bem como avaliar a vida útil do riser e monitorar seu comportamento ao longo do tempo, somado aos altos custos associados a sua  produção e manutenção, evidenciam a importância da simulação computacional. Através de simuladores, pode-se não apenas prever o comportamento do riser a ser implementado como também realizar diagnósticos que indiquem o ponto especifico de alguma falha.
     Devido ao grande volume de dados numéricos gerados pela simulação, entretanto, são necessários recursos de visualização que possibilitem a interpretação dos resultados de forma rápida e intuitiva.
     O objetivo deste trabalho é determinar e desenvolver um ambiente interativo de visualização em tempo real para auxiliar no projeto de risers rígidos verticais.

 

 

Img2m.jpg

 

Enrique Pimentel
Sistema de análise tática utilizando CUDA para a modalidade paraolímpica GoalBall
Computacional.
Financiamento:  sem financiamento
Inicio: março/2011  Término:

Resumo: A análise tática das mais variadas modalidades esportivas cresce a cada ano, tendo em vista que, em muitos esportes, a parte tática tornou-se fator determinante para a vitória.

     Com as equipes cada vez mais equiparadas (física e tecnicamente), uma análise tática realizada de forma rápida e precisa pode auxiliar as equipes a obterem sucesso.

     O crescimento da prática de esportes paraolímpicos, como é o caso do Goalball, traz novos desafios às equipes para que tornem-se vitoriosas, a análise tática é uma delas. Apesar de alguns esportes paraolímpicos terem essa análise realizada manualmente ou com o auxílio de softwares criados para outros jogos, esse tipo de necessidade tem aumentado principalmente em grandes competições e treinamentos para jogos específicos.

     A análise tática para o Goalball requer informações individuais dos jogadores, tais como, região de lançamento, região de defesa, eficiência no ataque e informações coletivas, como formação de ataque e defesa. Essas informações permitem traçar estratégias para cada lance da partida, aumentando a possibilidade de sucesso no resultado final.

     Buscando realizar a análise tática de maneira automática, são utilizadas  técnicas de processamento de imagens e visão computacional. Para reduzir o tempo de processamento  e garantir uma análise eficiente, além de trabalhar com algoritmos otimizados, o presente trabalho também ter por objetivo explorar o poder de processamento paralelo das GPU's de última geração.

 

 

libras_facial.jpg

 

Juliano Renato Bezerra
Animação Facial para Agente Virtual 3D Sinalizador de Libras.
Financiamento:  sem financiamento
Inicio: março/2010  Término:
Resumo: Em computação, programas que oferecem acessibilidade são aqueles que permitem aos portadores de deficiências utilizarem recursos computacionais com qualidade e eficiência equivalentes a não portadores de deficiência.
     Uma vez que as informações são apresentada visualmente nos ambientes computacionais, pode se ter a falsa impressão de que acessibilidade não é problema para deficientes auditivos. No entanto, para aqueles que adquire a surdez antes da alfabetização, materiais escritos são geralmente menos acessíveis que conteúdos visuais.
     As línguas de sinais são reconhecidas pela linguística com uma língua viva e autônoma, composta por aspectos fonológicos, morfológicos, sintáticos e semânticos próprios.
     Através da Língua Brasileira de Sinais (Libras) é possível expressar pensamentos simples e complexos. Neste processo, utiliza-se a expressão facial e corporal para se fazer afirmações, negações, questionamentos, enfatizar, omitir, salientar e demonstrar desconfiança, entre outros.
     A proposta deste trabalho é definir, implementar e avaliar personagem 3D capaz de gerar e modular expressões faciais no contexto da Libras.

 

 

triangulacao.jpg

 

Tatiane Silva Leite
Melhoria da Atratividade da Face em Imagens.
Financiamento:  Bolsa Capes
Inicio: março/2010  Término: junho/2012
Resumo: A atratividade facial tem sido amplamente estudada por diversas áreas de conhecimento, como a psicologia, medicina e a computação. Alguns estudos apontam que existe uma noção universal sobre a atratividade dos rostos, que vai além das etnias, idade e sexo, e que, dessa forma,  parece haver uma concordância entre a maioria das pessoas quanto a um conjunto de características faciais consideradas mais atraentes. Em busca de mecanismos que explorem as características faciais que definem rostos mais atraentes, este trabalho propõe a implementação de um sistema automático de manipulação e transformação de imagens visando o aumento da atratividade de faces apresentadas em imagens. Para isso será construída uma base de imagens de rostos, tanto masculinos quanto femininos, que deverão ser avaliados por um grupo de pessoas segundo o seu grau de atração. Além da classificação, em todas as faces serão identificados pontos de interesse e o levantamento de medidas de distância entre eles consideradas relevantes para caracterizar as dimensões, proporções e distâncias relativas entre os elementos faciais. Com os parâmetros faciais e a informação de atratividade, será estabelecido um conjunto de treinamento a ser usado em algoritmos de aprendizagem para definir mecanismos de aprimoramento de imagens das faces baseadas em técnicas de warping.

 

 

imagemcel

 

Alex Garcia Gonçalves
Animação Facial e Voz para Mensagens de Texto via Celular (SMS).
Financiamento: sem financiamento
Inicio: março/2009  Término:
Resumo: Mensagem de texto via celular (SMS) se tornou nos últimos anos uma das formas de comunicação mais usadas no mundo. Esse recurso é largamente usado para transmitir  mensagem curtas, sintetizadas em poucas frases. Estas mensagens são utilizadas para a atender uma ampla gama de necessidades cotidianas de comunicação rápida, incluindo, combinar compromissos, transmitir recados, responder solicitações, reportar acontecimento, fazer comentários bem humorado ou ainda declarar afeto.
     Uma das principais características da mensagem de texto é que esta precisa ser lida pelo receptor da mensagem. Tal necessidade, em determinadas situações, pode ser inconveniente, como por exemplo, quando o receptor está dirigindo ou possui dificuldade de leitura, limitação que afeta particularmente pessoas idosas e analfabetas. Como o aparelho celular está disseminado em todas as idades e classes sociais, esse tipo de problema se torna mais comum.
     O trabalho em questão busca prover uma forma alternativa de comunicação a partir do sistema SMS. No sistema em desenvolvimento um personagem virtual 3D, exibido na tela do celular, apresentará de forma áudio-visual a mensagem textual recebida. O personagem, apresentado na tela do celular, pronunciará o conteúdo da mensagem, reproduzindo a movimentação articulatória visível em sincronia com o áudio. Adicionalmente, o personagem também será  capaz de expressar emoções através da movimentação facial. Para a apresentação das emoções, o texto da mensagem deverá ser marcado com os símbolos usualmente utilizados no ambiente da Internet para expressar elementos não-verbais de comunicação, tais como: :-)  sorriso ;-) piscada  :-D sorriso aberto (-: tristeza, entre outros.
O sistema está sendo desenvolvido para celulares que suportam o Sistema Operacional Android. O sistema de  animação utiliza a biblioteca OpenGL e o áudio é gerado pelo conversor Texto-Fala Aiuruetê desenvolvido na Unicamp.

 

 

onda

 

Rodrigo Mologni Gonçalves dos Santos
Visualização de fenômenos de propagação de ondas mecânicas em meios contínuos.
Financiamento: Bolsa Capes
Início:  março/2009 Término: agosto/2011
Resumo:  As ondas podem ser descritas matematicamente e, portanto, simuladas por computador. E com o apoio da visualização científica é possível visualizar a propagação de ondas mecânicas, sejam simuladas por computador ou amostradas de um meio físico por equipamentos específicos de captação. Com isso, as ondas mecânicas, mesmo quando visivelmente imperceptíveis, podem ser visualizadas e a velocidade de propagação, dentre outras propriedades que descrevem o comportamento das ondas, controlada durante a simulação. Portanto, com a visualização científica é possível ampliar a capacidade do processo cognitivo humano no que se refere à propagação de ondas mecânicas.
     O objetivo deste projeto de dissertação de mestrado é desenvolver um programa por meio do qual o usuário (especialista em mecânica das ondas) possa visualizar e explorar, de maneira interativa, a propagação de ondas mecânicas descrita em um arquivo de texto gerado pelo Wanglay (um programa desenvolvido no DMC que simula a propagação de ondas mecânicas).
Vídeos de demonstração: propagação de ondas mecânicas superficiais; vetores complexos de deslocamento
Imagens ilustrativas: efeito banda; contorno; vetores Uz; vetores Wz; recorte; contorno por intersecção; vetores normais; trajetória de deslocamento dos pontos; espaço ocupado pela movimentação das ondas; visão estereoscópica por anaglifo.

Dissertação: pdf.

 

 

image002

 

Paula Dornhofer Paro Costa
Animação facial 2D sincronizada com a fala baseada em imagens de visemas dependentes do contexto fonético.
Financiamento: Bolsa Pesquisa Empresa Unicamp/CPqD
Início:  agosto/2007   Término: junho/2009
Resumo:  A animação facial por computador sincronizada com a fala permite a implementação de cabeças virtuais que podem contribuir para tornar interfaces humano-computador mais eficientes e atraentes. O presente trabalho apresenta um método de síntese de animação facial 2D baseado em imagens cujo desenvolvimento foi guiado por dois objetivos principais: a reprodução realista da movimentação articulatória visível da fala, incluindo os efeitos da coarticulação, e a possibilidade de implementação do método mesmo em plataformas com capacidades limitadas de processamento e memória, tais como celulares e assistentes pessoais digitais. O método desenvolvido baseia-se em uma base de imagens de visemas dependentes de contexto para o Português do Brasil e adota a técnica de metamorfose entre visemas para a síntese da animação facial. A abordagem proposta representa uma estratégia de síntese alternativa e inovadora, capaz de reproduzir a movimentação articulatória visível da fala, incluindo os efeitos da coarticulação, a partir de uma base de apenas 34 imagens. O trabalho inclui a implementação de um sistema piloto integrado a conversor texto-fala. Adicionalmente, o método de síntese proposto é avaliado através de teste de inteligibilidade da fala. Os resultados desta avaliação indicam que a informação visual fornecida pelas animações geradas pelo sistema contribuem para a inteligibilidade da fala em condições de áudio contaminado por ruído. Apesar do trabalho estar restrito ao Português do Brasil, a solução apresentada é aplicável a outras línguas.

Vídeos de demonstração: Palavra; Frase.

Sistema Teste: VTTS – Integrado ao CPqD Texto Fala

Dissertação:  pdf

Repercussão na Mídia: Pesquisa Fapesp, julho 2011.

 

 

image004

 

Charles Marcel de Barros
Editor de Sinais de Libras.
Financiamento: Bolsa Capes
Início:  março/2007   Término:

Resumo: LIBRAS (Língua de Sinais Brasileira) é uma língua de modalidade gestual-visual que utiliza gestos e expressões faciais para a comunicação, sendo reconhecida como a linguagem natural da comunidade brasileira de surdos. A sua disseminação exige o ensino e treinamento, assim como, o estímulo para a produção de material expresso nesta língua. Vídeo tem sido a mídia preferencial para a produção e a apresentação de material em LIBRAS, entretanto, como o avanço das técnicas de animação tridimensional por computador, a sinalização tornou-se viável também para personagens virtuais. Personagens virtuais são especialmente atrativos em contexto interativos ou caracterizados pela rápida atualização como, por exemplo, na televisão, Internet ou mesmo em terminais de atendimento automático.

     Devido a grande quantidade de sinais existentes na LIBRAS, o armazenamento dos sinais através de animação de personagens virtuais se torna interessante. Mesmo quando utilizado poderosos métodos de compressão, os vídeos continuam com tamanho superior as animações de personagens virtuais, resultando em um banco de dados pesado para aplicações sobre a internet, devido à questão de transferência, como também em dispositivos moveis ou com memória limitada. Destaca-se também a falta de praticidade para gerar um novo sinal, uma vez que é necessário capturar o sinal em estúdio. Este processo de aquisição pode causar complicações, uma vez que para manter a padronização, seria desejável que uma única pessoa desempenhe todos os sinais. Utilizar pessoas diferentes pode comprometer ainda mais a transição dos clipes de vídeo que já ocorrem de forma abrupta. Por sua vez, personagens virtuais possibilitam criar transições suaves de forma automática e utilizar qualquer personagem sem que seja necessário recriar todo banco de sinais.

     Neste âmbito, este projeto ambiciona construir um editor que viabilizará a criação de sinais e desta forma incentivar a produção de trabalhos na área de agentes virtuais sinalizadores virtuais pode colabprar  sinais.romenter ainda mais

adronizaçtudio,ua utilizaçLIBRAS.  Uma vez que a leitura de textos pode ser inviável ou demasiadamente desgastante para os surdos, agentes virtuais podem atuar como uma alternativa ao closed caption em transmissões da televisão digital ou talvez um tradutor de páginas web.

Vídeos de demonstração: Teste de movimentos; Sinal campeão.

Repercussão na Mídia: Correio Popular, julho 2006.

 

 

image006

 

Clausius Gonçalves dos Reis
Rugas facial em tempo-real explorando as modernas GPUs.
Financiamento: Bolsa Capes
Início:  agosto/2006 Término: maio/2010

Resumo: A modelagem e animação de rugas faciais têm sido tarefas desafiadoras, devido à variedade de conformações e sutilezas de detalhes que as rugas podem exibir. Neste trabalho, são descritos dois métodos de apresentação de rugas em tempo real, utilizando as modernas GPUs. Ambos os métodos são baseados no uso de shaders e em uma abordagem de normal mapping para aplicar rugas sobre modelos virtuais. O primeiro método utiliza áreas de influência descritas por mapas de textura para calcular a exibição de rugas sobre o modelo, controlados por um "Vetor de Ativação", que informa ao shader a visibilidade das rugas em cada uma das áreas de influência. O segundo método apresenta rugas nos modelos faciais, utilizando as informações de deslocamento dos vértices em direções pré-definidas, informadas através de um "Vetor Direção de Rugas", que informa o sentido que o deslocamento de um vértice causa o surgimento de rugas.

Dissertação: pdf.

Repercussão na Mídia: Correio Popular, julho 2006.

 

 

image008

 

Denise Hippler
Apresentador virtual.
Financiamento: Bolsa Capes
Início:  março/2006  Término: novembro/2008
Resumo: Um apresentador virtual é um agente representado por uma forma antropomórfica que permite a transmissão de informações usando uma combinação de formas de expressão que pode envolver elementos como fala, gestos, expressões faciais e mudanças de postura, podendo ainda incluir a interação com objetos. Apresentadores virtuais possuem um amplo leque de aplicações em potencial, como guias e instrutores. Este trabalho relata a implementação e avaliação de um apresentador virtual de notícias que realiza movimentos verbais sincronizados com o sinal acústico da fala e movimentos não-verbais que complementam a fala, estruturando a apresentação. A animação é gerada a partir de informações acerca do texto a ser apresentado oralmente e dos movimentos não-verbais que devem acompanhá-lo, descritas pelo usuário em um arquivo de entrada. De modo a gerar animações convincentes, estudou-se gravações de apresentações de notícias de um canal televisivo e derivou-se regras de comportamento, um conjunto de movimentos que se repetem em dadas situações. Esse padrão comportamental insere alguns movimentos automaticamente na animação, complementando os movimentos dados pelo usuário. Por fim, realizando experimentos com voluntários, avaliou-se a contribuição dos movimentos não-verbais à apresentação.

Vídeos de demonstração:

Sem movimentação não-verbal;

Com  movimentação não-verbal descoordenada;

Com movimentação não-verbal coordenada.
Dissertação: pdf.
Prêmio: Universitaet Konstanz Austria, 2009;
Repercussão na Mídia: Ciência Hoje, janeiro/fevereiro 2009; Jornal de Unicamp, junho 2008.

 

 

renata1

 

Renata Corrêa
Animação facial por computador baseada em modelagem biomecânica.
Coorientação (Orientador principal Prof. Léo Pini Magalhães)
Financiamento:
Início: março/2004  Término:  novembro/2007
Resumo: A crescente busca pelo realismo em personagens virtuais encontrados em diversas aplicações na indústria do cinema, no ensino, jogos, entre outras, é a motivação do presente trabalho. O trabalho descreve um modelo de animação que emprega a estratégia biomecânica para o desenvolvimento de um protótipo computacional, chamado SABiom. A técnica utilizada baseia-se na simulação de características físicas da face humana, tais como as camadas de pele e músculos, que são modeladas de forma a permitir a simulação do comportamento mecânico do tecido facial sob a ação de forças musculares. Embora existam vários movimentos produzidos por uma face, o presente trabalho restringiu-se às simulações dos movimentos de expressões faciais focalizando os lábios. Para validar os resultados obtidos com o SABiom, comparou-se as imagens do modelo virtual obtidas através do protótipo desenvolvido com imagens obtidas de um modelo humano.

 

 

 

 

Iniciação científica

 

 

leandro2.jpg

 

Leandro Martin Guertzenstein Angare
Animação Baseada na Manipulação de Segmentos Adquiridos por Captura de Movimento.
Financiamento: Bolsa CNPq/PIBIC
Início: 01/04/2012   Término:  30/06/2013
Resumo: Atualmente, a computação gráfica tem avançado de forma exponencial, em menos de meio século passamos de esferas facetadas para dinossauros realistas, e hoje em dia, com o poder de processamento de placas gráficas, estes níveis de detalhes conseguem ser gerados em tempo real.
     Não só o produto final gozou destes avanços como também, para citar somente dois dentre tantos, as ferramentas de modelagem que antes consistiam na translação de vértices hoje são tão intuitivas que substituiu-se o termo modelagem por escultura digital e os sofisticados renderizadores atuais que podem ser ajustados para qualquer cena com alguns cliques de um mouse. Porém, os recursos de animação ainda encontram-se bastante limitados, hoje, como a décadas atrás, para manipular uma animação um artista deve trabalhar com coordenadas de pontos e funções interpoladoras em gráficos bidimensionais.
     O presente projeto tem como objetivo a proposição de uma metodologia para modificação de segmentos de animação obtidos por captura de movimento através do mapeamento de parâmetros de baixo nível (pontos e funções interpoladoras de um gráfico) a parâmetros de alto nível (características físicas e emocionais).

 

 

 

Douglas de Azevedo Fonseca
Animação Facial 2D Sincronizada com a Fala para Dispositivos Móveis.
Financiamento: Bolsa CNPq/PIBIC
Início: 01/08/2011   Término

Resumo: A tecnologia de animação facial é essencial para a implementação de personagens virtuais personificados capazes de reproduzir o estilo de comunicação baseado na fala, expressões faciais e gestos, com o qual os humanos estão habituados. Dependendo da aplicação, estes personagens virtuais podem desempenhar papéis variados, tais como, por exemplo, instrutores, assistentes, avatares, apresentadores ou vendedores. Diversas plataformas hardware/software tem sido utilizadas para a implementação de tais personagens, incluindo, computadores pessoais, Web, consoles de jogos e dispositivos móveis. Em particular, a utilização da tecnologia embarcada em dispositivos móveis é uma opção promissora para soluções de videotelefonia móvel devido a potencial redução da taxa de transmissão. Neste cenário, em vez da transmissão do vídeo do interlocutor, basta a transmissão dos poucos parâmetros necessários para especificar a locução e as expressões faciais associadas.

     O presente trabalho tem como objetivo estudar e aprofundar os conhecimentos associados `à implementação de sistemas de animações faciais em dispositivos móveis. Para isso, o projeto propõe migrar para a plataforma móvel o sistema de animação facial baseado em imagens AnimaFace 2D desenvolvido no Departamento de Engenharia de Computação e Automação Industrial da Faculdade de Engenharia Elétrica e de Computação da Universidade Estadual de Campinas. A partir desta implementação serão avaliados a performance e o nível de videorrealismo da animação obtidos em plataforma móvel.

 

 

lucas1

lucas2

 

Lucas Carillho Pessoa
Deteção e segmentação de regiões em imagens de face.
Financiamento: Bolsa CNPq/PIBIT
Início: 01/08/2010   Término:

Resumo: O trabalho tem por objetivo estudar, implementar e analisar técnicas para a deteção e segmentação de regiões em fotografias frontais de rostos. As regiões faciais de interesse são: contorno do rosto, olhos, sobrancelhas, nariz, boca e orelhas.  Para o desenvolvimento do trabalho será utilizada base de imagens composta de uma centena de fotografias digitais, capturadas em ambiente controlado, com iluminação e fundo constantes.

     O trabalho contribuirá para a iniciação do aluno na temática associada ao processamento, segmentação e reconhecimento de imagens. Também está previsto que os resultados da iniciação científica sejam aproveitados em projeto de mestrado em desenvolvimento, que busca identificar parâmetros faciais associados à atratividade da face para processo automático de aperfeiçoamento de imagens de rostos.

 

 

leandro1

 

Leandro Martin Guertzenstein Angare
Exportador de XML e tabelas para programas de manipulação.
Financiamento:
Início: 01/01/2010   Término:  30/06/2011
Resumo: Como parte do projeto de implementação do agente virtual sinalizador de LIBRAS, este projeto de iniciação científica pretende criar duas ferramentas: 1)  a elaboração de uma base de arquivos XML com configurações de mãos; 2) o armazenamento do posicionamentos de membros superiores em uma tabela padrão CSV.

     Ambas as ferramentas deverão ser implementadas de forma que o usuário tenha controle para definição da hierarquia de dados e atributos (em arquivos XML) e elaboração de tabelas personalizadas com atributos desejados.

Pretende-se também aprofundar o estudo tanto nas linguagens de programação necessárias para realizar tais tarefas quanto nas estruturas de dados propostas.

 

 

goalball

 

Thiago Cavalcante
Análise Tática Assistida por Computador para o Esporte Paraolímpico Goalball.
Financiamento: Bolsa  FAPESP
Início: 01/01/2010   Término: 31/12/2010
Resumo: O trabalho tem por objetivo desenvolver sistema computacional de apoio à análise tática de partidas de goalball. Goalball é ma modalidade esportiva paraolímpica praticada por atletas com deficiência visual. A análise tática será realizada pela interpretação das informações de partidas de goalball armazenadas em uma base de dados. O registro das informações na base de dados será realizado de forma interativa durante uma partida ou, no pós-jogo, pela análise automática de vídeo baseada em técnicas de visão computacional. O sistema será utilizado para a definição de estratégias de treinamento assim como apoiar tomadas de decisões e durante partidas. O sistema será desenvolvido em cooperação com o atual técnico da Seleção Brasileira Paraolímpica Feminina de Goalball. A validação do sistema será efetuada utilizando vídeo de jogos e durante os treinos da seleção e equipes treinadas pelo técnico.

 

 

image010

 

Tatiane Silva Leite
Animação facial para dispositivos móveis.
Financiamento: Bolsa PIBIC/CNPq e Fapesp
Início: 01/12/2006   Término: 30/11/2007

Resumo: A tecnologia da animação facial é essencial para a implementação de personagens virtuais personificados capazes de reproduzir o estilo de comunicação, baseado na fala, expressões faciais e gestos, com o qual os humanos estão habituados. Dependendo da aplicação, estes personagens virtuais podem desempenhar papéis variados, tais como, por exemplo, instrutores, assistentes, avatares, apresentadores ou vendedores. Diversas plataformas hardware/software têm sido utilizadas para a implementaçãoo de tais personagens, incluindo, computadores pessoais, Web, consoles de jogos e dispositivos móveis. Em particular, a utilização da tecnologia embarcada em dispositivos móveis é uma opção promissora para soluçõess de videotelefonia móvel devido à potencial redução da taxa de transmissão. Neste cenário, em vez da transmissãoo do vídeo do interlocutor, basta a transmissão dos poucos parâametros necessáarios para especificar a locução e as expressões faciais associadas.

     O presente trabalho tem por objetivo estudar e aprofundar os conhecimentos associados à implementação de sistemas de animação facial em dispositivos móveis. O trabalho consiste na migração para a plataforma J2ME (Java 2 Micro Edition) de sistema de animação facial desenvolvido no Departamento de Engenharia de Computação e Automação Industrial da Faculdade de Engenharia Elétrica e de Computação da Universidade Estadual de Campinas.

     A versão original foi concebida e implementada para a plataforma J2SE (Java 2 Standard Edition) utilizando as APIs JMF (Java Media FrameWork) e Java 3D. No trabalho em proposição será efetuada a adaptação da solução existente para atender as limitações de recursos dos dispositivos móveis celulares.

 

 

 

 

Fábio Gabrielli Fernandes

Integração de conversor texto-fala em sistema de animação facial

Financiamento: Bolsa PIBIC/CNPq
Início: março/2005   Término: dezembro/2005
Resumo: A síntese digital de voz pode ser utilizada em diversas aplicações como telecomunicações, softwares destinados a portadores de deficiência visual ou de fala, sistemas de atendimento computadorizado e implementação de interfaces mais amigáveis com computadores. A integração de um conversor texto-fala a um sistema de animação facial possibilita a ampliação do universo de aplicações atendidas por ambos os sistemas, potencialmente melhorando a inteligibilidade da mensagem, explorando agora, além do canal auditivo, o canal visual. A proposta deste trabalho é integrar o sistema de animação facial desenvolvido no DCA da FEEC ao conversor texto-fala Aiuruetê, desenvolvido conjuntamente pelo LPDF/FEEC e pelo LAFAPE/IEL. Para esta integração fez-se necessária a reestruturação e compatibilização do código do Aiuruetê, programado nas linguagens Pascal e C++, com o código Java do sistema de animação facial. Isto requereu a utilização das tecnologias JNI (Java Native Interface) e JMF (Java Media Framework), além da mudança dos mecanismos de execução e transferência de dados entre os vários módulos do Aiuruetê. Objetivando melhorar o desempenho do sistema, módulos do Aiuruetê foram transformados em threads Java com transferência de dados via buffers circulares.

 

 

image011

 

Rodrigo Garcia da Silva
Módulo de Extensão voltado à animação facial para o pacote Maya
Financiamento:
Início: março/2005   Término: abril/2005
Resumo: O trabalho teve por objetivo desenvolver módulo de extensão (plug-in) voltado à animação facial para o pacote modelagem geométrica, animação e síntese de imagem Mayaä da empresa Alias. Criamos uma interface de usuário que permita a animação facial de um modelo 3D de uma cabeça humana previamente desenvolvido.

 

 

image012

 

Anderson Luiz Brunozi
Desenvolvimento de um ambiente Interativo para o estudo e definição de visemas baseados no padrão  MPEG-4
Financiamento:
Início:    Término: 2004
Resumo: Implementação de interpretador dos parâmetros de animação facial (FAP - Facial Animation Parameter) do padrão ISO/IEC 14496 (MPEG-4) voltados à movimentação labial. As seguintes atividades estão previstas para o desenvolvimento do trabalho: Estudo do padrão ISO/IEC 14496; Estudo da linguagem Java e do pacote Java3D;  Estudo do algoritmo de deformação; Implementação em Java do algoritmo de deformação; Teste, análise e refinamento do algoritmo de deformação com malha de triângulos planar com resolução variável; Teste e análise e refinamento do algoritmo de deformação com malha de triângulos cilíndrica com resolução variável; Teste e análise e refinamento do algoritmo de deformação com malha de triângulos esférica com resolução variável; Implementação dos FAPs da padrão MPEG-4.
Sítio do trabalho

 

 

image014

 

Luciano Augusto Buniak Pinto
Desenvolvimento de software para instalação multimídia interativa
Financiamento:
Início:    Término: 2004

Resumo: Desenvolvimento de software para instalação multimídia interativa, envolvendo o controle da apresentação de seqüência de imagens através do reconhecimento de entrada sonora com discriminação da intensidade sonora e velocidade de produção.  O software tem por finalidade gerenciar a apresentação de um conjunto de imagens através de “comandos” passados pelo usuário com o auxílio de um instrumento de percursão (surdão). No ambiente da exposição, o público encontrou uma grande tela onde era projetada o conteúdo da tela de um computador, e, em frente a esta tela, um surdão com a respectiva baqueta. Batendo o surdão o público pode comandar a apresentação das imagens. A principal característica do software desenvolvido é a capacidade de análise e discriminação de sons. A entrada de áudio do computador é monitorada em tempo real e todas as amostras de som capturadas são analisadas e, se forem identificadas como o som da batida de um surdão a mesma é passada para a parte do software responsável pelo gerenciamento das imagens. Para maior entendimento dos propósitos e concepção do projeto, consultar o artigo do fotógrafo Fernando de Tacca, idealizador do projeto, publicada na revista eletrônica Studium.

 

 

 

 

Marcos Fernando Espíndola
Relógio Analógico Publicitário para Ambiente Urbano
Financiamento:
Início:    Término: 2003
Resumo: Implementação de Relógio Publicitário paa Ambiente Urbano

 

 

 

 

Marcos Fernando Espíndola
Mesa de controle de lâmpadas incandescentes para aplicações teatrais
Financiamento:
Início: agosto/2001   Término: abril/2002
Resumo: O mercado de iluminação de shows e eventos de palco utiliza cada vez mais equipamentos controlados por computador para a produção de efeitos luminosos. Tais equipamentos devem oferecer versatilidade na configuração e composição de efeitos de iluminação, conjuntamente com simplicidade de operação. Este trabalho envolveu o projeto e implementação de um destes equipamentos baseado em um micro-controlador de baixo-custo. O equipamento desenvolvido permite o controle de luminosidade de dez lâmpadas incandescentes de alta potência oferecendo as seguintes funcionalidades: controle individual ou em grupo das lâmpadas; configuração do sequenciamento de acionamento das lâmpadas, configuração do perfil de variação no tempo da intensidade da lâmpada; controle rítmico comandado por entrada áudio. O equipamento admite ainda operação stand-alone ou conectado a um computador pessoal. A utilização de um PC possibilita a gerência da operação baseada em uma interface visual e amigável, trazendo facilidade na automação do controle luminoso. Dentre as etapas de projeto e implementação do protótipo foram realizadas síntese de hardware, firmware, estruturação do sistema prevendo expansões e evoluções de recursos e a documentação necessária para a manutenção e operação do equipamento.

 

 

 

 

Miguel Galvez
Reconstrução de informação geométrica 3D a partir de vídeo.
Financiamento:
Início: agosto/2001   Término: abril/2002
Resumo: Desenvolver e implementar algoritmo para a reconstrução de informação geométrica 3D de objetos rígidos em repouso, explorando a coerência espacial das imagens de uma seqüência de vídeo.

 

 

 

 

Sileno Toledo Rocco
Desenvolvimento e implementação de ambiente de auxílio à construção de jogos voltados à aquisição da fala por deficientes físicos
Financiamento:
Início:        Término: 1999

Resumo: Desenvolvimento e implementação de ambiente de auxílio à construção de jogos voltados à aquisição da fala por deficientes físicos.

 

 

 

 

Paulo Augusto Dal Fabbro

Imagens ilustrativas de técnicas de síntese de imagem por computador

Financiamento:
Início:        Término: 1998
Resumo: Elaboração de sítio Web de apoio ao ensino com exemplos e demonstrações de técnicas de síntese de imagens por computador. O trabalho apresenta um conjunto de imagens utilizando o pacote Photorealistic RenderMan™, cada uma devidamente acompanhada de texto explicativo, que procura ilustrar diversos aspectos relacionados à síntese de imagens. O trabalho está organizado da seguinte forma: Transformações Geométricas; Primitivas Geométricas: Apresentação das primitivas geométricas suportadas pelo pacote (Quádricas - Polígonos - Superfícies Paramétricas); CSG: Constructive Solid Geometry; Modelos de Iluminação e Tonalização; Projeção; Profundidade de Campo.

 

 

 

 

Francis André S. Esmi

Sistema de síntese de imagens baseado na interface RenderMan - Interpretador RIB

Financiamento:
Início:        Término: 1995

Resumo: Projeto e implementação de sistema de síntese de imagens aderente à especificação RenderMan™.

 

 

 

 

Leonardo D. Mattiazi

Sistema de síntese de imagens baseado na interface RenderMan - Gerenciamento de Objetos

Financiamento:
Início:        Término: 1995
Resumo: Projeto e implementação de sistema de síntese de imagens aderente à especificação RenderMan™.

 

 

 

 

Luís Alexandre I. Sant'ana

Sistema de síntese de imagens baseado na interface RenderMan - Gerenciamento do Estado Gráfico

Financiamento:
Início:        Término: 1994
Resumo: Projeto e implementação de sistema de síntese de imagens aderente à especificação RenderMan™.

 

 

 

 

Francis André S. Esmi

Sistema de síntese de imagens baseado na interface RenderMan – Transformações

Financiamento:
Início:        Término: 1994
Resumo: Projeto e implementação de sistema de síntese de imagens aderente à especificação RenderMan™.

 

 

 

 

Paulo Dansa

Implementação de um sistema de síntese de imagens baseado na Interface RenderMan

Financiamento:
Início:        Término: 1994
Resumo: Projeto e implementação de sistema de síntese de imagens aderente à especificação RenderMan™.

 

 

 

 

Bolsa trabalho sae

 

 

 

 

Felipe Lopasso Rodrigues
Avaliação de agente virtual na comunicação com deficientes auditivos.
Início: março/2007   Término: fevereiro/2008
Resumo: O contexto do projeto é a avaliação da eficácia de um agente virtual tridimensional na comunicação com deficientes auditivos. Em conjunto com o Prof. Dr. Fernando Capovilla da Faculdade de Filosofia, Letras e Ciências Humanas - USP pretende-se avaliar sistema de animação facial desenvolvido na FEEC - Unicamp como facilitador da leitura orofacial. A avaliação será realizada na forma de teste de inteligibilidade de aproximadamente 500 palavras envolvendo vídeo de uma pessoal real e animação gerada por computador. O bolsista terá como tarefa auxiliar na preparação do material áudio-visual a ser utilizado no teste.

 

 

 

 

Felipe Lopasso Rodrigues
Avaliação de agente virtual na comunicação com deficientes auditivos.
Início: março/2008   Término:
Resumo: O contexto do projeto é a avaliação da eficácia de um agente virtual tridimensional na comunicação com deficientes auditivos. Em conjunto com o Prof. Dr. Fernando Capovilla da Faculdade de Filosofia, Letras e Ciências Humanas - USP pretende-se avaliar sistema de animação facial desenvolvido na FEEC/Unicamp como facilitador da leitura orofacial. A avaliação será realizada na forma de teste de inteligibilidade de aproximadamente 500 palavras envolvendo vídeo de uma pessoa real e animação gerada por computador. O bolsista atuará como auxiliar na preparação do material áudio-visual a ser utilizado no teste.

 

 

 

 

José Augusto Ribeiro
Preparação de Base de Imagens para Sistema de Síntese Visual da Fala.
Início:  março/2008 Término:

Resumo: O contexto do presente trabalho é a implementação de um sistema de síntese visual da fala, composto pela integração de um conversor texto-fala com um sistema de animação facial. O sistema de animação facial é controlado pela seqüência de fones produzida pelo conversor, sendo que a animação é gerada através da concatenação e fusão apropriadas das imagens armazenadas em um banco de imagens. O banco de imagens é gerado pela organização e rotulação de imagens extraídas de segmentos de vídeo de um informante produzindo um acervo de palavras e frases. O projeto em proposição tem por objetivo a preparação da base de imagens do sistema de animação facial.

 

 

 

 

Intercâmbio

 

 

 

 

Manuel Schindler
Deteção do piscar de olhos em imagens

Intercâmbio: International Association for the Exchange of Students - IAESTE

País de origem: Alemanha

Início:  setembro/2007  Término: outubro/2007
Resumo: Desenvolvimento em Matlab de programa para a detecção do piscar de olhos em seqüências de imagens de vídeo. Levantamento de estatísticas das piscadas de olho de um apresentador real de televisão através da análise de fragmentos de vídeo capturados de canal de televisão.

 

 

 

 

Roman Lampert

Interface gráfica para o ajuste de parâmetros de modelos de iluminação de um sistema de visualização baseado no pacote gráfico RenderMan.

Intercâmbio:  International Association for the Exchange of Students - IAESTE

País de origem: Suíça

Início:             Término: 1996
Resumo:

 

 

 

 

Michael W. J. Meyer
Visualization of Electromagnetic Waves through an Optical Waveguide

Intercâmbio: International Association for the Exchange of Students - IAESTE

País de origem: Alemanha

Início:           Término: 1995
Resumo: Implementar programa para permitir a visualização, através de  animação por computador, de dados gerados por simulador da propagação de ondas eletromagnéticas em guias de onda.

 

 

 

 

Bert H. C. Smeets
Sistema de Síntese de  Imagens Baseado na Interface RenderMan - Saída no Formato TIFF

Intercâmbio:  International

Association for the Exchange of Students - IAESTE

País de origem: Holanda

Início:            Término: 1994
Resumo: Implementar programa para gerar arquivos imagens no formato TIFF para sístema de síntese de imagens baseado na interface RenderMan.

 

 

 

 

 

 

 

 

 

Última atualização setembro 2013