Pipeline de renderização inversa do NVIDIA 3D MoMa é apresentado na Conferência sobre Visão Computacional e Reconhecimento de Padrões em Nova Orleans

Jazz tem tudo a ver com improvisação e a NVIDIA está prestando homenagem ao gênero com pesquisas em inteligência artificial (IA) que um dia poderão permitir que profissionais de criação improvisem com modelos em 3D criados no mesmo tempo necessário para fazer uma jam session. O método NVIDIA 3D MoMa pode capacitar arquitetos, designers, artistas conceituais e desenvolvedores de games a importar rapidamente um objeto para um mecanismo gráfico para começar a trabalhar com ele, modificando a escala, alterando o material ou experimentando diferentes efeitos de iluminação.

Clique aqui e confira o vídeo (http://www.youtube.com/embed/W1VhDtoTzA4?feature=oembed).

Extraindo objetos 3D de imagens 2D

“A renderização inversa, uma técnica para reconstruir uma série de fotos em um modelo 3D de um objeto ou cena, há muito tempo é o santo graal unificando visão computacional e computação gráfica”, diz David Luebke, vice-presidente de pesquisa gráfica da NVIDIA.

“Ao formular cada parte do problema de renderização inversa como um componente diferenciável acelerado por GPU, o pipeline de renderização NVIDIA 3D MoMa usa o maquinário da IA moderna e a potência computacional bruta das GPUs da NVIDIA para produzir rapidamente objetos 3D que os criadores podem importar, editar e estender sem limitação nas ferramentas existentes”, diz.

Para ser mais útil para um artista ou engenheiro, um objeto 3D deve estar em um formato que possa ser colocado em ferramentas amplamente usadas, como mecanismos de jogos, modeladores 3D e renderizadores de filmes. Essa forma é uma malha triangular com materiais texturizados, a linguagem comum usada por essas ferramentas 3D.

Os estúdios de jogos e outros profissionais de criação, tradicionalmente, criam objetos 3D como esses com técnicas complexas de fotogrametria que exigem tempo e esforço manual significativos. Trabalhos recentes em campos de radiação neural podem gerar rapidamente uma representação 3D de um objeto ou cena, mas não em um formato de malha triangular que pode ser facilmente editado.

O NVIDIA MoMa 3D gera modelos de malha triangular em uma hora e em uma única GPU NVIDIA Tensor Core. O resultado produzido pelo pipeline é diretamente compatível com os mecanismos gráficos 3D e as ferramentas de modelagem que os criadores já usam.

A reconstrução do pipeline inclui três recursos: um modelo de malha 3D, materiais e iluminação. A malha é como um modelo papel machê em forma 3D construída a partir de triângulos. Com ela, os desenvolvedores podem modificar um objeto conforme sua visão criativa. Os materiais são texturas 2D sobrepostas nas malhas 3D como uma pele. Além disso, a estimativa do MoMa 3D de como a cena é iluminada permite que os criadores modifiquem posteriormente a incidência da iluminação sobre os objetos.

Afinando os instrumentos para uma banda de jazz virtual

Para mostrar os recursos do MoMa 3D, as equipes de pesquisa e criação da NVIDIA começaram fotografando cinco instrumentos de uma banda de jazz (trompete, trombone, saxofone, bateria e clarinete) de diferentes ângulos, coletando cerca de 100 imagens de cada um.

O MoMa 3D reconstruiu essas imagens 2D em modelos 3D de cada instrumento, representados como malhas. Depois, a equipe da NVIDIA retirou os instrumentos das cenas originais e os importou para a plataforma de simulação 3D NVIDIA Omniverse (http://www.nvidia.com/pt-br/omniverse/) para edição.

“Essa é mais uma novidade que ajudará os criadores de conteúdo e demais profissionais da área a criarem trabalhos cada vez com mais excelência. Ficamos muito felizes de divulgar essa novidade”, conta Marcio Aguiar, diretor da divisão Enterprise da NVIDIA para América Latina.

Em qualquer motor gráfico tradicional, os criadores podem facilmente trocar o material de uma forma gerada pelo MoMa 3D, como se vestissem a malha com roupas diferentes. A equipe fez isso com o modelo de trompete, por exemplo, convertendo instantaneamente seu plástico original em ouro, mármore, madeira ou cortiça.

Em seguida, os criadores podem colocar os objetos recém-editados em qualquer cenário virtual. A equipe da NVIDIA deixou os instrumentos em uma caixa Cornell, um teste gráfico clássico para a qualidade de renderização. Eles demonstraram que os instrumentos virtuais reagem à luz exatamente como no mundo físico, com os instrumentos de bronze brilhantes apresentando reflexos cintilantes, e as peles de tambor foscas absorvendo luz.

Esses novos objetos, gerados por renderização inversa, podem ser usados como componentes para uma cena animada e complexa, exibida no final do vídeo como uma banda virtual de jazz.

A NVIDIA demonstrou essa tecnologia em um vídeo celebrando o jazz em seu local de nascimento, Nova Orleans, onde o artigo sobre o MoMa (https://nvlabs.github.io/nvdiffrec/) 3D foi apresentado durante a Conferência sobre Visão Computacional e Reconhecimento de Padrões (http://www.nvidia.com/en-us/events/cvpr/).

O artigo sobre o MoMa 3D (https://nvlabs.github.io/nvdiffrec/) foi apresentado em uma sessão na CVPR (https://cvpr2022.thecvf.com/overview) no dia 22 de junho. É um dos 38 artigos apresentados por autores da NVIDIA na conferência.