A Adobe divulgou um novo modelo de IA para upscaling de vídeos, o VideoGigaGAN. Esta aplicação ainda está na fase de desenvolvimento e foi apresentada pela empresa em um artigo de prévia de pesquisa, publicado no dia 18 de abril. O VideoGigaGAN promete melhorar em até oito vezes a qualidade dos vídeos enviados no prompt.
O GAN do nome do modelo significa Generative Adversial Networks (Redes Adversariais Gerativas em tradução direta), uma tecnologia usada para fotos e outras imagens estáticas. Sua aplicação em vídeo trazia alguns elementos que tremiam, além de falhas comum em vídeos gerados por IA — conhecidas como “alucinações de IA”.
Entre os autores do artigo estão dois membros da Universidade de Maryland, mas todos os outros são pesquisadores da própria Adobe. O paper pode ser acessado pelo Arxiv.
VideoGigaGAN mostra resultados altamente realistas
Os vídeos de demonstrações divulgados pela Adobe mostrando resultados altamente realistas. Além disso, na página da novidade no GitHub, o upscaling realmente consegue “recuperar” vídeos em qualidades baixíssimas, entregando uma maior resolução.
Nos exemplos da Adobe, os vídeos do prompt (aqueles que precisam ser melhorados) possuem 128 x 128 pixels. O VideoGigaGAN produz então vídeos com até 1024 x 1024 pixels de resolução — valores “próximos” a qualidade HD, mas que não estão no padrão definido para qualidade HD. Os vídeos usados como base aparecem com a sigla “GT” (ground truth) nos comparativos.
A Adobe divulgou também os testes do VideoGigaGAN para produzir vídeos de 512 x 512 pixels com prompts genéricos — vídeos que não passaram pelo processo de redução da qualidade como nos casos com GTs. Em ambas as resoluções, os resultados parecem bem naturais. No futuro próximo, além das dúvidas sobre imagens e vídeos gerados por IA, teremos o mistério de vídeos que passaram por upscaling de IA.
Recentemente, a Microsoft divulgou o desenvolvimento de um “deepfake” para não depender de webcams em videochamadas. Nas demonstrações da big tech, você consegue ver defeitos, como dentes crescendo enquanto o avatar fala. E por mais que o VideoGigaGAN seja uma tecnologia de upscaling e não geração, é comum que IAs de upscaling alucinem na melhoria de imagem.
Adobe Firefly 3 lançado na quarta-feira
Ainda no tópico IA e Adobe, a empresa anunciou nesta quarta-feira (23) o lançamento do Firefly Image 3. O Firefly é a ferramenta de IA generativa de imagens da Adobe, que pode ser usada no Photoshop não só para a criação de imagem, mas também para auxiliar na edição de uma arte.
Com informações: The Verge
Adobe revela bizarra ferramenta IA de upscaling de vídeos
