Voltar para projetos
Em andamentoDesde 2024

Estudo de Métodos e Técnicas Emergentes de Aprendizado Profundo (PVPG851-2024)

Estudo de métodos e técnicas emergentes de aprendizado profundo, com foco em arquiteturas Transformer, grandes modelos de linguagem e processamento acelerado por GPUs para aplicações em texto, imagens, áudio e vídeo.

Sobre o projeto

Sistemas de IA com capacidades de raciocínio semelhantes aos humanos existem desde a década de 1950, mas somente com o advento dos LLMs eles ganharam ampla adoção. De acordo com um artigo recente da Forbes chamado Transformers Revolucionaram a IA. O que irá substituí-los? um avanço importante ocorreu em 2017, quando a equipe do Google Brain apresentou a arquitetura do algoritmo transformador (Transformer), um modelo de aprendizagem profunda que substituiu as tradicionais estruturas recorrentes e convolucionais por um novo tipo de arquitetura que é particularmente eficaz na compreensão e contextualização da linguagem, bem como na geração de texto, imagens, áudio e código de computador.LLMs baseadas na arquitetura do transformador permitiram novos domínios das capacidades de IA. Talvez o exemplo mais conhecido seja o ChatGPT da OpenAI, que significa Chatbot Generative Pretrained Transformer. Um artigo da CNN, Microsoft confirma que está investindo bilhões no criador do ChatGPT, mostra apoio ao desenvolvimento de LLMs cada vez maiores, algumas das quais podem incorporar centenas de bilhões de parâmetros para gerar respostas coerentes e contextualmente relevantes.Outro fator importante na evolução da IA é o advento de sistemas de hardware acelerados conhecidos como unidades de processamento gráfico (Graphic Processing Unit, GPU). Embora as unidades centrais de processamento (CPUs) sejam projetadas para tarefas de computação de uso geral, GPUs, inicialmente desenvolvidas para renderização gráfica, são processadores especializados que provaram ser adequadas para tarefas de ML devido à sua arquitetura exclusiva. As GPUs possuem um grande número de núcleos que podem processar várias tarefas simultaneamente. Os transformadores usam GPUs para processar vários caminhos em paralelo de informações, levando a um treinamento mais rápido de modelos de IA que lidam efetivamente não apenas com texto, mas também com imagens, áudio e conteúdo de vídeo. Esta capacidade de processamento paralelo é crucial para cálculos computacionalmente intensivos envolvidos em ML, como operações matriciais. GPUs podem realizar esses cálculos muito mais rápido que CPUs, acelerando os tempos de treinamento e inferência e melhorando o desempenho geral dos algoritmos de ML.

Informações do projeto

  • Período: 2024 — Atual
  • Situação: Em andamento
  • Natureza: Pesquisa

Participação discente

Graduação: (4) / Mestrado acadêmico: (1).

Equipe