Fundamentos de IA: Modelos densos vs MoE
O artigo anterior tratou de NLP e NLU, o campo conceitual por trás dos modelos de linguagem. Este último fecha a série voltando para a arquitetura: a diferença entre modelos densos e MoE, quais parâmetros são de fato ativados a cada token e por que isso muda a conta de custo e de memória, assunto que já tinha aparecido no artigo sobre quantização e uso local.

