Texto de entrada
Edite a frase. O demo separa palavras e pontuacao antes de transformar isso em ids.
IDs dos tokens
O modelo nao recebe a frase crua. Primeiro ele recebe uma sequencia de ids inteiros.
Tokens
Cada chip e uma unidade que o modelo consegue manipular. Em modelos reais, alguns tokens sao palavras inteiras e outros sao pedacos.
Janela de contexto
Em vez de olhar para um documento inteiro para sempre, o modelo costuma trabalhar com uma janela limitada de tokens.
Leitura rapida
A tokenizacao nao entende o significado sozinha. Ela so define como o texto vai entrar no modelo.
Total de tokens
Mais texto significa mais unidades para o modelo acompanhar.
Ultimos tokens
Essa ponta da sequencia costuma carregar o contexto mais quente do momento.
Tamanho medio
Tokens nao precisam ter sempre o mesmo tamanho em caracteres.
Matriz de attention
Cada linha mostra para onde um token esta olhando quando tenta decidir o que importa no contexto.
Leitura do token
Token atual
Linha selecionada
A linha escolhida mostra o attention pass daquele token.
Maior foco
Nem todo token pesa igual. Alguns dominam a leitura daquele momento.
Leitura
Isto e uma simulacao didatica: a ideia e mostrar pesos de atencao, nao reproduzir um transformer completo.
Prompt
Cada clique consulta o backend, escolhe a candidata mais provavel e adiciona a proxima palavra na sequencia.
Motor
As previsoes vem de uma chamada segura no backend, usando a Gemma 4 31B no OpenRouter.
Sequencia gerada
Repare que o proprio output volta para a entrada. E por isso que o processo se chama autoregressivo.
Probabilidades da proxima palavra
Mostramos os candidatos mais provaveis do proximo passo e agrupamos o restante em um bloco "outros" quando necessario.
Janela usada
O proximo token depende principalmente dos tokens recentes que continuam na janela.
Ultima previsao
Cada clique adiciona exatamente uma nova continuacao escolhida a partir da distribuicao mostrada.
Leitura
A distribuicao vem do backend via OpenRouter. Por baixo dos panos, isso continua sendo probabilidade de proximo token.