Nieuws

Elk model dat u nu draait roteert woorden met RoPE: hier is de rekenkunde

RoPE (Rotary Position Embedding) wordt gebruikt in vrijwel alle moderne open-source taalmodellen zoals LLaMA, Mistral, DeepSeek, Qwen en Gemma. Dit artikel van Towards AI legt de rekenkundige werking van RoPE uit, een techniek die woorden roteert om positie-informatie in te bouwen. De uitleg is bedoeld voor lezers die de geometrische beschrijving al kennen en nu de onderliggende wiskunde willen begrijpen.