[R] Self-Attention: Positional encoding with QK kernels using FFT

I've pre-trained tiny character-level transformer (4M parameters) with 128 token/character training context-length, using RoPE (rotary) positional encodings. Here is how my model performs with RoPE (I've trained on Polish language, sorry). The prompt was " Adam Mickiewicz był to ":

Adam Mickiewicz był to konkomiste, narodzinie cesarza racja datka zajmowania nazwy. Co reguła we stanie można wyrażenie znane symbol języka, że niewyka paszawy, że
język dostowy posinistwa. Matejkoknieswobowi, wszczucie inazwidzstekwi.

Języ przeskobiślanistani nindyb pasowemodarówistanizacharajustęży, nisku daberzycze lawinersławachystrodwodateliżaćby, i istny celefystraminy …

adam attention context encoding fft language machinelearning parameters positional encoding prompt rope self-attention token training transformer