# Appendix - Positional Encoding 거리 증명

$$
PE\_{pos}=\begin{cases} \sin(pos/10000^{2i/d\_{model}}) & dim=2i \ \cos(pos/10000^{2i/d\_{model}}) & dim=2i+1\end{cases}
$$

이므로, 특정 position p에서의 positional Encoding vector는

$$
PE\_p=\begin{bmatrix} \sin(p/10000^{1/d}) \ \cos(p/10000^{1/d}) \ \sin(p/10000^{2/d}) \ \cos(p/10000^{2/d}) \ \vdots \ \sin(p/10000) \ \cos(p/10000) \\\end{bmatrix}=\begin{bmatrix} \sin(\omega\_1 p) \ \cos(\omega\_1 p) \ \sin( \omega\_2 p) \ \cos(\omega\_2 p) \ \vdots \ \sin(\omega\_{d/2} p) \ \cos(\omega\_{d/2} p) \\\end{bmatrix}
$$

pos 1차이의 거리를 계산하기 위해 회전 행렬을 다음과 같이 정의하자.

$$
M\_i(k)=\begin{bmatrix} \cos(\omega\_i k) & \sin(\omega\_i k) \ -\sin(\omega\_i k) & \cos(\omega\_i k) \end{bmatrix}
$$

그러면 k번째 이후의 positional encoding vector는

$$
PE\_{p+k}=\begin{bmatrix}M\_1(k)&\cdots \ \&M\_2(k) \ \vdots \\&&&& M\_{d/2}(k)\end{bmatrix}\begin{bmatrix} \sin(\omega\_1 p) \ \cos(\omega\_1 p) \ \sin( \omega\_2 p) \ \cos(\omega\_2 p) \ \vdots \ \sin(\omega\_{d/2} p) \ \cos(\omega\_{d/2} p) \\\end{bmatrix}
$$

하나의 $$i$$ 에 해당하는 거리를 구하면

$$
D\_{k,i}=PE\_{p+k,i}-PE\_{p,i}=\left(M\_i(k)-I\right)\begin{bmatrix} \sin(\omega\_i p) \ \cos(\omega\_i p) \end{bmatrix}
$$

$$
D\_{k,i}^\top D\_{k,i}=\begin{bmatrix} \sin(\omega\_i p) &\cos(\omega\_i p) \end{bmatrix}(M\_i(k)^\top-I)\left(M\_i(k)-I\right)\begin{bmatrix} \sin(\omega\_i p) \ \cos(\omega\_i p) \end{bmatrix}
$$

$$
\=\begin{bmatrix} \sin(\omega\_i p) &\cos(\omega\_i p) \end{bmatrix}(2I-M\_i(k)-M\_i(k)^\top)\begin{bmatrix} \sin(\omega\_i p) \ \cos(\omega\_i p) \end{bmatrix}
$$

$$
\=\begin{bmatrix} \sin(\omega\_i p) &\cos(\omega\_i p) \end{bmatrix}\begin{bmatrix} 2-2\cos(\omega\_ik)&0\ 0&2-2\cos(\omega\_ik)\end{bmatrix}\begin{bmatrix} \sin(\omega\_i p) \ \cos(\omega\_i p) \end{bmatrix}
$$

$$
\=2-2\cos(\omega\_ik)
$$

이것을 모든 i에 대해 더해 루트를 씌우자.

$$
\sqrt{\sum\_{i=1}^{d/2}(2-2\cos(\omega\_ik))}=\sqrt{d-2\sum\_{i=1}^{d/2} \cos(\omega\_ik)}
$$

이 값은 position p와는 무관하게 거리 k에 따른 값이다. 따라서 position 차이가 같다면 positional encoding vector의 거리 또한 거리가 항상 같다!

대표적으로, 1 position 차이나는 경우, k=1이고

$$
\sqrt{d-2\sum\_{i=1}^{d/2} \cos(\omega\_i)}
$$
