PCA는 데이터 하나 하나에 대한 성분을 분석하는 것이 아니라, 여러 데이터들이 모여 하나의 분포를 이룰 때 이 분포의 주 성분을 분석해 주는 방법이다.
변수추출(Feature Extraction)은 기존 변수를 조합해 새로운 변수를 만드는 기법으로, 단순히 일부 중요 변수만을 빼내는 변수선택(Feature Selection)과는 대비됩니다. 변수추출에는 기존 변수 가운데 일부만 활용하는 방식이 있고, 모두 쓰는 방식이 있는데 PCA는 후자에 해당합니다. 아울러 PCA는 기존 변수를 선형결합(linear combination)해 새로운 변수를 만들어 냅니다.
원 공간에서 두 벡터의 거리 관계를 확률로 나타낸다. 그 의미는 현재 임의의 벡터다 다른 시점에 상대 벡터로 이동할 확률이 된다. 가까울 수록 확률은 높을 것이다.
$p_{j \vert i} = \frac{exp(- \vert x_i - x_j \vert^2 / 2 \sigma_i^2)}{\sum_{k \neq i} exp(- \vert x_i - x_k \vert^2 / 2 \sigma_i^2)}$
t-SNE의 목표는 임베딩 공간으로 맵핑된 벡터도 원 공간에서의 확률분포와 같게 하는 것이다.
이러한 아이디어는 SNE에 기초하고 있으며 임베딩 공간에서 벡터를 t-distribution을 따르게 하여 안정된 학습 결과를 얻게되어 t-SNE라고 불리게 된다.
임베딩 공간에서 적절한 벡터간의 거리를 구하기 위해 gradient descent를 이용하게 되는데,
임베딩 공간에서 벡터 y가 가지는 확률 q가 원 공간에서의 확률 p와 얼마나 다른지를 계산하여 학습하게 된다.