Exclusive Self Attention

문제의 배경 — SA와 FFN의 역할 분담

Transformer는 두 가지 핵심 블록의 반복으로 구성됩니다. SA(Self Attention)는 문맥 속 다른 위치의 정보를 모아오고, FFN(Feed Forward Network)은 각 위치를 독립적으로 변환합니다. 이 역할 분담은 2017년 "Attention is All You Need" 이후 거의 변하지 않았습니다.

왜 이런 현상이 발생할까요? 두 가지 구조적 원인이 맞물립니다.

① 값 벡터들이 서로 양의 상관관계를 가집니다. 같은 시퀀스 내 값 벡터 \(v_i, v_j\)의 평균 코사인 유사도가 0보다 크기 때문에, 어떤 위치에서 어텐션을 집계하더라도 결과가 \(v_i\)와 비슷해지는 경향이 있습니다.

② 자기 자신 위치에 높은 어텐션 점수가 할당됩니다. 대각 어텐션 값 \(a_{i,i}\)가 상대적으로 높아, SA 출력 \(y_i\)가 \(v_i\) 자체를 많이 반영합니다. 레이어가 깊어질수록 이 편향은 더욱 심해집니다.

"This suggests that standard SA tends to aggregate value vectors similar to what the self value \(v_i\) already encodes, which implicitly overlaps with role of FFN and consequently diminishes SA's goal of context modeling."

"이는 표준 SA가 자기 값 벡터 \(v_i\)가 이미 인코딩한 것과 유사한 값 벡터를 집계하는 경향이 있음을 시사하며, 이는 FFN의 역할과 암묵적으로 겹쳐 SA의 맥락 모델링 목표를 약화시킨다."

평가 이 발견은 단순한 관찰이 아닙니다. SA와 FFN 사이에 비효율적 경쟁이 존재한다는 구조적 진단입니다. SA가 자기 위치의 정보 변환을 담당하면, FFN이 같은 일을 다시 해야 하거나 SA가 맥락 모델링에 쓸 용량이 줄어듭니다.

방법론

수식 정의

표준 SA의 정의를 먼저 확인합니다.

이제 XSA의 추가 단계를 정의합니다. 앞의 SA 연산은 그대로 유지하고, 마지막 단계만 바꿉니다.

알고리즘 코드 (PyTorch)

XSA는 표준 SA에 단 두 줄의 코드를 추가하는 것으로 구현됩니다. 아래에서 단계별로 살펴봅니다.

def exclusive_self_attention(x, Wq, Wk, Wv, Wo, H):
    B, T, D = x.shape
    Q = (x @ Wq).reshape(B, T, H, D // H).transpose(1, 2)
    K = (x @ Wk).reshape(B, T, H, D // H).transpose(1, 2)
    V = (x @ Wv).reshape(B, T, H, D // H).transpose(1, 2)
    Y = torch.nn.functional.scaled_dot_product_attention(Q, K, V, is_causal=True)
    Vn = torch.nn.functional.normalize(V, dim=-1)          # ← XSA 추가 ①
    Z = Y - (Y * Vn).sum(dim=-1, keepdim=True) * Vn        # ← XSA 추가 ②
    out = Z.transpose(1, 2).reshape(B, T, D) @ Wo
    return out
        

구현 세부사항 및 학습 설정

보충 논문에서 학습률은 베이스라인에 대해 그리드 서치로 찾고, XSA에도 동일한 학습률을 사용합니다. 즉 XSA가 별도의 하이퍼파라미터 튜닝 없이도 성능 이득을 얻는지 공정하게 비교합니다.

인터랙티브 데모 — 직교 분해 체험

슬라이더를 조작해 y_i와 v_i의 각도를 바꾸면서, XSA가 어떻게 v_i 방향 성분을 제거하는지 확인하세요.

한계점 & 열린 질문들

평가 한계 4는 중요한 지적입니다. XSA가 "단순히 정규화 효과를 주는 것"인지, "진정으로 역할 분리를 이루는 것"인지 구분하려면 이론적 분석이 필요합니다. 향후 연구에서 해석 가능성(interpretability) 관점의 분석이 기대됩니다.

Q&A — 연구자의 고민과 독자의 질문