방법론
1. 형식적 정의 — BAN 손실 함수
먼저 표준 지도 학습의 형식화로 시작합니다. 이미지-레이블 쌍 (x, y) ∈ X × Y가 있을 때, 신경망 f(x, θ₁)은 경험적 위험 최소화(Empirical Risk Minimization, ERM)를 통해 학습됩니다:
\[ \theta_1^* = \arg\min_{\theta_1} \mathcal{L}(y,\, f(x, \theta_1)) \tag{1} \]
| 변수 | 의미 | 비고 |
|---|
θ₁ | 선생님 모델의 파라미터 | 공간 Θ₁ 안에서 최적화 |
f(x, θ₁) | 선생님 모델의 출력 (소프트맥스 분포) | 클래스 확률 벡터 |
y | 정답 레이블 (one-hot) | 실제 정답 클래스 |
𝓛 | 손실 함수 | 일반적으로 크로스엔트로피 |
직관적 해설
선생님 모델은 일반적인 방식으로 훈련됩니다. 정답 레이블 y에 대한 크로스엔트로피를 최소화하여 최적 파라미터 θ₁*를 얻습니다. 이 모델은 수렴 후 "고정"되어 학생의 선생님 역할을 합니다.
수학적 유도
이는 표준 SGD(확률적 경사 하강법)의 형태입니다. 손실 함수 𝓛는 보통 크로스엔트로피 H(y, f(x,θ)) = -Σᵢ yᵢ log fᵢ(x,θ)로 정의됩니다. 정답 레이블이 one-hot이면 이는 예측 확률의 로그만 남게 됩니다.
BAN 학생은 선생님의 출력 분포를 추가 목표로 삼아 학습합니다:
\[ \mathcal{L}\!\left(f\!\left(x,\;\arg\min_{\theta_1}\mathcal{L}(y,f(x,\theta_1))\right),\;f(x,\theta_2)\right) \tag{2} \]
| 변수 | 의미 | 비고 |
|---|
θ₂ | 학생 모델의 파라미터 | 선생님과 동일한 아키텍처, 다른 랜덤 시드 |
f(x, θ₁*) | 수렴한 선생님의 출력 분포 | 이것이 학생의 훈련 신호 |
f(x, θ₂) | 학생 모델의 출력 분포 | θ₁*와 가까워지도록 학습 |
직관적 해설
핵심 변화는 손실 함수의 "목표"가 달라지는 것입니다. 기존에는 정답 레이블 y (one-hot 벡터)만을 목표로 했다면, 이제는 선생님의 소프트맥스 출력 분포 f(x, θ₁*)를 목표로 합니다. 이 "소프트 레이블"은 각 클래스에 대한 확률 값을 포함하여, 클래스 간 유사도 관계를 함께 담고 있습니다.
왜 이 수식인가
정답 레이블만으로는 "고양이와 개가 비슷하다"는 정보가 없습니다. 하지만 선생님의 출력 [고양이: 0.8, 개: 0.15, 자동차: 0.05]는 클래스 간 관계를 암묵적으로 담고 있습니다. 이 풍요로운 정보가 훈련 신호를 개선하여 학생이 더 잘 일반화하도록 돕습니다. 기존 KD에서는 온도 T를 이용해 분포를 부드럽게 만들지만, BAN에서는 온도 없이도 효과가 있습니다.
2. 순차 BAN — 여러 세대의 연쇄
k번째 BAN은 (k-1)번째 모델을 선생님으로 삼아 훈련됩니다:
\[ \mathcal{L}\!\left(f\!\left(x,\;\arg\min_{\theta_{k-1}}\mathcal{L}(f(x,\theta_{k-1}))\right),\;f(x,\theta_k)\right) \tag{3} \]
직관적 해설
각 세대는 이전 세대를 선생님으로 삼습니다. Teacher → BAN-1 → BAN-2 → BAN-3 순으로 지식이 전달됩니다. 세대가 깊어질수록 성능이 향상되지만 수확체감이 발생합니다. 논문의 실험에서 BAN-3-DenseNet-80-80이 단일 모델 SOTA를 달성했습니다.
앙상블은 k 세대 예측의 평균으로 정의됩니다:
\[ \hat{f}_k(x) = \sum_{i=1}^{k} f(x,\,\theta_i)\,/\,k \tag{4} \]
직관적 해설
k 세대의 예측 확률 분포를 단순 평균합니다. 각 세대는 다른 랜덤 시드로 초기화되므로 다양한 솔루션에 수렴하여 앙상블의 분산이 감소합니다. 이는 같은 모델을 여러 번 복사하는 것과는 다릅니다 — 다양성이 있기 때문에 앙상블 효과가 발생합니다.
3. Dark Knowledge의 해부 — 그것이 정말 중요한가?
선생님의 출력 분포에서 dark knowledge가 왜 효과적인지 이해하기 위해, 저자들은 경사(gradient) 수준에서 분석합니다.
학생 로짓 zⱼ와 선생님 로짓 tⱼ 간의 크로스엔트로피에서, i번째 출력에 대한 단일 샘플 경사는:
\[ \frac{\partial \mathcal{L}_i}{\partial z_i} = q_i - p_i = \frac{e^{z_i}}{\sum_{j=1}^n e^{z_j}} - \frac{e^{t_i}}{\sum_{j=1}^n e^{t_j}} \tag{5} \]
| 변수 | 의미 | 비고 |
|---|
qᵢ | 학생의 소프트맥스 출력 (i번째 클래스) | = eᶻⁱ / Σ eᶻʲ |
pᵢ | 선생님의 소프트맥스 출력 (i번째 클래스) | = eᵗⁱ / Σ eᵗʲ |
zᵢ | 학생의 i번째 로짓(logit) | 소프트맥스 이전 값 |
tᵢ | 선생님의 i번째 로짓 | 고정된 값 (backward 없음) |
직관적 해설
경사는 학생 출력 qᵢ와 선생님 출력 pᵢ의 차이입니다. 학생이 선생님과 같아지도록 업데이트됩니다. 이는 정답 one-hot 레이블을 사용할 때와 달리, 모든 n개 클래스에 대한 피드백이 동시에 발생합니다.
정답 레이블 ∗가 one-hot(p∗ = y∗ = 1)일 때, 즉 표준 크로스엔트로피 경사로 환원하면:
\[ \frac{\partial \mathcal{L}^*}{\partial z_*} = q_* - y_* = \frac{e^{z_*}}{\sum_{j=1}^n e^{z_j}} - 1 \tag{6} \]
해설
표준 크로스엔트로피는 정답 클래스 ∗에 대한 경사만이 의미 있습니다. q∗가 1에 가까워질수록 경사가 0이 됩니다. 이 경우 오답 클래스에 대한 정보(dark knowledge)는 전혀 활용되지 않습니다.
미니배치에서 KD 경사를 풀어보면 두 항으로 분해됩니다:
\[ \sum_{s=1}^{b}\sum_{i=1}^{n}\frac{\partial \mathcal{L}_{i,s}}{\partial z_{i,s}} = \underbrace{\sum_{s=1}^{b}(q_{*,s}-p_{*,s})}_{\text{정답 클래스 항}} + \underbrace{\sum_{s=1}^{b}\sum_{i=1}^{n-1}(q_{i,s}-p_{i,s})}_{\text{dark knowledge 항}} \tag{7} \]
직관적 해설
KD 경사는 두 항의 합입니다: (1) 정답 클래스에 대한 경사 — 선생님이 얼마나 확신하는지에 따라 스케일링됨, (2) 모든 오답 클래스에 대한 경사 — dark knowledge. 이 분해가 논문의 두 실험(CWTM, DKPP)의 이론적 근거가 됩니다.
왜 이것이 중요한가
정답 항(첫 번째 항)은 중요도 가중치처럼 해석할 수 있습니다. 선생님이 확신하는(p∗,s ≈ 1) 샘플에서는 원래 크로스엔트로피와 동일하게, 불확실한 샘플에서는 경사가 축소됩니다. 그렇다면 두 번째 항(dark knowledge)이 실제로 필요한가? 이것이 CWTM과 DKPP 실험의 핵심 질문입니다.
정답 항을 다시 쓰면, 선생님의 확신도 p∗가 각 샘플의 중요도 가중치로 작동함이 드러납니다:
\[ \frac{1}{b}\sum_{s=1}^{b}(q_{*,s} - p_{*,s}\,y_{*,s}) \tag{8} \]
해설
p∗,s ≈ 1 (선생님이 확신함)이면 경사는 표준 크로스엔트로피 경사 q∗,s - y∗,s와 거의 같아집니다. p∗,s < 1 (선생님이 불확실함)이면 경사가 p∗,s 만큼 축소됩니다 — 어려운 샘플(선생님도 틀리는 샘플)에서 학습 신호를 줄이는 효과입니다.
4. 두 가지 실험적 치료 — Dark Knowledge의 기여 분리
저자들은 dark knowledge의 역할을 분리하기 위해 두 가지 치료를 설계합니다:
치료 1 CWTM (Confidence Weighted by Teacher Max)
오답 클래스 정보를 완전히 제거합니다. 대신 선생님의 최대 출력값 max p.,s를 각 샘플의 중요도 가중치로 사용합니다:
\[ \sum_{s=1}^{b}\frac{\max p_{\cdot,s}}{\sum_{u=1}^b \max p_{\cdot,u}}(q_{*,s} - y_{*,s}) \tag{10} \]
직관적 해설
순수하게 중요도 가중 레이블 학습입니다. 선생님이 어떤 샘플에 얼마나 확신하는지만 정보로 사용하고, 오답 클래스에 대한 정보(dark knowledge의 핵심)는 완전히 제거합니다. 만약 CWTM이 표준 KD와 비슷한 성능을 내면 → dark knowledge는 불필요, 중요도 가중치만으로 충분. 성능이 낮으면 → dark knowledge 자체가 중요.
치료 2 DKPP (Dark Knowledge with Permuted Predictions)
오답 클래스 출력을 무작위로 섞어(permute) 클래스 간 쌍별 유사도 정보를 파괴합니다:
\[ \sum_{s=1}^b\sum_{i=1}^n \frac{\partial\mathcal{L}_{i,s}}{\partial z_{i,s}} = \sum_{s=1}^b(q_{*,s} - \max p_{\cdot,s}) + \sum_{s=1}^b\sum_{i=1}^{n-1}(q_{i,s} - \varphi(p_{j,s})) \tag{11} \]
| 변수 | 의미 | 비고 |
|---|
φ(pⱼ,ₛ) | 선생님의 permuted 오답 클래스 출력 | argmax 제외 차원을 무작위 섞음 |
직관적 해설
DKPP는 dark knowledge의 "고차 통계(분포 형태)"를 유지하되, "어떤 클래스와 얼마나 유사한가"라는 정보는 제거합니다. 만약 DKPP가 표준 KD와 비슷하면 → 특정 클래스 간 유사도 정보는 불필요, 분포 형태(고차 모멘트)가 중요. 성능이 낮으면 → 쌍별 클래스 유사도 정보가 dark knowledge의 핵심.
5. BAN-ResNet — 아키텍처 간 증류
논문은 선생님과 학생이 다른 아키텍처를 가진 경우도 탐구합니다. DenseNet 선생님 → ResNet 학생, 또는 ResNet 선생님 → DenseNet 학생.
DenseNet이 BAN을 통해 동일 파라미터 수의 ResNet보다 훨씬 우수한 성능을 달성하므로, DenseNet 선생님으로 ResNet 학생을 훈련시킵니다. 이 BAN-ResNet 학생들은 클래식 ResNet 기준선과 자신의 선생님 모두를 능가합니다.
평가 이 결과는 "약한 선생님도 강한 학생을 만들 수 있다"는 점을 시사합니다. KD는 반드시 가장 강력한 선생님이 필요하지 않습니다.
6. 구현 세부사항
| 항목 | 설정값 | 비고 |
|---|
| 데이터셋 | CIFAR-10, CIFAR-100, Penn Tree Bank | 이미지 + 언어 모델 |
| 전처리 (CIFAR-100) | Wide-ResNet 설정과 동일. Mean-Std 정규화 제외 | |
| 정규화 | Weight decay + KD loss. Wide-ResNet에는 dropout 추가 | |
| 모델 (이미지) | DenseNet-(112-33, 90-60, 80-80, 80-120), Wide-ResNet-(28-1/2/5/10) | depth-growth 또는 depth-width |
| LSTM 설정 | 1500 유닛, weight tying, 65% dropout, 40 에폭, SGD, mini-batch 32, lr 1 (decay 0.25) | Zaremba et al. (2014) 설정 |
| CNN-LSTM 설정 | SGD, mini-batch 20, lr 2 (decay 0.5), 35 unroll steps | Kim et al. (2016) 변형 |
| KD 손실 | 소프트맥스 출력 간 크로스엔트로피 (온도 없음) | logit softening 미적용 |
| BAN-ResNet 공유 레이어 | 첫 번째(conv1)와 마지막(fc-output) 레이어를 선생님과 공유 및 고정 | Dense Block → Residual Block으로 교체 |
평가 논문은 온도(temperature) 없이 softmax 출력을 직접 사용합니다. Hinton et al.(2015)의 원래 dark knowledge와 달리, 온도 소프트닝 없이도 동일 아키텍처 간 BAN이 효과적임을 처음으로 체계적으로 증명한 것이 이 논문의 중요한 기여입니다.
