LoRA vs 전체 미세 조정: 정말 같은 방식일까?

LoRA vs 전체 미세 조정: 정말 같은 방식일까?

Low-Rank Adaptation (LoRA)는 최근 대규모 언어 모델(LLM)을 보다 효율적으로 미세 조정(fine-tuning)할 수 있는 방법으로 주목받고 있습니다. LoRA는 적은 수의 학습 가능한 파라미터로도 전체 미세 조정과 비슷한 성능을 보일 수 있습니다. 하지만, 이 두 방법이 비슷한 성능을 낸다고 해서 동일한 방식으로 학습하는 것일까요? 이 질문에 대한 답을 찾기 위해, 연구팀은 LoRA와 전체 미세 조정이 가중치 행렬에 어떤 영향을 미치는지 스펙트럼 분석을 통해 비교했습니다.

연구 배경

미세 조정은 사전 학습된 대규모 언어 모델을 특정 작업에 맞춰서 최적화하는 과정입니다. 기존의 미세 조정 방식은 모든 파라미터를 학습하지만, LoRA는 가중치 업데이트를 저랭크 행렬로 단순화하여 파라미터 효율성을 높입니다. 하지만, 두 방식이 비슷한 성능을 보이더라도 동일한 매개변수 공간을 활용하는 것은 아닙니다.

 

이번 연구에서는 LoRA와 전체 미세 조정이 다른 구조적 변화를 일으킨다는 것을 발견했습니다. 특히, LoRA를 통해 미세 조정된 모델에서는 침입자 차원(intruder dimensions)이라는 새로운 특성이 나타났는데, 이는 전체 미세 조정에서는 나타나지 않는 현상입니다. 이 침입자 차원은 LoRA 모델의 일반화 성능에 부정적인 영향을 미칠 수 있습니다.

연구 주요 결과

1. LoRA와 전체 미세 조정의 구조적 차이

LoRA로 미세 조정된 모델은 사전 학습된 가중치 행렬과 비교했을 때 침입자 차원을 형성합니다. 이 침입자 차원은 사전 학습된 가중치 행렬의 기존 특이 벡터와 거의 직교하는 새로운 특이 벡터입니다. 반면, 전체 미세 조정은 기존 특이 벡터를 유지하며, 침입자 차원이 나타나지 않습니다.

2. LoRA의 일반화 성능 저하

LoRA로 학습된 모델은 목표 작업에서는 좋은 성능을 보이지만, 사전 학습 분포에서 더 많은 정보를 잃고, 연속 학습(continual learning) 작업에서 덜 견고한 성능을 보입니다. 침입자 차원이 포함된 LoRA 모델은 여러 작업을 순차적으로 학습할 때 성능이 더 많이 떨어집니다. 하지만, 랭크가 높은 LoRA 모델은 이러한 문제를 덜 겪으며, 전체 미세 조정과 더 유사한 성능을 보입니다.

3. 높은 랭크 LoRA 모델의 장점

낮은 랭크의 LoRA 모델이 목표 작업에서 전체 미세 조정과 유사한 성능을 보일 수 있지만, 랭크가 더 높은 LoRA 모델이 더 나은 일반화 성능과 강력한 적응성을 보입니다. 특히, 랭크가 안정화된(rank-stabilized) LoRA 모델은 전체 미세 조정과 매우 유사한 성능을 나타냅니다.

실험 결과

1. 스펙트럼 구조 분석

연구팀은 특이값 분해(SVD)를 사용해 LoRA와 전체 미세 조정이 가중치 행렬에 어떻게 영향을 미치는지 분석했습니다. LoRA는 침입자 차원을 생성하는 반면, 전체 미세 조정은 기존 사전 학습된 특이 벡터와 높은 유사도를 유지합니다.

2. 연속 학습에서의 성능 저하

RoBERTa 모델을 여러 작업에 대해 연속 학습시킨 결과, 랭크가 낮은 LoRA 모델은 이전 작업에서 학습한 정보를 더 많이 잃는 경향을 보였습니다. 반면, 랭크가 높은 LoRA 모델은 전체 미세 조정과 유사한 성능을 유지했습니다.

3. 사전 학습 분포에서의 성능

LoRA 모델은 랭크가 낮을수록 사전 학습된 데이터에서 더 많은 정보를 잃었습니다. 그러나, 랭크가 높은 LoRA 모델은 사전 학습 분포에서의 성능 저하가 적었으며, 전체 미세 조정과 유사한 성능을 보였습니다.

침입자 차원의 원인

LoRA에서 침입자 차원이 나타나는 이유는 가중치 업데이트 방식의 차이에서 기인합니다. LoRA는 기존의 가중치 업데이트 방식을 따르지 않고, 저랭크 행렬로 가중치를 업데이트합니다. 이 과정에서 새로운 특이 벡터가 생성되며, 이 벡터는 기존 특이 벡터와 직교하게 됩니다. 또한, LoRA는 학습 속도가 더 빠르고 랭크가 낮은 공간에서의 업데이트를 수행하기 때문에 침입자 차원이 자주 발생합니다.

결론

이번 연구는 LoRA와 전체 미세 조정이 동일한 성능을 보일 때에도 완전히 다른 방식으로 학습된다는 사실을 발견했습니다. LoRA는 침입자 차원을 생성하여 모델의 일반화 성능에 부정적인 영향을 미칠 수 있으며, 특히 연속 학습에서 더 많은 성능 저하를 보입니다. 따라서, 랭크가 더 높은 LoRA 모델이 일반화 성능과 적응성 측면에서 더 유리할 수 있습니다.

결론적으로, LoRA와 전체 미세 조정은 비슷한 성능을 보일지라도, 매개변수 공간에서 서로 다른 경로를 탐색하고 있으며, LoRA의 성능을 최대한 활용하려면 랭크 조정과 침입자 차원의 감소가 필요합니다.

---

출처: LoRA vs Full Fine-tuning: An Illusion of Equivalence