Curvature-Guided LoRA: Steering in the pretrained NTK subspace
Abstractの概要
本論文は、パラメータ効率的ファインチューニング（PEFT）における予測アライメント問題を導入する。これは、LoRA適応モデルの出力をパラメータ更新の一致ではなく、関数レベルでフルファインチューニングの出力に一致させることを目的とする。NTKレジームにおいて、この目的が曲率を考慮した二次形式の定式化につながり、最適な低ランク更新方向が曲率白色化勾配に対応することを示す。この分析に基づき、K-FACスタイルの局所曲率近似を用いてアダプタ方向を選択・スケーリングするCurvature-Guided LoRA（CG-LoRA）を提案し、大規模な二次行列の明示的構築を回避する。RoBERTa-baseおよびT5-baseを用いた複数のGLUEタスクにおいて、LoRA-GA、LoRA-One、rsLoRAベースラインとの比較による予備実験が行われている。
新規性
主な新規性は、PEFTをパラメータ空間の一致ではなく、フルファインチューニングとの出力レベルの一致を目標とする関数空間における予測アライメント問題として定式化した点にある。この定式化により、最適な低ランクアダプタ初期化とK-FAC近似下でのニュートン法的な曲率白色化勾配との理論的接続が得られ、計算効率の高い曲率誘導型LoRA初期化手法が導出される。
成果
報告されたRoBERTa-baseのGLUE実験において、CG-LoRA（シフトなし）はテストされた5つのデータセット全てでLoRA-GAおよびLoRA-Oneより高い精度を達成し、特にCoLAでは分散が低く学習率への感度も低減された。T5-baseではより均衡した結果となり、CG-LoRAは既存の初期化手法と同等の競争力を維持した。初期化手順は、RoBERTa-baseのCoLAセットアップにおいてLoRA-GAと比較して約2倍高速かつ大幅に少ないメモリ使用量であった（3.58秒/509.95 MiB対7.01秒/1.28 GiB）。
論文の注目点
- 本論文は、フルファインチューニングとの出力レベルのアライメントと事前学習済みNTK部分空間における曲率を考慮した低ランク更新との理論的関連を導出し、最適なアダプタ方向がK-FAC近似下での白色化勾配から得られることを示した。
- CG-LoRAはK-FACスタイルの近似を用いた曲率白色化勾配からLoRAアダプタの初期化を構築し、大規模な二次行列の明示的構築を回避するとともに、報告されたベンチマークにおいてLoRA-GAよりも低い初期化コストを達成した。
- 予備実験において、CG-LoRA（シフトなし）はRoBERTa-baseで他のLoRA初期化手法と比較して最も大きな改善を示し、損失の低減が速く学習率への感度も低い一方、事前学習済み勾配が既に情報量を持つT5-baseでは同等の競争力を維持した。