論文の概要: Statistical Inference for Rank Allocation in Low-Rank Adaptation

• arxiv url: http://arxiv.org/abs/2607.20205v1
• Date: Wed, 22 Jul 2026 14:25:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-23 18:51:38.112145
• Title: Statistical Inference for Rank Allocation in Low-Rank Adaptation
• Title（参考訳）: 低ランク適応におけるランクアロケーションの統計的推定
• Authors: Yihang Gao, Vincent Y. F. Tan,
• Abstract要約: 低ランク適応 (LoRA) は大規模言語モデルにおいてパラメータ効率の高い微調整法として広く用いられている。 統計的推論に基づくランクアロケーション手法であるStatLoRAを提案する。 StatLoRA は,Vanilla LoRA,AdaLoRA,I-LoRA と同等以上の性能を示す。
• 参考スコア（独自算出の注目度）: 54.886931928255564
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Low-rank adaptation (LoRA) has become a widely used parameter-efficient fine-tuning method for large language models. Since different modules and layers may contribute unequally to downstream adaptation, allocating rank resources under a fixed parameter budget is an important problem for balancing efficiency, expressiveness, and generalization. Existing adaptive rank methods address this problem mainly through carefully designed importance scores constructed from gradient-derived sensitivity and uncertainty measures, without an explicit statistical interpretation. In this paper, we formulate LoRA rank allocation as a statistical hypothesis testing problem and propose StatLoRA, a statistical inference-based rank allocation method. StatLoRA associates each LoRA component with a test statistic and uses estimated p-values to determine which components should be retained or pruned under a prescribed rank budget. The proposed testing procedure is supported by our central limit theory for stochastic optimizer trajectories. In particular, we establish asymptotic normality for a broad class of commonly used optimizers in deep learning, including AdamW, and derive the corresponding asymptotic distributions for the proposed component scores used in hypothesis testing. We evaluate StatLoRA on LoRA fine-tuning of DeBERTaV3-base, BART-Large, and Qwen2.5-7B across natural language understanding, natural language generation, and question answering tasks. Experiments show that StatLoRA achieves comparable or better performance than vanilla LoRA, AdaLoRA, and IGU-LoRA under matched rank budgets. Sensitivity analyses and empirical diagnostics further support the stability of the proposed hypothesis-testing-based allocation rule and provide empirical evidence for the asymptotic theory of component scores.
• Abstract（参考訳）: 低ランク適応 (LoRA) は大規模言語モデルにおいてパラメータ効率の高い微調整法として広く用いられている。 異なるモジュールやレイヤが下流適応に不平等に寄与する可能性があるため、固定パラメータ予算の下でのランクリソースの割り当ては、効率、表現性、一般化のバランスをとる上で重要な問題である。 既存の適応階数法は、主に、統計的に明確な解釈なしに、勾配由来の感度と不確実性の測定から構築された、慎重に設計された重要度スコアを通してこの問題に対処する。 本稿では,統計的仮説テスト問題としてLoRAランク割り当てを定式化し,統計的推論に基づくランク割り当て手法であるStatLoRAを提案する。 StatLoRAは各LoRAコンポーネントをテスト統計と関連付け、推定されたp-値を使用して、所定のランクの予算の下でどのコンポーネントを保持またはプルーニングすべきかを決定する。 提案手法は,確率的オプティマイザ軌道に対する中心極限理論によって支持される。 特に、AdamWを含むディープラーニングにおける多種多様な最適化器の漸近正規性を確立し、仮説テストで用いられるコンポーネントスコアに対する対応する漸近分布を導出する。 DeBERTaV3-base, BART-Large, Qwen2.5-7B の LoRA 微調整における StatLoRA の評価を行った。 実験の結果、StatLoRAはバニラ・ロラ、アダ・ロラ、IGU-ロラと同等または同等の性能を達成していることがわかった。 感度分析と経験的診断は、提案された仮説テストに基づく割り当て規則の安定性をさらに支援し、成分スコアの漸近理論の実証的証拠を提供する。

関連論文リスト

• BaRA: Bayesian Adaptive Rank Allocation for Parameter-Efficient Fine-Tuning [40.998095775740886]
  低ランク適応(LoRA)は、タスク固有の更新を固定された低ランク部分空間に制限することで、非常に効率的な微調整を可能にする。 パラメータ効率の良い微調整のためのベイズ適応ランクアロケーションフレームワークであるBaRAを提案する。 BaRAは、非絡み合った潜在因子のスパースでコンテキスト依存のサブセットを活性化することで適応能力を動的に割り当てる。
  論文  参考訳（メタデータ） (2026-06-28T04:08:09Z)
• IGU-LoRA: Adaptive Rank Allocation via Integrated Gradients and Uncertainty-Aware Scoring [9.250460219785188]
  IGU-LoRAは、階層内統合勾配(IG)の感度を計算し、それらをランク割り当てのための階層レベルスコアに集約する適応ランクLoRAである。 IGU-LoRAは、一致したパラメータ予算でPEFTベースラインを一貫して上回り、下流の精度とロバスト性を改善している。
  論文  参考訳（メタデータ） (2026-03-14T06:45:54Z)
• LoRA-DA: Data-Aware Initialization for Low-Rank Adaptation via Asymptotic Analysis [33.708800231646606]
  データ認識型LoRAの理論的枠組みを確立した。 そこで我々は,目標領域の少数のサンプルから最適化問題の項を推定するアルゴリズムLoRA-DAを開発した。 さらなる研究により、より速く、より安定な収束、ランク間の堅牢性、LoRA-DAのオーバーヘッドはわずかである。
  論文  参考訳（メタデータ） (2025-10-28T15:55:36Z)
• Automatic Rank Determination for Low-Rank Adaptation via Submodular Function Maximization [56.78271181959529]
  SubLoRAは、サブモジュール関数に基づくローランド適応(LoRA)のランク決定方法である。 提案手法は, 理論的基礎, 2次精度, 実用計算効率の両立を図っている。
  論文  参考訳（メタデータ） (2025-07-02T15:56:40Z)
• HRP: High-Rank Preheating for Superior LoRA Initialization [58.3319586613105]
  ハイランク予熱 (HRP) はローランク適応 (LoRA) を数ステップで運転する。 HRPは様々なモデルやタスクにおいてLoRAの有効性を大幅に向上させる。
  論文  参考訳（メタデータ） (2025-02-11T17:59:35Z)
• GeLoRA: Geometric Adaptive Ranks For Efficient LoRA Fine-tuning [2.7446241148152253]
  微調整された大言語モデル(LLM)は、全てのパラメータを更新する必要があるため、計算集約的である。 Low-Rank Adaptation (LoRA)は、重みのサブセットだけを変更することで効率を向上するが、表現性と計算コストのトレードオフをもたらす。 隠れ状態表現の内在的次元を計算し,LoRAランクを適応的に選択する新しいフレームワークGeLoRAを提案する。
  論文  参考訳（メタデータ） (2024-12-12T13:04:54Z)
• Randomized Asymmetric Chain of LoRA: The First Meaningful Theoretical Framework for Low-Rank Adaptation [58.288682735160585]
  Low-Rank Adaptation (LoRA) は、ファインチューニングモデルの一般的なテクニックである。 LoRAは、フルパラメータの微調整と比較すると、しばしば実行されます。 本稿では,LoRA手法の適応率を厳密に分析するフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-10T18:51:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。