論文の概要: IGU-LoRA: Adaptive Rank Allocation via Integrated Gradients and Uncertainty-Aware Scoring

• arxiv url: http://arxiv.org/abs/2603.13792v1
• Date: Sat, 14 Mar 2026 06:45:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-17 16:19:35.410787
• Title: IGU-LoRA: Adaptive Rank Allocation via Integrated Gradients and Uncertainty-Aware Scoring
• Title（参考訳）: IGU-LoRA:統合勾配と不確かさ認識による適応的ランクアロケーション
• Authors: Xuan Cui, Huiyue Li, Run Zeng, Yunfei Zhao, Jinrui Qian, Wei Duan, Bo Liu, Zhanpeng Zhou,
• Abstract要約: IGU-LoRAは、階層内統合勾配(IG)の感度を計算し、それらをランク割り当てのための階層レベルスコアに集約する適応ランクLoRAである。 IGU-LoRAは、一致したパラメータ予算でPEFTベースラインを一貫して上回り、下流の精度とロバスト性を改善している。
• 参考スコア（独自算出の注目度）: 9.250460219785188
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As large language models (LLMs) scale to billions of parameters, full-parameter fine-tuning becomes compute- and memory-prohibitive. Parameter-efficient fine-tuning (PEFT) mitigates this issue by updating only a small set of task-specific parameters while keeping the base model frozen. Among PEFT approaches, low-rank adaptation (LoRA) is widely adopted; however, it enforces a uniform rank across layers despite substantial variation in layer importance, motivating {layerwise} rank allocation. Recent adaptive-rank variants (e.g., AdaLoRA) allocate ranks based on importance scores, yet typically rely on instantaneous gradients that capture only local sensitivity, overlooking non-local, pathwise effects within the same layer, which yields unstable and biased scores. To address this limitation, we introduce IGU-LoRA, an adaptive-rank LoRA that (i) computes within-layer Integrated Gradients (IG) sensitivities and aggregates them into a layer-level score for rank allocation, and (ii) applies an uncertainty-aware scheme using exponential moving averages with deviation tracking to suppress noisy updates and calibrate rank selection. Theoretically, we prove an upper bound on the composite trapezoidal rule approximation error for parameter-space IG under a pathwise Hessian-Lipschitz condition, which informs the quadrature budget. Across diverse tasks and architectures, IGU-LoRA consistently outperforms strong PEFT baselines at matched parameter budgets, improving downstream accuracy and robustness. Ablations confirm the contributions of pathwise within-layer sensitivity estimates and uncertainty-aware selection to effective rank allocation. Our code is publicly available at https://github.com/withyou12/igulora.git
• Abstract（参考訳）: 大規模言語モデル(LLM)が数十億のパラメータにスケールするにつれて、フルパラメータの微調整が計算とメモリの制限となる。 パラメータ効率のよい微調整(PEFT)は、基本モデルを凍結させながら、少数のタスク固有のパラメータだけを更新することでこの問題を軽減する。 PEFTアプローチでは、ローランク適応 (LoRA) が広く採用されているが、層の重要性が著しく変化しているにもかかわらず、層間の均一なランクを強制し、 {layerwise} のランク割り当てを動機付けている。 最近の適応ランクの変種(例えば、AdaLoRA)は、重要なスコアに基づいてランクを割り当てるが、通常は局所的な感度のみを捉え、同じ層内の非局所的、経路的効果を見渡して、不安定で偏りのあるスコアを得る瞬間的な勾配に依存する。 この制限に対処するために、適応ランクのLoRAであるIGU-LoRAを導入する。 (i)階層内統合勾配(IG)感度を計算し、ランク割り当てのための層レベルスコアに集約し、 (II) 偏差追跡を用いた指数移動平均を用いた不確実性認識手法を適用し, ノイズの抑制とランク選択の校正を行う。 理論的には,パラメータ空間IGに対する合成台形規則の近似誤差に対して,パスワイドなヘッセン・リプシッツ条件下での上界を証明し,その4次予算を知らせる。 様々なタスクやアーキテクチャにおいて、IGU-LoRAはパラメータ予算にマッチするPEFTベースラインを一貫して上回り、下流の精度と堅牢性を改善している。 アブレーションは、効果的なランク割り当てに対するパスワイズ層内感度推定と不確実性を考慮した選択の寄与を確認する。 私たちのコードはhttps://github.com/withyou12/igulora.gitで公開されています。

関連論文リスト

• Stabilized Fine-Tuning with LoRA in Federated Learning: Mitigating the Side Effect of Client Size and Rank via the Scaling Factor [8.51407618718798]
  プライバシ制約がフェデレーション学習(FL)を必要とする分散シナリオでは、ローランド適応(LoRA)の統合は不安定であることが多い。 本稿では,アダプタランクとフェデレートアグリゲーションの相互作用を理論的に特徴付けるフレームワークである安定化フェデレートロラ(SFed-LoRA)を紹介する。 SFed-LoRAは高階崩壊を防止し,安定性を著しく向上し,より高速な収束を実現することを実証した。
  論文  参考訳（メタデータ） (2026-03-09T07:49:56Z)
• Sensitivity-LoRA: Low-Load Sensitivity-Based Fine-Tuning for Large Language Models [26.046100835887525]
  Low-Rank Adaptation (LoRA) はLarge Language Models (LLM) に対する有望なアプローチとして登場し、低ランク分解を用いたモデルの重み付けを近似している。 本稿では,グローバルな感度と局所的な感度の両方に基づいて,動的にランクを重み行列に割り当てる,効率的な微調整法であるSensitivity-LoRAを提案する。 実験により,各種タスクおよびベンチマークにおける感度-LORAの有効性,効率,安定性が示された。
  論文  参考訳（メタデータ） (2025-09-11T03:07:05Z)
• Automatic Rank Determination for Low-Rank Adaptation via Submodular Function Maximization [56.78271181959529]
  SubLoRAは、サブモジュール関数に基づくローランド適応(LoRA)のランク決定方法である。 提案手法は, 理論的基礎, 2次精度, 実用計算効率の両立を図っている。
  論文  参考訳（メタデータ） (2025-07-02T15:56:40Z)
• Beyond Low-Rank Tuning: Model Prior-Guided Rank Allocation for Effective Transfer in Low-Data and Large-Gap Regimes [9.4848188271008]
  Low-Rank Adaptation (LoRA) は、完全に微調整された基礎モデルに匹敵する性能を維持しながら、計算コストを削減できることが証明されている。 現在の適応LoRA法は、ランクを動的に拡張または選択的に割り当てることで、この制限を克服しようとする。 本稿では, 既訓練重量行列の安定なランクを, 階層的ランクアロケーションの自然な先行として活用する新しいフレームワークSR-LoRAを紹介する。
  論文  参考訳（メタデータ） (2025-06-30T23:54:23Z)
• GeLoRA: Geometric Adaptive Ranks For Efficient LoRA Fine-tuning [2.7446241148152253]
  微調整された大言語モデル(LLM)は、全てのパラメータを更新する必要があるため、計算集約的である。 Low-Rank Adaptation (LoRA)は、重みのサブセットだけを変更することで効率を向上するが、表現性と計算コストのトレードオフをもたらす。 隠れ状態表現の内在的次元を計算し,LoRAランクを適応的に選択する新しいフレームワークGeLoRAを提案する。
  論文  参考訳（メタデータ） (2024-12-12T13:04:54Z)
• PRILoRA: Pruned and Rank-Increasing Low-Rank Adaptation [65.268245109828]
  我々はPRILoRAを導入し、各層ごとに異なるランクを線形に割り当て、トレーニングプロセスを通してプルーニングを行う。 8つのGLUEベンチマークで広範な実験を行い,PRILoRAの有効性を検証する。
  論文  参考訳（メタデータ） (2024-01-20T20:25:17Z)
• Sparse is Enough in Fine-tuning Pre-trained Large Language Models [98.46493578509039]
  我々はSparse Increment Fine-Tuning (SIFT) という勾配に基づくスパース微調整アルゴリズムを提案する。 GLUE Benchmark や Instruction-tuning などのタスクで有効性を検証する。
  論文  参考訳（メタデータ） (2023-12-19T06:06:30Z)
• Sparse Low-rank Adaptation of Pre-trained Language Models [79.74094517030035]
  本稿では,適応過程における固有ランクの動的調整を可能にする疎低ランク適応(SoRA)を提案する。 提案手法は,LoRAを高いランクで初期化すると同時に,一時的に増大するパラメータを効率的に利用することにより,LoRAの表現力を向上する。 実験の結果,SoRAは70%の保持パラメータと70%のトレーニング時間でも,他のベースラインよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-11-20T11:56:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。