Fugu-MT 論文翻訳(概要): IGU-LoRA: Adaptive Rank Allocation via Integrated Gradients and Uncertainty-Aware Scoring

論文の概要: IGU-LoRA: Adaptive Rank Allocation via Integrated Gradients and Uncertainty-Aware Scoring

arxiv url: http://arxiv.org/abs/2603.13792v1
Date: Sat, 14 Mar 2026 06:45:54 GMT
ステータス: 翻訳完了
システム内更新日: 2026-03-17 16:19:35.410787
Title: IGU-LoRA: Adaptive Rank Allocation via Integrated Gradients and Uncertainty-Aware Scoring
Title（参考訳）: IGU-LoRA:統合勾配と不確かさ認識による適応的ランクアロケーション
Abstract要約: IGU-LoRAは、階層内統合勾配(IG)の感度を計算し、それらをランク割り当てのための階層レベルスコアに集約する適応ランクLoRAである。 IGU-LoRAは、一致したパラメータ予算でPEFTベースラインを一貫して上回り、下流の精度とロバスト性を改善している。
参考スコア（独自算出の注目度）: 9.250460219785188
License: http://creativecommons.org/licenses/by/4.0/
Abstract: As large language models (LLMs) scale to billions of parameters, full-parameter fine-tuning becomes compute- and memory-prohibitive. Parameter-efficient fine-tuning (PEFT) mitigates this issue by updating only a small set of task-specific parameters while keeping the base model frozen. Among PEFT approaches, low-rank adaptation (LoRA) is widely adopted; however, it enforces a uniform rank across layers despite substantial variation in layer importance, motivating {layerwise} rank allocation. Recent adaptive-rank variants (e.g., AdaLoRA) allocate ranks based on importance scores, yet typically rely on instantaneous gradients that capture only local sensitivity, overlooking non-local, pathwise effects within the same layer, which yields unstable and biased scores. To address this limitation, we introduce IGU-LoRA, an adaptive-rank LoRA that (i) computes within-layer Integrated Gradients (IG) sensitivities and aggregates them into a layer-level score for rank allocation, and (ii) applies an uncertainty-aware scheme using exponential moving averages with deviation tracking to suppress noisy updates and calibrate rank selection. Theoretically, we prove an upper bound on the composite trapezoidal rule approximation error for parameter-space IG under a pathwise Hessian-Lipschitz condition, which informs the quadrature budget. Across diverse tasks and architectures, IGU-LoRA consistently outperforms strong PEFT baselines at matched parameter budgets, improving downstream accuracy and robustness. Ablations confirm the contributions of pathwise within-layer sensitivity estimates and uncertainty-aware selection to effective rank allocation. Our code is publicly available at https://github.com/withyou12/igulora.git
Abstract（参考訳）: 大規模言語モデル(LLM)が数十億のパラメータにスケールするにつれて、フルパラメータの微調整が計算とメモリの制限となる。パラメータ効率のよい微調整(PEFT)は、基本モデルを凍結させながら、少数のタスク固有のパラメータだけを更新することでこの問題を軽減する。 PEFTアプローチでは、ローランク適応 (LoRA) が広く採用されているが、層の重要性が著しく変化しているにもかかわらず、層間の均一なランクを強制し、 {layerwise} のランク割り当てを動機付けている。最近の適応ランクの変種(例えば、AdaLoRA)は、重要なスコアに基づいてランクを割り当てるが、通常は局所的な感度のみを捉え、同じ層内の非局所的、経路的効果を見渡して、不安定で偏りのあるスコアを得る瞬間的な勾配に依存する。この制限に対処するために、適応ランクのLoRAであるIGU-LoRAを導入する。 (i)階層内統合勾配(IG)感度を計算し、ランク割り当てのための層レベルスコアに集約し、 (II) 偏差追跡を用いた指数移動平均を用いた不確実性認識手法を適用し, ノイズの抑制とランク選択の校正を行う。理論的には,パラメータ空間IGに対する合成台形規則の近似誤差に対して,パスワイドなヘッセン・リプシッツ条件下での上界を証明し,その4次予算を知らせる。様々なタスクやアーキテクチャにおいて、IGU-LoRAはパラメータ予算にマッチするPEFTベースラインを一貫して上回り、下流の精度と堅牢性を改善している。アブレーションは、効果的なランク割り当てに対するパスワイズ層内感度推定と不確実性を考慮した選択の寄与を確認する。私たちのコードはhttps://github.com/withyou12/igulora.gitで公開されています。

関連論文リスト

Statistical Inference for Rank Allocation in Low-Rank Adaptation [54.886931928255564]
低ランク適応 (LoRA) は大規模言語モデルにおいてパラメータ効率の高い微調整法として広く用いられている。統計的推論に基づくランクアロケーション手法であるStatLoRAを提案する。 StatLoRA は,Vanilla LoRA,AdaLoRA,I-LoRA と同等以上の性能を示す。
論文参考訳（メタデータ） (2026-07-22T14:25:59Z)
LAARA: Layer-Aware Adaptive Rank Allocation for Parameter-Efficient Fine-Tuning [13.12609725011405]
低ランク適応はパラメータ効率の微調整に広く用いられている。我々は、一様ランクの割り当てが基本的に準最適であることを理論的、実証的に示す。ランクを動的に割り当てる検索不要のフレームワークであるLAARAを提案する。
論文参考訳（メタデータ） (2026-07-02T19:01:59Z)
BaRA: Bayesian Adaptive Rank Allocation for Parameter-Efficient Fine-Tuning [40.998095775740886]
低ランク適応(LoRA)は、タスク固有の更新を固定された低ランク部分空間に制限することで、非常に効率的な微調整を可能にする。パラメータ効率の良い微調整のためのベイズ適応ランクアロケーションフレームワークであるBaRAを提案する。 BaRAは、非絡み合った潜在因子のスパースでコンテキスト依存のサブセットを活性化することで適応能力を動的に割り当てる。
論文参考訳（メタデータ） (2026-06-28T04:08:09Z)
SDS-LoRA: Overcoming Anisotropic Gradient Scaling in Low-Rank Adaptation [64.33799467286265]
Low-Rank Adaptation (LoRA)は、大規模な事前訓練されたモデルの下流タスクへの効率的な適応を可能にする。完全な微調整勾配が低ランク行列に逆伝播すると,その特異値によって誘導される異方性スケーリングを受けることを示す。本稿では,後方パスから特異値を構造的に分離する新しい低ランクパラメータ化SDS-LoRAを提案する。
論文参考訳（メタデータ） (2026-06-15T09:27:50Z)
SMoA: Spectrum Modulation Adapter for Parameter-Efficient Fine-Tuning [57.85676271833619]
低ランク適応 (LoRA) は、全パラメータの微調整をシミュレートするために低ランク更新法を用いる。ランクが大きくなるにつれて、より主特異な方向が保存され、一般にモデルの性能が向上する。 textbfSpectrum textbfModulation textbfAdapterを提案する。
論文参考訳（メタデータ） (2026-05-20T13:19:28Z)
Not How Many, But Which: Parameter Placement in Low-Rank Adaptation [7.686602368047758]
LoRAアダプタのB行列内のトレーニング可能なエントリ(Aフリーズ)の固定予算が$k$であるなら、どの$k$が重要だろうか? 教師付き微調整、ランダム、インシデントされたサブセットは、同等のパフォーマンスを達成する。 GRPOのベースモデルでは、ランダム配置はベースモデルよりも改善されず、勾配インフォームド配置は標準のLoRA精度を回復する。
論文参考訳（メタデータ） (2026-05-12T14:46:00Z)
Post-Optimization Adaptive Rank Allocation for LoRA [10.796887002907456]
Post-Optimization Adaptive Rank Allocation (PARA) はローランド適応データ自由圧縮法である。我々は,既存の微調整パイプラインにシームレスに統合されたLoRAのデータフリー圧縮手法であるPARAを提案する。 PARAは、視覚および言語ベンチマークにおけるオリジナルの圧縮されていないLoRAの予測性能を維持しながら、パラメータ数を75-90%削減することを示した。
論文参考訳（メタデータ） (2026-04-30T12:40:11Z)
Curvature-Guided LoRA: Steering in the pretrained NTK subspace [60.35296431630704]
本稿では,PEFTを用いて得られた予測器と,出力レベルにおける完全微調整の予測器との整合性を考慮した予測アライメント問題を提案する。我々は、この目的が自然に、ニュートンのような、曲率ホワイトの勾配に対応する最適な低ランク更新を行う、曲率対応の2階定式化につながることを示した。この知見に基づいて、局所曲率情報を用いて適応方向を選択し、スケールする曲率誘導LoRA(CG-LoRA)を提案する。
論文参考訳（メタデータ） (2026-03-31T14:46:39Z)
Stabilized Fine-Tuning with LoRA in Federated Learning: Mitigating the Side Effect of Client Size and Rank via the Scaling Factor [8.51407618718798]
プライバシ制約がフェデレーション学習(FL)を必要とする分散シナリオでは、ローランド適応(LoRA)の統合は不安定であることが多い。本稿では,アダプタランクとフェデレートアグリゲーションの相互作用を理論的に特徴付けるフレームワークである安定化フェデレートロラ(SFed-LoRA)を紹介する。 SFed-LoRAは高階崩壊を防止し,安定性を著しく向上し,より高速な収束を実現することを実証した。
論文参考訳（メタデータ） (2026-03-09T07:49:56Z)
Sensitivity-LoRA: Low-Load Sensitivity-Based Fine-Tuning for Large Language Models [26.046100835887525]
Low-Rank Adaptation (LoRA) はLarge Language Models (LLM) に対する有望なアプローチとして登場し、低ランク分解を用いたモデルの重み付けを近似している。本稿では,グローバルな感度と局所的な感度の両方に基づいて,動的にランクを重み行列に割り当てる,効率的な微調整法であるSensitivity-LoRAを提案する。実験により,各種タスクおよびベンチマークにおける感度-LORAの有効性,効率,安定性が示された。
論文参考訳（メタデータ） (2025-09-11T03:07:05Z)
Automatic Rank Determination for Low-Rank Adaptation via Submodular Function Maximization [56.78271181959529]
SubLoRAは、サブモジュール関数に基づくローランド適応(LoRA)のランク決定方法である。提案手法は, 理論的基礎, 2次精度, 実用計算効率の両立を図っている。
論文参考訳（メタデータ） (2025-07-02T15:56:40Z)
Beyond Low-Rank Tuning: Model Prior-Guided Rank Allocation for Effective Transfer in Low-Data and Large-Gap Regimes [9.4848188271008]
Low-Rank Adaptation (LoRA) は、完全に微調整された基礎モデルに匹敵する性能を維持しながら、計算コストを削減できることが証明されている。現在の適応LoRA法は、ランクを動的に拡張または選択的に割り当てることで、この制限を克服しようとする。本稿では, 既訓練重量行列の安定なランクを, 階層的ランクアロケーションの自然な先行として活用する新しいフレームワークSR-LoRAを紹介する。
論文参考訳（メタデータ） (2025-06-30T23:54:23Z)
GeLoRA: Geometric Adaptive Ranks For Efficient LoRA Fine-tuning [2.7446241148152253]
微調整された大言語モデル(LLM)は、全てのパラメータを更新する必要があるため、計算集約的である。 Low-Rank Adaptation (LoRA)は、重みのサブセットだけを変更することで効率を向上するが、表現性と計算コストのトレードオフをもたらす。隠れ状態表現の内在的次元を計算し,LoRAランクを適応的に選択する新しいフレームワークGeLoRAを提案する。
論文参考訳（メタデータ） (2024-12-12T13:04:54Z)
PRILoRA: Pruned and Rank-Increasing Low-Rank Adaptation [65.268245109828]
我々はPRILoRAを導入し、各層ごとに異なるランクを線形に割り当て、トレーニングプロセスを通してプルーニングを行う。 8つのGLUEベンチマークで広範な実験を行い,PRILoRAの有効性を検証する。
論文参考訳（メタデータ） (2024-01-20T20:25:17Z)
Sparse is Enough in Fine-tuning Pre-trained Large Language Models [98.46493578509039]
我々はSparse Increment Fine-Tuning (SIFT) という勾配に基づくスパース微調整アルゴリズムを提案する。 GLUE Benchmark や Instruction-tuning などのタスクで有効性を検証する。
論文参考訳（メタデータ） (2023-12-19T06:06:30Z)
Sparse Low-rank Adaptation of Pre-trained Language Models [79.74094517030035]
本稿では,適応過程における固有ランクの動的調整を可能にする疎低ランク適応(SoRA)を提案する。提案手法は,LoRAを高いランクで初期化すると同時に,一時的に増大するパラメータを効率的に利用することにより,LoRAの表現力を向上する。実験の結果,SoRAは70%の保持パラメータと70%のトレーニング時間でも,他のベースラインよりも優れていることがわかった。
論文参考訳（メタデータ） (2023-11-20T11:56:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。