Fugu-MT 論文翻訳(概要): LIRA: A More Interpretable Dynamic Loss-Informed Rank Allocation for Low-Rank Adaptation

論文の概要: LIRA: A More Interpretable Dynamic Loss-Informed Rank Allocation for Low-Rank Adaptation

arxiv url: http://arxiv.org/abs/2611.04239v1
Date: Tue, 03 Nov 2026 03:20:56 GMT
ステータス: 情報取得中
システム内更新日: 2026-11-04 17:23:42.804182
Title: LIRA: A More Interpretable Dynamic Loss-Informed Rank Allocation for Low-Rank Adaptation
Title（参考訳）: LIRA: 低ランク適応のためのより解釈可能な動的損失インフォームドランクアロケーション
Abstract要約: 低ランク適応(LoRA)は、事前訓練されたモデルに対するパラメータ効率の高い微調整法として広く使われている。オンラインランクのリアルタイム化をより解釈しやすいように設計した動的ランクのLoRA手法であるLIRAを提案する。
参考スコア（独自算出の注目度）: 26.45336237586905
License:
Abstract: Low-rank adaptation (LoRA) has become a widely used parameter-efficient fine-tuning method for large pretrained models. However, standard LoRA typically assigns a fixed rank profile despite layer- and stage-dependent adaptation needs, while recent adaptive-rank variants often rely on heuristic or first-order signals that provide only an indirect link between rank reallocation and local loss behavior. This leaves the rationale behind each rank reallocation insufficiently interpretable. Motivated by this gap, we propose LIRA (Loss-Informed Rank Allocation), a dynamic-rank LoRA method designed to make online rank reallocation more interpretable. LIRA scores each layer by the estimated magnitude of the local loss perturbation associated with its recent LoRA-factor movements under a second-order approximation, making the basis for each rank change interpretable term by term. By periodically applying DELTA (Displacement-Evaluated Loss-Trajectory Allocation), a displacement-based algorithm for LoRA rank reallocation, LIRA produces discrete effective ranks under matched budgets while remaining compatible with standard (A,B) adapters. On RoBERTa-base GLUE under the La-LoRA/LoRA protocol, LIRA outperforms the uniform-LoRA and adaptive-rank baselines reported under this protocol; Trajectory EMA attains performance competitive with Fixed-point Fisher at lower estimation cost.
Abstract（参考訳）: 低ランク適応(LoRA)は、大規模な事前訓練モデルのためのパラメータ効率の高い微調整法として広く使われている。しかし、標準のLoRAは通常、層とステージに依存した適応を必要とするにもかかわらず、固定されたランクプロファイルを割り当てるが、最近の適応的なランクの変種は、ランクの転位と局所的な損失の挙動の間接的リンクのみを提供するヒューリスティック信号や一階信号に頼っていることが多い。このことは、各ランクの配置が不十分に解釈可能であるという根拠を残している。このギャップに触発されたLIRA(Loss-Informed Rank Allocation)を提案する。 LIRAは、2次近似の下での最近のLoRA-factor運動に伴う局所的損失摂動の推定等級によって各層をスコアし、項ごとのランク変化の基盤となる。 DELTA (Displacement-Evaluated Loss-Trajectory Allocation) を定期的に適用することにより、LIRAは標準 (A,B) アダプタと互換性を維持しながら、一致した予算の下で離散的な有効ランクを生成する。 La-LoRA/LoRAプロトコルの下でのRoBERTaベースGLUEでは、LIRAは均一LoRAおよび適応ランクベースラインよりも優れており、Trajectory EMAは、より低い推定コストで固定点フィッシャーと競合する。

関連論文リスト

PhaseLoRA: Control-Regime-Conditioned Low-Rank Adaptation for Continuous-Action Vision-Language-Action Policies [74.07190331264488]
本稿では,アクションチャンク予測ステップ毎に条件適応を行う軽量なLoRAパラメータ化を提案する。 PhaseLoRAはアクションエキスパートのLoRA左ファクタを変調し、有効な低ランク更新方向を時間とともに変更する。その結果、連続的なVLAポリシーのための効果的な軽量PEFT軸として、軌道内コンディショニングが確立された。
論文参考訳（メタデータ） (2026-08-15T15:32:08Z)
MatryoshkaLoRA: Learning Accurate Hierarchical Low-Rank Representations for LLM Fine-Tuning [45.41768510181293]
MatryoshkaLoRAは、固定された慎重に作られた対角行列を既存のLoRAアダプタ間で$P$で挿入することで、正確な階層的な低ランク表現を学習する。以上の結果から,MatryoshkaLoraは従来のランク適応手法よりも,より正確な階層的な低ランク表現を学習できることが示唆された。
論文参考訳（メタデータ） (2026-05-08T15:13:01Z)
Post-Optimization Adaptive Rank Allocation for LoRA [10.796887002907456]
Post-Optimization Adaptive Rank Allocation (PARA) はローランド適応データ自由圧縮法である。我々は,既存の微調整パイプラインにシームレスに統合されたLoRAのデータフリー圧縮手法であるPARAを提案する。 PARAは、視覚および言語ベンチマークにおけるオリジナルの圧縮されていないLoRAの予測性能を維持しながら、パラメータ数を75-90%削減することを示した。
論文参考訳（メタデータ） (2026-04-30T12:40:11Z)
LoRA-Squeeze: Simple and Effective Post-Tuning and In-Tuning Compression of LoRA Modules [10.00294036303927]
標準的なLoRA学習を改善することを目的とした,シンプルで効率的な方法論であるLoRA-Squeezeを紹介する。我々のアプローチは、制約のある低ランクのソリューションを直接学習するのではなく、まず表現力のある高ランクのソリューションを学習し、次に圧縮する方がよいことを示唆している。
論文参考訳（メタデータ） (2026-02-11T16:19:58Z)
GRIT -- Geometry-Aware PEFT with K-FACPreconditioning, Fisher-Guided Reprojection, andDynamic Rank Adaptation [4.748720471060117]
GRITは、LoRAパラメータ化を保存する曲率対応のLoRAプロシージャである。トレーニング可能なパラメータを平均で46%削減しながら、LoRAとQLoRAにマッチまたは超越する。 GRITは強力なPEFT最適化器ベースラインよりも低いドリフトと更新vs保持フロンティアが得られる。
論文参考訳（メタデータ） (2026-01-01T06:31:54Z)
Beyond Low-Rank Tuning: Model Prior-Guided Rank Allocation for Effective Transfer in Low-Data and Large-Gap Regimes [9.4848188271008]
Low-Rank Adaptation (LoRA) は、完全に微調整された基礎モデルに匹敵する性能を維持しながら、計算コストを削減できることが証明されている。現在の適応LoRA法は、ランクを動的に拡張または選択的に割り当てることで、この制限を克服しようとする。本稿では, 既訓練重量行列の安定なランクを, 階層的ランクアロケーションの自然な先行として活用する新しいフレームワークSR-LoRAを紹介する。
論文参考訳（メタデータ） (2025-06-30T23:54:23Z)
BeamLoRA: Beam-Constraint Low-Rank Adaptation [51.52097743781401]
Low-Rank Adaptation (LoRA) はパラメータ効率の良い微調整法として広く採用されている。本研究では,各LoRAモジュールを,各ランクが潜在的サブソリューションに対応するビームとして概念化するビームロラを提案する。
論文参考訳（メタデータ） (2025-02-19T10:33:22Z)
SD-LoRA: Scalable Decoupled Low-Rank Adaptation for Class Incremental Learning [73.93639228235622]
基礎モデルによる継続的な学習は、シーケンシャルなタスクに取り組むための事前トレーニング中に得られた豊富な知識を活用するための有望なパラダイムとして現れてきた。既存のプロンプトベースおよびローランク適応ベース(LoRAベース)メソッドでは、プロンプト/ローラプールの拡張や、以前のタスクのサンプルの保持がしばしば必要である。クラスインクリメンタル学習のためのスケーラブルデカップリングLoRA(SD-LoRA)を提案する。
論文参考訳（メタデータ） (2025-01-22T20:00:41Z)
PRILoRA: Pruned and Rank-Increasing Low-Rank Adaptation [65.268245109828]
我々はPRILoRAを導入し、各層ごとに異なるランクを線形に割り当て、トレーニングプロセスを通してプルーニングを行う。 8つのGLUEベンチマークで広範な実験を行い,PRILoRAの有効性を検証する。
論文参考訳（メタデータ） (2024-01-20T20:25:17Z)
Sparse Low-rank Adaptation of Pre-trained Language Models [79.74094517030035]
本稿では,適応過程における固有ランクの動的調整を可能にする疎低ランク適応(SoRA)を提案する。提案手法は,LoRAを高いランクで初期化すると同時に,一時的に増大するパラメータを効率的に利用することにより,LoRAの表現力を向上する。実験の結果,SoRAは70%の保持パラメータと70%のトレーニング時間でも,他のベースラインよりも優れていることがわかった。
論文参考訳（メタデータ） (2023-11-20T11:56:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。