論文の概要: Adaptive Utilization of Low-Rank Adaptation via Conditioned Gating
- arxiv url: http://arxiv.org/abs/2610.05800v1
- Date: Mon, 05 Oct 2026 04:43:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-10 04:16:06.783546
- Title: Adaptive Utilization of Low-Rank Adaptation via Conditioned Gating
- Title（参考訳）: 条件付きゲーティングによる低ランク適応の適応的利用
- Abstract要約: Low-Rank Adaptation (LoRA) は低ランク部分空間へのモデル更新を制約することでパラメータ効率の良い微調整を実現する。
条件付きゲーティングを用いてトークンレベルの有効利用を明示的に学習する低ランク適応(U-LoRA)の適応的利用を提案する。
- 参考スコア（独自算出の注目度）: 19.20728469664653
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Low-Rank Adaptation (LoRA) achieves parameter-efficient fine-tuning by constraining model updates to a low-rank subspace and has been widely used in practice. However, LoRA typically employs a shared low-rank update across tokens, which limits its ability to fully exploit the adaptation subspace for tokens from different sequences. To address this issue, we propose an adaptive utilization of Low-Rank Adaptation (U-LoRA), which employs conditioned gating to explicitly learn effective token-level utilization of the limited low-rank adaptation subspace. Specifically, U-LoRA generates utilization coefficients along low-rank directions for each token and jointly coordinates and constrains them using sequence-level contextual information, thereby inducing more consistent adaptive patterns within a sentence. To further enhance training stability, we introduce a bias-corrected exponential moving average (EMA) historical prior that calibrates utilization signals across optimization steps, suppressing noise caused by batch-to-batch fluctuations. The effectiveness of our method arises from a better utilization of the existing low-rank subspace via input-conditioned strategies, rather than from expanding the subspace. Experiments on mathematical reasoning and natural language understanding benchmarks demonstrate that U-LoRA achieves competitive performance under comparable parameter budgets when with strong LoRA baselines and recent variants.
- Abstract（参考訳）: Low-Rank Adaptation (LoRA)は、モデル更新を低ランク部分空間に制限することでパラメータ効率の良い微調整を実現し、実際に広く使われている。
しかし、LoRAは通常、トークン間の共有低ランク更新を使用し、異なるシーケンスからのトークンの適応部分空間を完全に活用する能力を制限する。
この問題に対処するために,条件付きゲーティングを用いて,限られた低ランク適応部分空間のトークンレベルの有効利用を明示的に学習する,Low-Rank Adaptation (U-LoRA) の適応的利用を提案する。
具体的には、U-LoRAは各トークンの低ランク方向に沿った利用係数を生成し、シーケンスレベルの文脈情報を用いて協調的に調整し、文内でより一貫した適応パターンを誘導する。
トレーニングの安定性をさらに高めるために、最適化ステップをまたいだ利用信号の校正を行い、バッチ・ツー・バッチの変動によるノイズを抑制する、バイアス補正指数移動平均(EMA)履歴を導入する。
提案手法の有効性は,入力条件付き戦略による既存の低ランク部分空間の活用が,部分空間の拡張よりも優れていることに起因する。
数学的推論と自然言語理解ベンチマークの実験は、U-LoRAが強力なLoRAベースラインと最近の変種を持つ場合、同等のパラメータ予算の下で競合性能を達成することを示した。
関連論文リスト
- Normalized Low-Rank Adaptation [18.076347530341426]
トレーニング中の下降行列を正規化するための簡易かつ効果的な手法である正規化低ランク適応(NoRA)を導入する。
NoRAは一貫して収束を加速し、パフォーマンスとトレーニングの安定性を改善し、破滅的な忘れを緩和する。
論文 参考訳（メタデータ） (2026-08-31T16:15:36Z) - LAARA: Layer-Aware Adaptive Rank Allocation for Parameter-Efficient Fine-Tuning [13.12609725011405]
低ランク適応はパラメータ効率の微調整に広く用いられている。
我々は、一様ランクの割り当てが基本的に準最適であることを理論的、実証的に示す。
ランクを動的に割り当てる検索不要のフレームワークであるLAARAを提案する。
論文 参考訳（メタデータ） (2026-07-02T19:01:59Z) - Curvature-Guided LoRA: Steering in the pretrained NTK subspace [60.35296431630704]
本稿では,PEFTを用いて得られた予測器と,出力レベルにおける完全微調整の予測器との整合性を考慮した予測アライメント問題を提案する。
我々は、この目的が自然に、ニュートンのような、曲率ホワイトの勾配に対応する最適な低ランク更新を行う、曲率対応の2階定式化につながることを示した。
この知見に基づいて、局所曲率情報を用いて適応方向を選択し、スケールする曲率誘導LoRA(CG-LoRA)を提案する。
論文 参考訳（メタデータ） (2026-03-31T14:46:39Z) - IGU-LoRA: Adaptive Rank Allocation via Integrated Gradients and Uncertainty-Aware Scoring [9.250460219785188]
IGU-LoRAは、階層内統合勾配(IG)の感度を計算し、それらをランク割り当てのための階層レベルスコアに集約する適応ランクLoRAである。
IGU-LoRAは、一致したパラメータ予算でPEFTベースラインを一貫して上回り、下流の精度とロバスト性を改善している。
論文 参考訳（メタデータ） (2026-03-14T06:45:54Z) - Regularizing Subspace Redundancy of Low-Rank Adaptation [54.473090597164834]
本稿では、マッピング部分空間間の冗長性を明示的にモデル化し、低ランク適応のサブスペース冗長性を適応的に正規化する手法であるReSoRAを提案する。
提案手法は、視覚言語検索や標準的な視覚分類ベンチマークにおいて、様々なバックボーンやデータセットにまたがる既存のPETL手法を一貫して促進する。
トレーニングの監督として、ReSoRAは追加の推論コストなしで、プラグイン・アンド・プレイ方式で既存のアプローチにシームレスに統合することができる。
論文 参考訳（メタデータ） (2025-07-28T11:52:56Z) - Beyond Low-Rank Tuning: Model Prior-Guided Rank Allocation for Effective Transfer in Low-Data and Large-Gap Regimes [9.4848188271008]
Low-Rank Adaptation (LoRA) は、完全に微調整された基礎モデルに匹敵する性能を維持しながら、計算コストを削減できることが証明されている。
現在の適応LoRA法は、ランクを動的に拡張または選択的に割り当てることで、この制限を克服しようとする。
本稿では, 既訓練重量行列の安定なランクを, 階層的ランクアロケーションの自然な先行として活用する新しいフレームワークSR-LoRAを紹介する。
論文 参考訳（メタデータ） (2025-06-30T23:54:23Z) - GeLoRA: Geometric Adaptive Ranks For Efficient LoRA Fine-tuning [2.7446241148152253]
微調整された大言語モデル(LLM)は、全てのパラメータを更新する必要があるため、計算集約的である。
Low-Rank Adaptation (LoRA)は、重みのサブセットだけを変更することで効率を向上するが、表現性と計算コストのトレードオフをもたらす。
隠れ状態表現の内在的次元を計算し,LoRAランクを適応的に選択する新しいフレームワークGeLoRAを提案する。
論文 参考訳（メタデータ） (2024-12-12T13:04:54Z) - Less is More: Extreme Gradient Boost Rank-1 Adaption for Efficient Finetuning of LLMs [75.11449420928139]
微調整型大規模言語モデル(LLM)は、訓練済みモデルを下流タスクに適応させる上で重要な技術となっている。
Low-Rank Adaptation (LoRA) は有望な解決法として登場したが、低ランク適応の実用性能と理論的最適性の間にはギャップがある。
本稿では,このギャップを埋める新しいフレームワークであるeXtreme Gradient Boosting LoRAを提案する。
論文 参考訳（メタデータ） (2024-10-25T17:07:13Z) - Flat-LoRA: Low-Rank Adaptation over a Flat Loss Landscape [52.98187034726091]
フルパラメータ空間の平坦領域に位置する低ランク適応を同定することを目的としたFlat-LoRAを提案する。
また、Flat-LoRAはドメイン内とドメイン外の両方の一般化を改善していることを示す。
論文 参考訳（メタデータ） (2024-09-22T11:24:10Z) - Sparse Low-rank Adaptation of Pre-trained Language Models [79.74094517030035]
本稿では,適応過程における固有ランクの動的調整を可能にする疎低ランク適応(SoRA)を提案する。
提案手法は,LoRAを高いランクで初期化すると同時に,一時的に増大するパラメータを効率的に利用することにより,LoRAの表現力を向上する。
実験の結果,SoRAは70%の保持パラメータと70%のトレーニング時間でも,他のベースラインよりも優れていることがわかった。
論文 参考訳（メタデータ） (2023-11-20T11:56:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。