Fugu-MT 論文翻訳(概要): Learning When to Adapt

論文の概要: Learning When to Adapt

arxiv url: http://arxiv.org/abs/2605.19028v1
Date: Mon, 18 May 2026 18:51:24 GMT
ステータス: 翻訳完了
システム内更新日: 2026-05-20 15:03:08.929089
Title: Learning When to Adapt
Title（参考訳）: いつ適応するかを学ぶ
Authors: Ali Zindari, Xiaowen Jiang, Rotem Mulayoff, Sebastian U. Stich,
Abstract要約: 低ランク適応(LoRA)はパラメータ効率のよい微調整法として広く用いられている。 DiseLはLoRAモジュールを、個々のランク1コンポーネントに軽量な入力依存ゲートで拡張する。 DiseLは少数のパラメータのみを追加し、ローランク構造を保存する。
参考スコア（独自算出の注目度）: 29.665123668818378
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Low-rank adaptation (LoRA) is a widely used parameter-efficient fine-tuning method, yet its learned correction is static: the same low-rank update is applied to every input. This input-agnostic approach creates an inevitable compromise between adapting to the fine-tuning distribution and preserving pre-trained behavior on inputs outside that distribution, contributing to catastrophic forgetting. We introduce DISeL (Dynamic Input-Sensitive LoRA), which augments LoRA modules with lightweight input-dependent gates over individual rank-one components. The gating mechanism is designed to preserve the pre-trained model's behavior by default, while training learns to activate selected components that reduce the fine-tuning loss. DISeL adds only a small number of parameters and preserves the low-rank structure. Across RoBERTa on GLUE, and Llama and Mistral models fine-tuned for mathematical reasoning and code generation, DISeL reduces forgetting relative to LoRA and related variants while maintaining competitive fine-tuning accuracy. In addition, the learned gate activations provide an interpretable diagnostic view of which layers and rank components are most activated during fine-tuning, giving insight into where task-specific adaptation is concentrated. Code available at https://github.com/alizindari/DISeL .
Abstract（参考訳）: 低ランク適応(LoRA)はパラメータ効率のよい微調整法として広く用いられているが、その学習された補正は静的であり、全ての入力に対して同じ低ランク更新が適用される。この入力非依存のアプローチは、微調整分布への適応と、その分布の外側の入力に対する事前訓練された動作の保存の間に必然的な妥協をもたらし、破滅的な忘れ込みに寄与する。我々は、LORAモジュールを軽量な入力依存ゲートで個々のランクオンコンポーネントに拡張するDisdeL(Dynamic Input-Sensitive LoRA)を紹介する。ゲーティングメカニズムは、トレーニング済みモデルの振る舞いをデフォルトで保持するように設計されており、トレーニングは、微調整損失を減らすために選択されたコンポーネントを活性化することを学ぶ。 DISeLは少数のパラメータのみを追加し、低ランク構造を保存する。 GLUE上のRoBERTaと、数学的推論とコード生成のために微調整されたLlamaとMistralのモデルにまたがって、diseLは競合する微調整の精度を維持しながら、LoRAと関連する変種との差を小さくする。さらに、学習されたゲートアクティベーションは、微調整中にどの層とランクコンポーネントが最も活性化されているかの解釈可能な診断ビューを提供し、タスク固有の適応がどこに集中しているかを洞察する。コードはhttps://github.com/alizindari/DISeLで公開されている。

関連論文リスト

JumpLoRA: Sparse Adapters for Continual Learning in Large Language Models [78.56572636138429]
JumpLoRAは,JumpReLUゲーティングを用いてローランド適応(LoRA)ブロックの間隔を適応的に誘導する新しいフレームワークである。特に,IncLoRAの性能を著しく向上させ,最先端のCLであるELLAよりも優れることを示す。
論文参考訳（メタデータ） (2026-04-17T15:38:37Z)
Curvature-Guided LoRA: Steering in the pretrained NTK subspace [60.35296431630704]
本稿では,PEFTを用いて得られた予測器と,出力レベルにおける完全微調整の予測器との整合性を考慮した予測アライメント問題を提案する。我々は、この目的が自然に、ニュートンのような、曲率ホワイトの勾配に対応する最適な低ランク更新を行う、曲率対応の2階定式化につながることを示した。この知見に基づいて、局所曲率情報を用いて適応方向を選択し、スケールする曲率誘導LoRA(CG-LoRA)を提案する。
論文参考訳（メタデータ） (2026-03-31T14:46:39Z)
IGU-LoRA: Adaptive Rank Allocation via Integrated Gradients and Uncertainty-Aware Scoring [9.250460219785188]
IGU-LoRAは、階層内統合勾配(IG)の感度を計算し、それらをランク割り当てのための階層レベルスコアに集約する適応ランクLoRAである。 IGU-LoRAは、一致したパラメータ予算でPEFTベースラインを一貫して上回り、下流の精度とロバスト性を改善している。
論文参考訳（メタデータ） (2026-03-14T06:45:54Z)
Decomposing and Composing: Towards Efficient Vision-Language Continual Learning via Rank-1 Expert Pool in a Single LoRA [50.97792275353563]
単一低ランク適応 (LoRA) モジュールを分解可能な Rank-1 エキスパートプールとして再構成する,新しいフレームワークを提案する。本手法では,このエキスパートプールから[Guided]トークンのセマンティクスに導かれて,疎結合でタスク固有の更新を動的に作成することを学ぶ。
論文参考訳（メタデータ） (2026-01-30T10:54:51Z)
Semantic-Guided Dynamic Sparsification for Pre-Trained Model-based Class-Incremental Learning [25.808884795490613]
CIL(Class-Incremental Learning)は、古いクラスを忘れずに、新しいクラスを継続的に学習するモデルを必要とする。このパラメータ制約法は塑性に有害であると主張する。本稿では,アクティベーション空間を積極的に誘導する新しい手法であるセマンティックガイド動的スパシフィケーション(SGDS)を提案する。
論文参考訳（メタデータ） (2026-01-29T07:15:05Z)
When Domain Pretraining Interferes with Instruction Alignment: An Empirical Study of Adapter Merging in Medical LLMs [0.6345523830122167]
大規模言語モデルは、ドメイン適応と命令アライメントを組み合わせる際に驚くべきアダプタ干渉を示す。医学LLMのための2段階のLORAパイプラインについて検討し、ドメイン指向事前トレーニング(PT)と教師付き微調整(SFT)を個別に訓練し、後にマージした。
論文参考訳（メタデータ） (2026-01-26T10:54:06Z)
DropLoRA: Sparse Low-Rank Adaptation for Parameter-Efficient Fine-Tuning [5.103108721904429]
そこで我々はDropLoRAを紹介した。DropLoRAは、ランク次元のプルーニングに焦点を当てた、新しいプルーニングベースのアプローチである。学習サブスペースを継続的に適応することにより、DropLoRAは、追加のトレーニングや推論コストを発生させることなく、パフォーマンスを大幅に向上する。
論文参考訳（メタデータ） (2025-08-24T12:45:36Z)
Sparse Low-rank Adaptation of Pre-trained Language Models [79.74094517030035]
本稿では,適応過程における固有ランクの動的調整を可能にする疎低ランク適応(SoRA)を提案する。提案手法は,LoRAを高いランクで初期化すると同時に,一時的に増大するパラメータを効率的に利用することにより,LoRAの表現力を向上する。実験の結果,SoRAは70%の保持パラメータと70%のトレーニング時間でも,他のベースラインよりも優れていることがわかった。
論文参考訳（メタデータ） (2023-11-20T11:56:25Z)
AdaLoRA: Adaptive Budget Allocation for Parameter-Efficient Fine-Tuning [143.23123791557245]
下流タスクで訓練済みの大規模言語モデルを微調整することは、NLPにおいて重要なパラダイムとなっている。重み行列のパラメータ予算をその重要度に応じて適応的に割り当てるAdaLoRAを提案する。我々は,AdaLoRAの有効性を検証するために,自然言語処理,質問応答,自然言語生成に関する事前学習モデルを用いた広範囲な実験を行った。
論文参考訳（メタデータ） (2023-03-18T22:36:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。