論文の概要: Parameter Importance is Not Static: Evolving Parameter Isolation for Supervised Fine-Tuning

• arxiv url: http://arxiv.org/abs/2604.14010v1
• Date: Wed, 15 Apr 2026 15:55:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-16 20:38:32.617943
• Title: Parameter Importance is Not Static: Evolving Parameter Isolation for Supervised Fine-Tuning
• Title（参考訳）: パラメータの重要度は静的ではない:教師付き微調整のためのパラメータ分離の進化
• Authors: Zekai Lin, Chao Xue, Di Liang, Xingsheng Han, Peiyang Liu, Xianjie Wu, Lei Jiang, Yu Lu, Haibo Shi, Shuang Liang, Minlong Peng,
• Abstract要約: 大規模言語モデルの教師付きファインチューニング(SFT)は、しばしばタスクの干渉や忘れに悩まされる。 最近のアプローチでは、トレーニング中にタスククリティカルパラメータを分離することでこの問題を軽減することができる。 本稿では,パラメータのオンライン推定に基づく分離決定を微調整するフレームワークであるEvolving isolation (EPI)を提案する。
• 参考スコア（独自算出の注目度）: 26.480133417682897
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Supervised Fine-Tuning (SFT) of large language models often suffers from task interference and catastrophic forgetting. Recent approaches alleviate this issue by isolating task-critical parameters during training. However, these methods represent a static solution to a dynamic problem, assuming that parameter importance remains fixed once identified. In this work, we empirically demonstrate that parameter importance exhibits temporal drift over the course of training. To address this, we propose Evolving Parameter Isolation (EPI), a fine-tuning framework that adapts isolation decisions based on online estimates of parameter importance. Instead of freezing a fixed subset of parameters, EPI periodically updates isolation masks using gradient-based signals, enabling the model to protect emerging task-critical parameters while releasing outdated ones to recover plasticity. Experiments on diverse multi-task benchmarks demonstrate that EPI consistently reduces interference and forgetting compared to static isolation and standard fine-tuning, while improving overall generalization. Our analysis highlights the necessity of synchronizing isolation mechanisms with the evolving dynamics of learning diverse abilities.
• Abstract（参考訳）: 大規模言語モデルの教師付きファインチューニング(SFT)は、しばしばタスクの干渉と破滅的な忘れ込みに悩まされる。 最近のアプローチでは、トレーニング中にタスククリティカルパラメータを分離することでこの問題を軽減することができる。 しかし、パラメータの重要度が一度特定されると仮定すると、これらの手法は動的問題に対する静的解である。 本研究では,パラメータの重要度が学習過程の時間的変動を示すことを実証的に示す。 そこで本研究では,パラメータの重要度をオンラインで推定し,パラメータの分離決定に適応する細調整フレームワークであるEvolving Parameter isolation (EPI)を提案する。 パラメータの固定されたサブセットを凍結する代わりに、EPIはグラデーションベースの信号を使用して定期的に分離マスクを更新する。 多様なマルチタスクベンチマークの実験により、EPIは静的分離や標準微調整よりも干渉や忘れを一貫して減らし、全体的な一般化を改善した。 本分析は,多様な学習能力の進化的ダイナミクスと分離機構の同期の必要性を強調した。

関連論文リスト

• Disentangled Latent Dynamics Manifold Fusion for Solving Parameterized PDEs [5.601252185916962]
  異なるPDEパラメータ間でのニューラルサロゲートモデルの一般化は依然として困難である。 既存の手法では、パラメータの一般化と時間外挿を同時に扱うことはできない。 本稿では,空間,時間,パラメータを明確に分離する物理情報処理フレームワークであるDistangled Latent Dynamics Manifold Fusion (DLDMF)を提案する。
  論文  参考訳（メタデータ） (2026-03-13T05:46:01Z)
• Continual Adaptation: Environment-Conditional Parameter Generation for Object Detection in Dynamic Scenarios [54.58186816693791]
  環境は時間と空間によって常に変化し、クローズドセットの仮定に基づいて訓練された物体検出器にとって重要な課題となる。 そこで本研究では,微調整過程をパラメータ生成に変換する機構を提案する。 特に,2経路LoRAベースのドメイン認識アダプタを最初に設計し,特徴をドメイン不変およびドメイン固有コンポーネントに分解する。
  論文  参考訳（メタデータ） (2025-06-30T17:14:12Z)
• UP-dROM : Uncertainty-Aware and Parametrised dynamic Reduced-Order Model, application to unsteady flows [27.50487430169627]
  還元次数モデル(ROM)は、低コストな予測を提供することによって流体力学において重要な役割を果たす。 ROMが広く適用されるためには、異なる体制にまたがってうまく一般化するだけでなく、その予測に対する信頼度も測らなければならない。 過渡流に特化して設計された非線形還元戦略を提案する。
  論文  参考訳（メタデータ） (2025-03-29T22:17:36Z)
• SAFE: Slow and Fast Parameter-Efficient Tuning for Continual Learning with Pre-Trained Models [26.484208658326857]
  継続的な学習は、過去の知識を忘れることに抵抗しながら、データストリームにおける新しい概念を漸進的に獲得することを目的としている。 強力な事前学習モデル(PTM)の台頭に伴い、インクリメンタル学習システムのトレーニングへの関心が高まっている。
  論文  参考訳（メタデータ） (2024-11-04T15:34:30Z)
• Large Continual Instruction Assistant [59.585544987096974]
  CIT(Continuous Instruction Tuning)は、大規模モデルにデータによる人間の意図データに従うよう指示するために用いられる。 既存の更新勾配は、CITプロセス中に前のデータセットのパフォーマンスを著しく損なうことになる。 本稿では,この課題に対処する汎用的な連続的命令チューニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-08T11:24:59Z)
• SMILE: Zero-Shot Sparse Mixture of Low-Rank Experts Construction From Pre-Trained Foundation Models [85.67096251281191]
  我々は、ゼロショットスパースミクチャー(SMILE)と呼ばれるモデル融合に対する革新的なアプローチを提案する。 SMILEは、余分なデータやさらなるトレーニングなしに、ソースモデルをMoEモデルにアップスケーリングできる。 画像分類やテキスト生成タスクなど,さまざまなシナリオに対して,フル微調整とLoRA微調整を用いて広範な実験を行う。
  論文  参考訳（メタデータ） (2024-08-19T17:32:15Z)
• ETHER: Efficient Finetuning of Large-Scale Models with Hyperplane Reflections [59.839926875976225]
  本稿では,HypErplane Reflectionsによる高効率微調整を行うETHER変換ファミリを提案する。 特に,既存のPEFT法と極めて少ないパラメータで一致または性能を向上するEtheRと緩和ETHER+を導入する。
  論文  参考訳（メタデータ） (2024-05-30T17:26:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。