論文の概要: Grow, Don't Overwrite: Fine-tuning Without Forgetting

• arxiv url: http://arxiv.org/abs/2603.08647v1
• Date: Mon, 09 Mar 2026 17:26:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-10 15:13:16.601936
• Title: Grow, Don't Overwrite: Fine-tuning Without Forgetting
• Title（参考訳）: 成長する、上書きしない:忘れずに微調整する
• Abstract要約: 訓練済みのモデルを専門的なタスクに適合させると、大惨事に陥ることが多い。 既存の方法は、新しいタスクのパフォーマンスを損なうか、トレーニングの安定性と事前訓練された知識の効率的な再利用のバランスをとるのに苦労する。 本稿では,このジレンマを解消する関数保存拡張法を提案する。
• 参考スコア（独自算出の注目度）: 8.51968450061047
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Adapting pre-trained models to specialized tasks often leads to catastrophic forgetting, where new knowledge overwrites foundational capabilities. Existing methods either compromise performance on the new task or struggle to balance training stability with efficient reuse of pre-trained knowledge. We introduce a novel function-preserving expansion method that resolves this dilemma. Our technique expands model capacity by replicating pre-trained parameters within transformer submodules and applying a scaling correction that guarantees the expanded model is mathematically identical to the original at initialization, enabling stable training while exploiting existing knowledge. Empirically, our method eliminates the trade-off between plasticity and stability, matching the performance of full fine-tuning on downstream tasks without any degradation of the model's original capabilities. Furthermore, we demonstrate the modularity of our approach, showing that by selectively expanding a small subset of layers we can achieve the same performance as full fine-tuning at a fraction of the computational cost.
• Abstract（参考訳）: 訓練済みのモデルを専門的なタスクに適用すると、しばしば破滅的な忘れがちになり、そこでは新たな知識が基礎的能力を上書きする。 既存の方法は、新しいタスクのパフォーマンスを損なうか、トレーニングの安定性と事前訓練された知識の効率的な再利用のバランスをとるのに苦労する。 本稿では,このジレンマを解消する関数保存拡張法を提案する。 本手法は, 変圧器サブモジュール内の事前学習パラメータを複製し, 拡張モデルが初期化時と数学的に同一であることを保証したスケーリング補正を適用し, 既存の知識を活用しながら, 安定した訓練を可能にすることによって, モデル容量を拡大する。 実験により,本手法は可塑性と安定性のトレードオフを解消し,モデル本来の性能を損なうことなく,下流タスクの完全微調整性能を満足する。 さらに,本手法のモジュラリティを実証し,少数の層を選択的に拡張することにより,計算コストのごく一部で完全な微調整を実現できることを示した。

関連論文リスト

• Orthogonal Projection Subspace to Aggregate Online Prior-knowledge for Continual Test-time Adaptation [67.80294336559574]
  連続テスト時間適応(CTTA)は、新しいシナリオに継続的に適応するために、ソース事前訓練されたモデルを必要とするタスクである。 我々は、OoPkと呼ばれるオンライン事前知識を集約する新しいパイプラインOrthogonal Projection Subspaceを提案する。
  論文  参考訳（メタデータ） (2025-06-23T18:17:39Z)
• Neural Networks Remember More: The Power of Parameter Isolation and Combination [3.2430260063115233]
  破滅的な忘れは、事前訓練された言語モデルにとって広範囲にわたる問題である。 この問題を解決するための鍵は、モデルの可塑性と安定性の間のトレードオフを見つけることである。 モデル安定性と塑性のバランスをとるための新しい手法を提案する。
  論文  参考訳（メタデータ） (2025-02-16T02:58:57Z)
• Large Language Models to Diffusion Finetuning [20.251827725749607]
  我々は、下流タスク間の性能向上に直接変換することで、単調に精度を向上することを示す。 本手法は,クロスエントロピー損失で事前学習した基礎モデルに適用可能である。
  論文  参考訳（メタデータ） (2025-01-27T04:59:29Z)
• SaRA: High-Efficient Diffusion Model Fine-tuning with Progressive Sparse Low-Rank Adaptation [52.6922833948127]
  本研究では,事前学習した拡散モデルにおけるパラメータの重要性について検討する。 本稿では,これらの非効率パラメータをフル活用するための新しいモデル微調整法を提案する。 本手法は,下流アプリケーションにおける事前学習モデルの生成能力を向上する。
  論文  参考訳（メタデータ） (2024-09-10T16:44:47Z)
• Enhancing Robustness of Vision-Language Models through Orthogonality Learning and Self-Regularization [77.62516752323207]
  そこで本研究では,事前訓練した重みを効率よく微調整する直交微調整法を導入し,頑健さと一般化の強化を実現した。 自己正規化戦略は、OrthSRと呼ばれるVLMのゼロショット一般化の観点から安定性を維持するためにさらに活用される。 筆者らはCLIPとCoOpを再検討し,少数の画像のクラスフィシエーションシナリオにおけるモデルの改善を効果的に行う。
  論文  参考訳（メタデータ） (2024-07-11T10:35:53Z)
• Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
  継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。 本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。 以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-09-15T17:10:51Z)
• Continual Learning with Pretrained Backbones by Tuning in the Input Space [44.97953547553997]
  ディープラーニングモデルを非定常環境に適用することの本質的な困難さは、ニューラルネットワークの実際のタスクへの適用性を制限している。 ネットワークの事前学習部分の更新を回避し、通常の分類ヘッドだけでなく、新たに導入した学習可能なパラメータのセットも学習することで、微調整手順をより効果的にするための新しい戦略を提案する。
  論文  参考訳（メタデータ） (2023-06-05T15:11:59Z)
• Exploiting Diffusion Prior for Real-World Image Super-Resolution [75.5898357277047]
  本稿では,事前学習したテキスト・画像拡散モデルにカプセル化された事前知識を視覚的超解像に活用するための新しいアプローチを提案する。 時間認識エンコーダを用いることで、事前学習した合成モデルを変更することなく、有望な復元結果が得られる。
  論文  参考訳（メタデータ） (2023-05-11T17:55:25Z)
• FOSTER: Feature Boosting and Compression for Class-Incremental Learning [52.603520403933985]
  ディープニューラルネットワークは、新しいカテゴリーを学ぶ際に破滅的な忘れ方に悩まされる。 本稿では,新たなカテゴリを適応的に学習するためのモデルとして,新しい2段階学習パラダイムFOSTERを提案する。
  論文  参考訳（メタデータ） (2022-04-10T11:38:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。