論文の概要: CapTrack: Multifaceted Evaluation of Forgetting in LLM Post-Training

• arxiv url: http://arxiv.org/abs/2603.06610v1
• Date: Thu, 19 Feb 2026 09:46:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-15 16:38:22.431169
• Title: CapTrack: Multifaceted Evaluation of Forgetting in LLM Post-Training
• Title（参考訳）: CapTrack: LLMポストトレーニングにおけるフォーミングの多面的評価
• Authors: Lukas Thede, Stefan Winzeck, Zeynep Akata, Jonathan Richard Schwarz,
• Abstract要約: textbfCapTrackは,大規模言語モデルにおける忘れを解析する機能中心のフレームワークである。 我々は、ポストトレーニングアルゴリズム、ドメイン、モデルファミリーにまたがる大規模な実証的研究を行う。 私たちは、忘れることがパラメトリックな知識を超えて、頑健さとデフォルトの振る舞いに顕著なドリフトがあることに気付きました。
• 参考スコア（独自算出の注目度）: 48.70704477452434
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language model (LLM) post-training enhances latent skills, unlocks value alignment, improves performance, and enables domain adaptation. Unfortunately, post-training is known to induce forgetting, especially in the ubiquitous use-case of leveraging third-party pre-trained models, which is typically understood as a loss of parametric or factual knowledge. We argue that this accuracy-centric view is insufficient for modern foundation models and instead define forgetting as systematic model drift that degrades behavior and user experience. In this context, we introduce \textbf{CapTrack}, a capability-centric framework for analyzing forgetting in LLMs that combines a behavioral taxonomy with an evaluation suite built on established benchmarks and targeted adaptations. Using CapTrack, we conduct a large-scale empirical study across post-training algorithms, domains, and model families, including models up to 80B parameters. We find that forgetting extends beyond parametric knowledge, with pronounced drift in robustness and default behaviors. Instruction fine-tuning induces the strongest relative drift, while preference optimization is more conservative and can partially recover lost capabilities. Differences across model families persist, and no universal mitigation emerges.
• Abstract（参考訳）: 大規模言語モデル(LLM)のポストトレーニングは、潜在スキルを強化し、価値アライメントをアンロックし、パフォーマンスを改善し、ドメイン適応を可能にする。 残念なことに、ポストトレーニングは、特にパラメトリックまたは事実知識の喪失として一般的に理解される、サードパーティの事前トレーニングモデルを活用するユビキタスなユースケースにおいて、忘れることを引き起こすことが知られている。 この精度中心の視点は、現代の基礎モデルには不十分であり、代わりに、振る舞いやユーザエクスペリエンスを低下させる体系的なモデルドリフトとして、忘れることを定義します。 本稿では, LLM における忘れを解析する機能中心フレームワークである \textbf{CapTrack} について紹介する。 CapTrackを使用することで、トレーニング後のアルゴリズム、ドメイン、モデルファミリーに対して、最大80Bパラメータのモデルを含む大規模な実証的研究を行う。 私たちは、忘れることがパラメトリックな知識を超えて、頑健さとデフォルトの振る舞いに顕著なドリフトがあることに気付きました。 インストラクションの微調整は、最も強い相対的ドリフトを誘導する一方、選好最適化はより保守的で、部分的に失われた能力を取り戻すことができる。 モデルファミリ間の差異は持続し、普遍的な緩和は発生しない。

関連論文リスト

• Parameter Importance-Driven Continual Learning for Foundation Models [5.471848114633189]
  ドメイン固有のポストトレーニングは、しばしば破滅的な忘れ込みを引き起こし、基礎モデルが一般的な推論能力を失う。 PIECEは,ドメイン知識を効率的に学習しながら,汎用性を保った重要度推定に基づく継続性向上手法である。 我々の結果は、破滅的な忘れをすることなく、スケーラブルでドメイン順応的な基礎モデルへの実践的な道のりを浮き彫りにしている。
  論文  参考訳（メタデータ） (2025-11-19T12:07:53Z)
• What Do Learning Dynamics Reveal About Generalization in LLM Reasoning? [83.83230167222852]
  モデルの一般化動作は,事前記憶列車の精度と呼ばれるトレーニング指標によって効果的に特徴づけられることがわかった。 モデルの学習行動と一般化を結びつけることで、トレーニング戦略に目標とする改善を導くことができる。
  論文  参考訳（メタデータ） (2024-11-12T09:52:40Z)
• SMILE: Zero-Shot Sparse Mixture of Low-Rank Experts Construction From Pre-Trained Foundation Models [85.67096251281191]
  我々は、ゼロショットスパースミクチャー(SMILE)と呼ばれるモデル融合に対する革新的なアプローチを提案する。 SMILEは、余分なデータやさらなるトレーニングなしに、ソースモデルをMoEモデルにアップスケーリングできる。 画像分類やテキスト生成タスクなど,さまざまなシナリオに対して,フル微調整とLoRA微調整を用いて広範な実験を行う。
  論文  参考訳（メタデータ） (2024-08-19T17:32:15Z)
• Information Guided Regularization for Fine-tuning Language Models [11.831883526217942]
  我々は、よりスムーズな転写学習のために、より外科的な正規化アプローチが存在する必要があると論じる。 モデル正規化の改善と下流一般化のための新しい手法を考案する。
  論文  参考訳（メタデータ） (2024-06-20T05:18:37Z)
• An Emulator for Fine-Tuning Large Language Models using Small Language Models [91.02498576056057]
  本研究では,異なるスケールでの事前学習と微調整の結果を近似する分布から,エミュレート・ファインチューニング(EFT)を原理的かつ実用的なサンプリング法として導入する。 EFTは、追加トレーニングを伴わずに、有益性や無害性といった競合する行動特性をテスト時間で調整できることを示す。 最後に、LMアップスケーリングと呼ばれるエミュレートされたファインチューニングの特殊な場合において、小さなファインチューニングモデルと組み合わせることで、大きな事前学習モデルのリソース集約的なファインチューニングを回避する。
  論文  参考訳（メタデータ） (2023-10-19T17:57:16Z)
• Value Gradient weighted Model-Based Reinforcement Learning [28.366157882991565]
  モデルベース強化学習(MBRL)は、制御ポリシーを得るための効率的な手法である。 VaGraMは価値認識モデル学習の新しい手法である。
  論文  参考訳（メタデータ） (2022-04-04T13:28:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。