論文の概要: A Quantitative Characterization of Forgetting in Post-Training

• arxiv url: http://arxiv.org/abs/2603.12163v1
• Date: Thu, 12 Mar 2026 17:00:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-13 14:46:26.237765
• Title: A Quantitative Characterization of Forgetting in Post-Training
• Title（参考訳）: ポストトレーニングにおけるフォーミングの定量的評価
• Authors: Krishnakumar Balasubramanian, Shiva Prasad Kasiviswanathan,
• Abstract要約: 2モード混合抽象化(旧タスクと新タスクの表現)の下で理論的結果を開発する。 我々は、新しい分布のデータに基づいて訓練された前方KL目標が古い重量をゼロにする一方で、逆KL目標が真の目標に収束することを証明した。 本稿では,最近提案された3つのポストトレーニング手法について分析する。
• 参考スコア（独自算出の注目度）: 12.94086528301282
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Continual post-training of generative models is widely used, yet a principled understanding of when and why forgetting occurs remains limited. We develop theoretical results under a two-mode mixture abstraction (representing old and new tasks), proposed by Chen et al. (2025) (arXiv:2510.18874), and formalize forgetting in two forms: (i) mass forgetting, where the old mixture weight collapses to zero, and (ii) old-component drift, where an already-correct old component shifts during training. For equal-covariance Gaussian modes, we prove that forward-KL objectives trained on data from the new distribution drive the old weight to zero, while reverse-KL objectives converge to the true target (thereby avoiding mass forgetting) and perturb the old mean only through overlap-gated misassignment probabilities controlled by the Bhattacharyya coefficient, yielding drift that decays exponentially with mode separation and a locally well-conditioned geometry with exponential convergence. We further quantify how replay interacts with these objectives. For forward-KL, replay must modify the training distribution to change the population optimum; for reverse-KL, replay leaves the population objective unchanged but prevents finite-batch old-mode starvation through bounded importance weighting. Finally, we analyze three recently proposed near-on-policy post-training methods, SDFT (arxiv:2601.19897), TTT-Discover (arxiv:2601.16175), and OAPL (arxiv:2602.19362), via the same lens and derive explicit conditions under which each retains old mass and exhibits overlap-controlled drift. Overall, our results show that forgetting can by precisely quantified based on the interaction between divergence direction, geometric behavioral overlap, sampling regime, and the visibility of past behavior during training.
• Abstract（参考訳）: 生成モデルの継続的なポストトレーニングは広く用いられているが、いつ、なぜ忘れられるのかについての原則的な理解は依然として限られている。 我々はChen et al (2025) (arXiv:2510.18874)によって提唱された2モードの混合抽象(古いタスクと新しいタスクを表現)の下で理論的結果を開発し、2つの形式で忘れを形式化する。 一 質量を忘れ、古い混合重量がゼロに崩壊し、 (ii)既に正しい古いコンポーネントがトレーニング中にシフトする古いコンポーネントドリフト。 等共分散ガウスモードでは、新しい分布から得られるデータに基づいて訓練された前方KL目標が古い重量をゼロに駆動するのに対して、逆KL目標は真の目標に収束し(質量を忘れることを避けることによって)、Bhattacharyya係数によって制御される重なり合った誤割り当て確率によってのみ古い平均を摂動させ、モード分離と指数関数的に崩壊するドリフトを生じる。 リプレイがこれらの目的とどのように相互作用するかをさらに定量化する。 フォワードKLの場合、リプレイはトレーニング分布を変更して最適な個体数を変更する必要があり、リバースKLの場合、リプレイは個体数の目標を変更せず、制限された重み付けによる有限バッチの旧モード飢餓を防ぐ。 最後に, SDFT (arxiv:2601.19897), TTT-Discover (arxiv:2601.16175), OAPL (arxiv:2602.19362) の3つの近距離学習法を同一のレンズを用いて解析し, それぞれが古い質量を保持し, 重なり制御されたドリフトを示す明示的条件を導出する。 以上の結果から, 偏差方向, 幾何的挙動の重なり合い, サンプリング状態, 学習中の過去の行動の可視性などに基づいて, 正確な定量化が可能であることが示唆された。

関連論文リスト

• On the Collapse of Generative Paths: A Criterion and Correction for Diffusion Steering [29.633206995806542]
  インタイムステアリングにより、事前トレーニングされた拡散/フローモデルを、再トレーニングせずに新しいタスクに適合させることができる。 この構造には批判的かつ以前は形式化されていなかった障害モード(Marginal Path Collapse)がある。 本稿では,Feynman-Kac ステアリングを時間変化指数に拡張する Adaptive path Correction with Exponents (ACE) を提案する。
  論文  参考訳（メタデータ） (2025-12-11T06:44:08Z)
• Variational Inference Optimized Using the Curved Geometry of Coupled Free Energy [4.252549987351643]
  結合自由エネルギーに基づく変分推論のための最適化フレームワークを提案する。 我々は、結合指数族の曲面幾何学を考慮に入れ、変分推論手法を拡張した。
  論文  参考訳（メタデータ） (2025-06-10T10:47:21Z)
• Train with Perturbation, Infer after Merging: A Two-Stage Framework for Continual Learning [57.514786046966265]
  textbfPerturb-and-Merge(P&M)は,モデルマージをCLパラダイムに統合し,忘れを緩和する新しい連続学習フレームワークである。 提案手法は,複数の連続学習ベンチマークデータセット上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2025-05-28T14:14:19Z)
• TransFusion: Covariate-Shift Robust Transfer Learning for High-Dimensional Regression [11.040033344386366]
  対象タスクの学習性能を限定的なサンプルで向上させるため, 新規な融合正規化器を用いた2段階の手法を提案する。 対象モデルの推定誤差に対して、漸近的境界が提供される。 提案手法を分散設定に拡張し,事前学習ファインタニング戦略を実現する。
  論文  参考訳（メタデータ） (2024-04-01T14:58:16Z)
• Time-series Generation by Contrastive Imitation [87.51882102248395]
  モーメントマッチングの目的によってモチベーションされ、複合的エラーを軽減し、局所的(しかし前方的な)遷移ポリシーを最適化する。 推論において、学習されたポリシーは反復的なサンプリングのジェネレータとして機能し、学習されたエネルギーはサンプルの品質を評価するための軌道レベル尺度として機能する。
  論文  参考訳（メタデータ） (2023-11-02T16:45:25Z)
• Variational Density Propagation Continual Learning [0.0]
  現実世界にデプロイされるディープニューラルネットワーク(DNN)は、定期的にオフ・オブ・ディストリビューション(OoD)データの対象となっている。 本稿では,ベンチマーク連続学習データセットによってモデル化されたデータ分散ドリフトに適応するフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-22T21:51:39Z)
• TWINS: A Fine-Tuning Framework for Improved Transferability of Adversarial Robustness and Generalization [89.54947228958494]
  本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。 本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。 TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
  論文  参考訳（メタデータ） (2023-03-20T14:12:55Z)
• Intersection of Parallels as an Early Stopping Criterion [64.8387564654474]
  そこで本研究では,検証セットを必要とせずに,トレーニングイテレーションの早期停止点を見つける手法を提案する。 幅広い学習率において,コサイン距離基準 (CDC) と呼ばれる手法は,比較したすべての手法よりも平均的な一般化に寄与する。
  論文  参考訳（メタデータ） (2022-08-19T19:42:41Z)
• Learning to Re-weight Examples with Optimal Transport for Imbalanced Classification [74.62203971625173]
  不均衡データは、ディープラーニングに基づく分類モデルに課題をもたらす。 不均衡なデータを扱うための最も広く使われているアプローチの1つは、再重み付けである。 本稿では,分布の観点からの最適輸送(OT)に基づく新しい再重み付け手法を提案する。
  論文  参考訳（メタデータ） (2022-08-05T01:23:54Z)
• A Batch Normalized Inference Network Keeps the KL Vanishing Away [35.40781000297285]
  変分オートエンコーダ(VAE)はモデルの後続変数を近似するために広く用いられている。 VAEはしばしば「後崩壊」と呼ばれる退化した局所最適値に収束する
  論文  参考訳（メタデータ） (2020-04-27T05:20:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。