論文の概要: Off-Policy Merging Beats On-Policy Self-Distillation for Continual Learning

• arxiv url: http://arxiv.org/abs/2610.05872v1
• Date: Mon, 05 Oct 2026 06:40:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 03:35:13.415306
• Title: Off-Policy Merging Beats On-Policy Self-Distillation for Continual Learning
• Title（参考訳）: オフ・ポリティ・マージは、継続的な学習のためのオン・ポリティ・セルフ蒸留に勝る
• Abstract要約: 政治以外の合併は継続学習においてOPSDに勝っていることを示す。 SFTが新しいデータから有用なシグナルを学習できることを最初に示すが、その更新を素直に適用することは、既存の機能に干渉する。 本研究は,RL学習モデルにおける継続学習の必要性として,政治教育に挑戦する。
• 参考スコア（独自算出の注目度）: 27.76520123641252
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A long-standing goal of AI is a model that can continually learn and improve itself. On post-trained models, supervised finetuning (SFT) on new data often causes poor generalization and catastrophic forgetting. As such, the conventional wisdom is that on-policy training is a prerequisite for continual learning. In practice, however, data containing new knowledge or capabilities are often off-policy. While methods such as on-policy self-distillation (OPSD) try to bridge this gap by converting off-policy data into on-policy signal, they have been shown to cause reasoning collapse. In this paper, we show that off-policy merging beats OPSD for continual learning. We first show that SFT learns a useful signal from new data, but naively applying its update interferes with existing capabilities. We reduce this interference with a simple recipe we term grafting, which changes where the update is learned and how it is applied: (1) learning the update on an earlier donor checkpoint, ideally even before the end of pretraining, and applying the weight update to the post-trained model; (2) scaling the weight update, equivalent to a form of model merging; and (3) optionally, masking the most sensitive update directions when the new data distribution is far from the post-trained model. Across continual learning settings including (1) distilling from expert traces, (2) self-improvement with STaR and Pedagogical RL, and (3) injecting knowledge after pretraining cutoff, grafting Pareto-dominates both SFT and OPSD in new-task and old-task performance, while avoiding expensive on-policy sampling. Therefore, our work challenges on-policy training as a necessity for continual learning on RL-trained models.
• Abstract（参考訳）: AIの長年の目標は、継続的に学習し、改善できるモデルである。 ポストトレーニングモデルでは、新しいデータに対する教師付き微調整(SFT)は、しばしば一般化の貧弱さと破滅的な忘れを生じさせる。 このように、従来の知恵は、オン・ポリティクス・トレーニングが継続的な学習の前提条件であるということである。 しかし実際には、新しい知識や能力を含むデータは、しばしば政治的ではない。 OPSD(On-policy Self-distillation)のような手法は、オフ・ポリティィデータをオン・ポリティィ信号に変換することによってこのギャップを埋めようとしているが、それらが原因の崩壊を引き起こすことが示されている。 本稿では,政治以外の合併がOPSDに勝って継続学習を行うことを示す。 SFTが新しいデータから有用なシグナルを学習できることを最初に示すが、その更新を素直に適用することは、既存の機能に干渉する。 1)事前学習の終了前であっても,事前学習前のドナーチェックポイントの更新を理想的に学習し,トレーニング後のモデルに重み更新を適用すること,(2)モデルのマージ形式に相当する重み更新をスケールすること,(3)新しいデータ分布が訓練後のモデルから遠く離れた場合に最も敏感な更新方向をマスキングすること,である。 2)STaRとPedagogical RLによる自己改善,(3)カットオフ後の知識注入,3)新タスクと旧タスクのパフォーマンスにおいてPareto-doがSFTとOPSDの両方を圧倒し,高価なオンラインサンプリングを回避した。 したがって、RL学習モデルにおける継続学習の必要性として、政治教育に挑戦する。

関連論文リスト

• Finetuning with Sampling: SFT Learns Better Than You Think [59.15243022588638]
  ファインタニングの参照モデルから、オフ・ポリシートレースをよりオン・ポリシーに変換するサンプリングアルゴリズムを導入する。 我々のサンプリングアルゴリズムは,科学的なスキル獲得のようなタスク全体にわたって,SFTが普及しているポストトレーニング技術と競合することを可能にする。 本手法では,学習容易性のためにデータを生成するモデルネイティブ演算子としてサンプリングを行う。
  論文  参考訳（メタデータ） (2026-10-01T17:45:07Z)
• When Does Continual Learning Require Learning [68.55508958298942]
  継続的学習は単一の能力ではないことを示す。 環境変化の異なるパターンは、根本的に異なる更新動作を必要とする。 それぞれの手法が成功するか、失敗するかを理解することが、より強力な継続的学習システムの設計を導くことを願っている。
  論文  参考訳（メタデータ） (2026-07-08T18:27:40Z)
• Trust the Batch, On- or Off-Policy: Adaptive Policy Optimization for RL Post-Training [50.86545293331458]
  強化学習は、教師付き学習よりも構造的に難しい。 本稿では,固定クリッピングを政策比率の正規化された有効サンプルサイズに置き換える,単純かつ効果的なバッチ適応目的を提案する。
  論文  参考訳（メタデータ） (2026-05-12T16:44:47Z)
• Retrofit: Continual Learning with Bounded Forgetting for Security Applications [25.185616916987158]
  本稿では,データ振り返りのない連続学習手法であるRETROFITを提案する。 干渉を軽減するために、独立部分空間にパラメータ変化を限定する低ランクかつスパースな更新を適用する。 時間的ドリフト下でのマルウェア検出では、CLベースラインよりも20.2%から38.6%の保持スコアが大幅に向上し、新しいデータに対するオラクルの上限を超える。
  論文  参考訳（メタデータ） (2025-11-14T16:07:03Z)
• Beyond Prompt Learning: Continual Adapter for Efficient Rehearsal-Free Continual Learning [22.13331870720021]
  C-ADA (Continuous Adapter) という,RFCL タスクに対する超高速学習手法を提案する。 C-ADAは、CALの特定の重みを柔軟に拡張し、各タスクの新たな知識を学び、古い重みを凍結して以前の知識を保存する。 提案手法は,現状のSOTA(State-of-the-art)法よりも優れ,性能とトレーニング速度を大幅に向上させる。
  論文  参考訳（メタデータ） (2024-07-14T17:40:40Z)
• PILOT: A Pre-Trained Model-Based Continual Learning Toolbox [65.57123249246358]
  本稿では,PILOTとして知られるモデルベース連続学習ツールボックスについて紹介する。 一方、PILOTはL2P、DualPrompt、CODA-Promptといった事前学習モデルに基づいて、最先端のクラスインクリメンタル学習アルゴリズムを実装している。 一方、PILOTは、事前学習されたモデルの文脈に典型的なクラス増分学習アルゴリズムを適合させ、それらの効果を評価する。
  論文  参考訳（メタデータ） (2023-09-13T17:55:11Z)
• EXPANSE: A Deep Continual / Progressive Learning System for Deep Transfer Learning [1.1024591739346294]
  現在のDTL技術は、破滅的な忘れジレンマまたは過度に偏った事前訓練モデルに悩まされている。 本稿では,これらの制約に対処する深層移動学習のための新しい連続的・進行的学習手法を提案する。 私たちは、人間の教育システムにインスパイアされたディープラーニングモデルをトレーニングする新しい方法を提供する。
  論文  参考訳（メタデータ） (2022-05-19T03:54:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。