論文の概要: Replay for LLM Continual Learning with Multi-Teacher On-Policy Distillation

• arxiv url: http://arxiv.org/abs/2611.02746v2
• Date: Tue, 03 Nov 2026 08:22:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-04 23:36:30.579979
• Title: Replay for LLM Continual Learning with Multi-Teacher On-Policy Distillation
• Title（参考訳）: マルチ教師のオンライン蒸留によるLLM連続学習のリプレイ
• Abstract要約: マルチ教師のオンライン蒸留(MOPD)は、いくつかのドメインエキスパートを1人の学生に蒸留する。 本論文は,初期段階からの継続的MOPDを定式化し,前者に向けてのリプレイについて検討する。
• 参考スコア（独自算出の注目度）: 0.6726255259929497
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multi-teacher on-policy distillation (MOPD) distills several domain experts into one student and is used in the post-training of recent large language models. It trains on all domains at once, so every expert must be available at the same time. In practice, capabilities often arrive one after another, and the experts of earlier domains may be gone when a new domain is learned. Distilling the experts in sequence then suffers from catastrophic forgetting of the earlier domains. Some recent pipelines store a snapshot after every stage and end with a multi-teacher recovery stage taught by all snapshots. The number of stored models then grows with the number of stages. Different from these pipelines, this paper formulates continual MOPD by what is kept from earlier stages and studies replay toward the previous student. Inside every stage, prompts of earlier domains are replayed with the student of the previous stage as their teacher, so neither earlier experts nor stage snapshots are kept. Two design choices of replay are explored. The replay budget of a stage is either shared among the earlier domains or fixed per earlier domain. Replay steps either distill the token distribution alone or add alignment of hidden states, region-pooled self-attention scores and value relations. A five-domain benchmark of logic, math, code, safety and instruction following is built from public experts of one 1.5B student. Experiments on its 14 benchmarks show that, without storing any snapshot, replay toward the previous student closes most of the gap between sequential distillation and joint MOPD. With a fixed replay share per earlier domain, it performs on par with recovery from all stored snapshots.
• Abstract（参考訳）: マルチテラーオンライン蒸留(MOPD)は、いくつかのドメインエキスパートを1人の学生に蒸留し、近年の大規模言語モデルのポストトレーニングに使用される。 一度にすべてのドメインをトレーニングするので、すべての専門家が同時に利用できなければなりません。 実際には、機能はしばしば次々に到達し、新しいドメインが学習されると、以前のドメインの専門家が消える可能性がある。 専門家を順番に蒸留すると、以前のドメインの破滅的な忘れ込みに悩まされる。 最近のパイプラインでは、各ステージの後にスナップショットを格納し、すべてのスナップショットで教えられたマルチテスタリカバリステージで終了するものもある。 保存されたモデルの数は、ステージの数とともに増加する。 これらのパイプラインと異なり、この論文は、初期の段階から保持されているものによって連続的なMOPDを定式化し、前者に向けたリプレイについて研究する。 各ステージ内では、以前のドメインのプロンプトが前ステージの学生と教師として再生されるため、以前の専門家もステージスナップショットも保持されない。 リプレイの2つの設計選択が検討されている。 ステージの再生予算は、以前のドメイン間で共有されるか、以前のドメイン毎に固定される。 リプレイステップでは、トークン分布のみを蒸留するか、隠された状態のアライメント、領域プーリングされた自己アテンションスコア、値関係を追加します。 論理学、数学、コード、安全性、そして次の5つのドメインのベンチマークは、1.5億人の学生の公開専門家によって作成されている。 14のベンチマークでの実験では、スナップショットを保存せずに、前の学生に対するリプレイが、連続蒸留と共同MOPDのギャップの大部分を閉じていることが示されている。 以前のドメイン毎のリプレイ共有は、保存されたすべてのスナップショットからのリカバリと同等に実行される。

関連論文リスト

• SWE-Ladder: Learning to Localize, Reproduce, and Patch via Progressive Privileged Self-Distillation [50.59891115855016]
  強化学習は、最終パッチ上の単一のテスト結果からそのようなエージェントを訓練する。 オンラインの自己蒸留は、すべてのステップで完全な参照パッチを公開する。 本稿では,SWE-Ladderを提案する。
  論文  参考訳（メタデータ） (2026-10-24T13:27:18Z)
• Failure Recovery via Belief Updates and World Modeling for Long-Horizon Agents [58.51369178880458]
  ロングホライゾンのエージェントは、何歩か前に発生した障害から回復するのに苦労することが多い。 本報告では, 検証試験における持続的証拠と, 補修方向に対する予測的推論を組み合わせた枠組みであるBELIEFWEAVERを紹介する。
  論文  参考訳（メタデータ） (2026-10-13T10:05:06Z)
• Replay on Demand: An Emergent Curriculum for Balancing Adaptation and Forgetting in Continued Pretraining [57.682536511720265]
  リプレイ・オン・デマンド(RoD)を導入し、モデルの学習力学からリプレイ・アロケーションを導出する。 RoDは、残りの学習電位で適応サンプルを優先順位付けし、観察された記憶によってサンプルを再生する。 RoDは、前もってリプレイアロケーションを規定することなく、調整済みの固定再生ベースラインとモデルマージの適応鍛造フロンティアに到達または改善する。
  論文  参考訳（メタデータ） (2026-09-30T16:31:32Z)
• Learn Now, Use Next, Trust Later: Prequential Test-Time Learning for LLM Agents [55.440058537827134]
  StepLearnは、永続的な信頼から即時の使用を分離する非パラメトリックフレームワークである。 情報的な遷移を仮説に変え、次のステップを導く。 GPT-5-miniでの平均成功率は59.9%、84.0%、Qwen3.5-35B-A3Bで57.8%、88.1%である。
  論文  参考訳（メタデータ） (2026-09-28T08:06:03Z)
• DreamingGoose: Staged Distillation from Autoregressive Transformers to Bidirectional Recurrent Diffusion Language Models [41.99844472131922]
  我々はQwen3の教師を1.7Bと8Bで3段階に分けて、注意なし、双方向、ゲート・デルタ・ルール拡散学習者に変換する。 言語モデリングは部分的および非分配のみを転送する。 検索を学習するすべてのモデルは、検索エピソードに現れないトークンに対して0.000のスコアを獲得します。
  論文  参考訳（メタデータ） (2026-09-28T03:57:11Z)
• One Step, One Lead: Mitigating Higher-Order Interference in Multi-Domain Reinforcement Learning via Cross-Step Control [62.82372407840088]
  同点領域勾配は、連続的な更新が出力空間で部分的に逆転する場合においても、ほぼ一定であることを示す。 トークンレベルのリバウンドリスクをランク付けするために,各イテレーションでフォーカスドメインを指定するOSOLを提案する。 OSOLは0.4822のドメイン-マクロ平均に達し、最強の比較ベースラインよりも5.7%向上した。
  論文  参考訳（メタデータ） (2026-09-06T08:32:59Z)
• Beyond Endpoint Scores: Time- and Capacity-Conditioned Evaluation of Continual Knowledge Updating [1.9000311354194375]
  継続的な知識更新手法は、最終チェックポイントと従来のアダプタのランクよりも優れているとしばしば宣言される。 これは、より良い運用ポイントを特定するのに不十分であることを示す。
  論文  参考訳（メタデータ） (2026-09-03T14:18:39Z)
• D$^3$-MOPD: Adaptive Dynamic Domain ScheDuling for Efficient Multi-Teacher Distillation [50.89072318748398]
  マルチテラー・オン・ポリシー蒸留は、いくつかのドメイン専門家の教師を1人の学生に蒸留する。 既存のアプローチでは、トレーニング前にドメイン毎のデータ混在を修正するのが一般的である。 固定混合は、高速収束ドメイン上の計算を無駄にし、遅い収束ドメインをアンダートレインする。 D$3$-MOPDはドメイン単位の逆KL信号をオンラインに適応させるゼロオーバーヘッドスケジューラである。
  論文  参考訳（メタデータ） (2026-08-25T17:57:11Z)
• Hidden Failure Modes of Gradient Modification under Adam in Continual Learning, and Adaptive Decoupled Moment Routing as a Repair [21.974153439592317]
  多くの連続学習手法は、Adamを中立的なバックエンドとして扱いながら、上流の勾配を変更している。 この構成には、隠れた障害モードがあることが示されます。 我々の修正は、マグニチュードに富んだ第2モーメント統計を保ちながら、勾配を第1モーメントにのみルートする。
  論文  参考訳（メタデータ） (2026-04-24T10:00:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。