論文の概要: Replay for LLM Continual Learning with Multi-Teacher On-Policy Distillation
- arxiv url: http://arxiv.org/abs/2611.02746v1
- Date: Mon, 02 Nov 2026 08:35:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-04 23:36:30.579412
- Title: Replay for LLM Continual Learning with Multi-Teacher On-Policy Distillation
- Title（参考訳）: マルチ教師のオンライン蒸留によるLLM連続学習のリプレイ
- Abstract要約: 1.5Bの学生と5人のパブリックエキスパートを持つ5つのドメインについて,共同MOPDとの比較を行った。
シグナルはトークンレベルの蒸留だけで、または隠れた状態、注意と価値の関係をアライメントする。
スナップショットがなければ、前の学生に対するリプレイは、以前のドメインがステージのリプレイ予算を共有すると、6.2ポイントの3.8を閉じる。
- 参考スコア（独自算出の注目度）: 0.6726255259929497
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multi-teacher on-policy distillation (MOPD) distills domain experts into one student but needs every expert at once. When domains arrive one at a time and earlier experts are gone, the previous-stage student can teach replayed prompts of earlier domains inside every stage. Some pipelines instead store every stage snapshot for a final multi-teacher recovery stage. On five domains with a 1.5B student and five public experts, this paper compares both with joint MOPD. It varies the replay budget and the replay signal. The signal is token-level distillation alone or with alignment of hidden states, attention and value relations. Sequential distillation without replay or recovery is 6.2 points below 208-step joint MOPD on a 14-benchmark average and 3.5 points below on the 11 benchmarks outside safety. Without snapshots, replay toward the previous student closes 3.8 of the 6.2 points when the earlier domains share the replay budget of a stage. With a fixed share of seven replay steps per earlier domain and stage, it closes 5.8 over two training runs. This is level with the 5.9 of recovery from all snapshots, both at its default length and when given as many training steps as the fixed share. Alignment terms on replay steps change the average by about one point or less. If refusal and compliance count equally in safety, shared-budget replay ranks first among the trained configurations, and the fixed share stays at or above recovery. Against the shared budget, the fixed share lowers the score on the newest domain. Recovery lowers this score as well, in five of six cases. The replay steps of the fixed share grow quadratically with the number of stages.
- Abstract（参考訳）: マルチティーチンガー・オン・ポリシー蒸留(MOPD)は、ドメインエキスパートを1人の学生に蒸留するが、一度にすべての専門家を必要とする。
ドメインが一度にひとつになって、それ以前のエキスパートがいなくなると、前のステージの学生は、各ステージ内の以前のドメインの再生プロンプトを教えることができる。
代わりに、最後のマルチテラーリカバリステージのために、ステージスナップショットを格納するパイプラインもある。
1.5Bの学生と5人のパブリックエキスパートを持つ5つのドメインについて,共同MOPDとの比較を行った。
リプレイの予算とリプレイの合図は様々である。
シグナルはトークンレベルの蒸留だけで、または隠れた状態、注意と価値の関係をアライメントする。
リプレイやリカバリのない連続蒸留は、14ベンチマーク平均で208ステップのジョイントMOPD以下で6.2ポイント、安全以外のベンチマークでは3.5ポイント以下である。
スナップショットがなければ、前の学生に対するリプレイは、以前のドメインがステージのリプレイ予算を共有すると、6.2ポイントの3.8を閉じる。
初期のドメインとステージごとに7つのリプレイステップを固定し、2回のトレーニング実行で5.8を終了する。
これは、すべてのスナップショットからのリカバリの5.9レベルであり、デフォルトの長さと、固定シェアと同じ数のトレーニングステップが与えられる。
リプレイステップのアライメント条件は、平均を1ポイント以下変更する。
無効化とコンプライアンスが同等に安全であれば、共有予算のリプレイはトレーニングされた構成の中で第一にランクされ、固定された共有はリカバリされるかそれ以上に留まる。
共有予算に対して、固定シェアは最新のドメインのスコアを下げます。
回復率は6例中5例で低下する。
固定シェアの再生ステップは、ステージ数の2倍に増加する。
関連論文リスト
- SWE-Ladder: Learning to Localize, Reproduce, and Patch via Progressive Privileged Self-Distillation [50.59891115855016]
強化学習は、最終パッチ上の単一のテスト結果からそのようなエージェントを訓練する。
オンラインの自己蒸留は、すべてのステップで完全な参照パッチを公開する。
本稿では,SWE-Ladderを提案する。
論文 参考訳（メタデータ） (2026-10-24T13:27:18Z) - Failure Recovery via Belief Updates and World Modeling for Long-Horizon Agents [58.51369178880458]
ロングホライゾンのエージェントは、何歩か前に発生した障害から回復するのに苦労することが多い。
本報告では, 検証試験における持続的証拠と, 補修方向に対する予測的推論を組み合わせた枠組みであるBELIEFWEAVERを紹介する。
論文 参考訳（メタデータ） (2026-10-13T10:05:06Z) - Replay on Demand: An Emergent Curriculum for Balancing Adaptation and Forgetting in Continued Pretraining [57.682536511720265]
リプレイ・オン・デマンド(RoD)を導入し、モデルの学習力学からリプレイ・アロケーションを導出する。
RoDは、残りの学習電位で適応サンプルを優先順位付けし、観察された記憶によってサンプルを再生する。
RoDは、前もってリプレイアロケーションを規定することなく、調整済みの固定再生ベースラインとモデルマージの適応鍛造フロンティアに到達または改善する。
論文 参考訳（メタデータ） (2026-09-30T16:31:32Z) - Learn Now, Use Next, Trust Later: Prequential Test-Time Learning for LLM Agents [55.440058537827134]
StepLearnは、永続的な信頼から即時の使用を分離する非パラメトリックフレームワークである。
情報的な遷移を仮説に変え、次のステップを導く。
GPT-5-miniでの平均成功率は59.9%、84.0%、Qwen3.5-35B-A3Bで57.8%、88.1%である。
論文 参考訳（メタデータ） (2026-09-28T08:06:03Z) - DreamingGoose: Staged Distillation from Autoregressive Transformers to Bidirectional Recurrent Diffusion Language Models [41.99844472131922]
我々はQwen3の教師を1.7Bと8Bで3段階に分けて、注意なし、双方向、ゲート・デルタ・ルール拡散学習者に変換する。
言語モデリングは部分的および非分配のみを転送する。
検索を学習するすべてのモデルは、検索エピソードに現れないトークンに対して0.000のスコアを獲得します。
論文 参考訳（メタデータ） (2026-09-28T03:57:11Z) - One Step, One Lead: Mitigating Higher-Order Interference in Multi-Domain Reinforcement Learning via Cross-Step Control [62.82372407840088]
同点領域勾配は、連続的な更新が出力空間で部分的に逆転する場合においても、ほぼ一定であることを示す。
トークンレベルのリバウンドリスクをランク付けするために,各イテレーションでフォーカスドメインを指定するOSOLを提案する。
OSOLは0.4822のドメイン-マクロ平均に達し、最強の比較ベースラインよりも5.7%向上した。
論文 参考訳（メタデータ） (2026-09-06T08:32:59Z) - Beyond Endpoint Scores: Time- and Capacity-Conditioned Evaluation of Continual Knowledge Updating [1.9000311354194375]
継続的な知識更新手法は、最終チェックポイントと従来のアダプタのランクよりも優れているとしばしば宣言される。
これは、より良い運用ポイントを特定するのに不十分であることを示す。
論文 参考訳（メタデータ） (2026-09-03T14:18:39Z) - D$^3$-MOPD: Adaptive Dynamic Domain ScheDuling for Efficient Multi-Teacher Distillation [50.89072318748398]
マルチテラー・オン・ポリシー蒸留は、いくつかのドメイン専門家の教師を1人の学生に蒸留する。
既存のアプローチでは、トレーニング前にドメイン毎のデータ混在を修正するのが一般的である。
固定混合は、高速収束ドメイン上の計算を無駄にし、遅い収束ドメインをアンダートレインする。
D$3$-MOPDはドメイン単位の逆KL信号をオンラインに適応させるゼロオーバーヘッドスケジューラである。
論文 参考訳（メタデータ） (2026-08-25T17:57:11Z) - Hidden Failure Modes of Gradient Modification under Adam in Continual Learning, and Adaptive Decoupled Moment Routing as a Repair [21.974153439592317]
多くの連続学習手法は、Adamを中立的なバックエンドとして扱いながら、上流の勾配を変更している。
この構成には、隠れた障害モードがあることが示されます。
我々の修正は、マグニチュードに富んだ第2モーメント統計を保ちながら、勾配を第1モーメントにのみルートする。
論文 参考訳（メタデータ） (2026-04-24T10:00:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。