論文の概要: Asynchronous On-Policy Self-Distillation

• arxiv url: http://arxiv.org/abs/2610.25880v1
• Date: Mon, 19 Oct 2026 06:38:04 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 22:33:38.656958
• Title: Asynchronous On-Policy Self-Distillation
• Title（参考訳）: Asynchronous On-Policy Self-Distillation
• Abstract要約: 我々は,学習者の更新からロールアウト生成を分離し,トレーニングスループットを向上させるフレームワークであるAsyncOPSD(Asynchronous On-Policy Self-Distillation)を紹介した。 AsyncOPSDは、平均ベンチマーク精度を高めながら、トレーニングのスループットを1.96$-2.25times$ over synchronous OPSDで改善する。
• 参考スコア（独自算出の注目度）: 28.636793516133235
• License:
• Abstract: Unlike on-policy distillation (OPD), which depends on a separate teacher model, on-policy self-distillation (OPSD) leverages a single language model acting simultaneously as the student and the teacher, with the teacher conditioned on privileged information. Despite this architectural simplicity, synchronous rollout generation dominates overall training time, creating a severe systems bottleneck when scaling OPSD. To address this, we introduce Asynchronous On-Policy Self-Distillation (AsyncOPSD), a framework that decouples rollout generation from learner updates to improve training throughput. Since the teacher and student share parameters, AsyncOPSD eliminates the multi-model coordination overhead inherent to OPD architectures in asynchronous training. As the student policy evolves, buffered trajectories generated by older policies become stale, potentially degrading performance. To mitigate this, we introduce a distillation objective based on staleness-aware policy control and token-level entropy weighting. Across three model sizes and mathematical reasoning benchmarks, AsyncOPSD improves the training throughput by $1.96$--$2.25\times$ over synchronous OPSD while increasing average benchmark accuracy.
• Abstract（参考訳）: 個別の教師モデルに依存するオンライン蒸留(OPD)とは異なり、オンライン自己蒸留(OPSD)は生徒と教師が同時に行動する単一の言語モデルを利用しており、教師は特権情報によって条件付けされている。 このようなアーキテクチャの単純さにもかかわらず、同期ロールアウト生成は全体的なトレーニング時間を支配し、OPSDをスケールする際のシステムボトルネックを発生させる。 これを解決するために,学習者の更新からロールアウト生成を分離し,トレーニングスループットを向上させるフレームワークであるAsyncOPSD(Asynchronous On-Policy Self-Distillation)を導入する。 教師と生徒がパラメータを共有するため、AsyncOPSDは非同期トレーニングにおいてOPDアーキテクチャ固有のマルチモデル調整オーバーヘッドを取り除く。 学生ポリシーが進化するにつれて、古いポリシーによって生成されたバッファリングされた軌道は古いものとなり、性能が低下する可能性がある。 これを軽減するため, 安定度対応政策制御とトークンレベルのエントロピー重み付けに基づく蒸留目標を導入する。 3つのモデルサイズと数学的推論ベンチマークにより、AsyncOPSDはトレーニングのスループットを1.96$-$2.25\times$ over synchronous OPSDで改善し、平均ベンチマーク精度は向上した。

関連論文リスト

• Tree-Aware Posterior Distillation for Long-Horizon Agentic Reinforcement Learning [60.75091491636976]
  TreeOPSDは、長距離エージェント強化学習のための、批判のない、木を意識した後部自己蒸留フレームワークである。 複数の競合ベンチマークとモデルスケールでエージェント機能を改善する。
  論文  参考訳（メタデータ） (2026-10-16T09:17:26Z)
• ThunderSyncRL: Lossless Acceleration of Agentic Reinforcement Learning [21.02743214738046]
  非同期トレーニングは、ロールアウトとアップデート間の学習を重複させるが、ポリシーの安定が犠牲になる。 我々はThunderSyncRLを導入し、必要な入力がすべて固定された時点で、ポリシーの安定化なしにグラデーション計算を開始する。 我々は、グラデーションストリーミングが、どちらの目的も変更することなく、バッチ同期トレーニングと同じGRPOとOPD更新を生成することを証明した。
  論文  参考訳（メタデータ） (2026-10-05T07:51:46Z)
• SIPO: Unifying Reinforcement Learning with On-Policy Self-Distillation [24.836022752759035]
  検証可能な報酬付き強化学習(RLVR)は,様々なタスクにおいて大規模言語モデル(LLM)を改善するための標準パラダイムとなっている。 我々は,自己指導型政策最適化(SIPO)と対照的な自己指導型政策最適化(SIPO)を提案する。
  論文  参考訳（メタデータ） (2026-09-29T05:15:41Z)
• Interactive-Policy Distillation with Bidirectional Propose-and-Verify [15.832994594431776]
  インタラクティブ・ポリシィ蒸留(IPD)は、学生のロールアウトに適応的な教師の介入を適用する。 IPDは、より高性能な蒸留法であるだけでなく、オン・ポリティズムとオフ・ポリティズムのパラダイムの間の統一されたブリッジでもある。 数学推論タスクと複数の教師と学生のモデルペアにおいて、PDで訓練された学生モデルは、PDで訓練された生徒よりも優れているだけでなく、より高いデータ効率を示す。
  論文  参考訳（メタデータ） (2026-09-29T02:32:39Z)
• SR-OPSD: Self-Referenced On-Policy Self-Distillation [18.590739659841926]
  On-policy Self-distillation (OPSD) は、フィードバックを最適化されるポリシーによって生成されたトラジェクトリの密集したトークンレベルの監視に変換する。 各種環境における最先端・競争性能を実現するために,emphSelf-Referenced On-Policy Self-Distillation (SR-OPSD)を提案する。
  論文  参考訳（メタデータ） (2026-08-10T15:40:07Z)
• dOPSD: On-Policy Self-Distillation for Diffusion Language Models [52.60302464420127]
  拡散大言語モデルは、マスキングシーケンスを反復的に復調することでテキストを生成する。 監督された微調整は非政治的であり、露出バイアスに悩まされる一方、強化学習はわずかにシーケンスレベルの報酬しか与えない。 On-policy Self-distillation (OPSD)は、学生と教師の両方に1つのモデルを用いて、有望な代替手段を提供する。
  論文  参考訳（メタデータ） (2026-07-05T17:47:29Z)
• Prune-OPD: Efficient and Reliable On-Policy Distillation for Long-Horizon Reasoning [66.52232008796294]
  Prune-OPDはトレーニング予算と監督品質を動的に調整する。 トレーニング時間を37.6%減らし-68.0%削減すると同時に、しばしば改善され、挑戦的なベンチマークのパフォーマンスが向上する。
  論文  参考訳（メタデータ） (2026-05-08T14:38:53Z)
• Self-Distilled RLVR [57.37526213765131]
  特権教師からのみ派生した学習信号が,情報漏洩と不安定な長期学習をもたらすことを示す。 textbfSelf-textbfDistillationを用いたtextbfRLSD(textbfRLVR)を提案する。 これにより、RSSDはRLVRとOPSDの両方の強度を同時に利用でき、高い収束天井と優れたトレーニング安定性を実現することができる。
  論文  参考訳（メタデータ） (2026-04-03T15:50:07Z)
• Learning from Stochastic Teacher Representations Using Student-Guided Knowledge Distillation [64.15918654558816]
  教師表現のフィルタリングと重み付けのための自己蒸留(SSD)訓練戦略を導入し,タスク関連表現のみから抽出する。 UCR Archiveのウェアラブル/バイオサインデータセット、HARデータセット、画像分類データセットなどの実世界の感情コンピューティングに関する実験結果は、提案したSSD手法が最先端の手法より優れていることを示している。
  論文  参考訳（メタデータ） (2025-04-19T14:08:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。