論文の概要: Interpolated Policy Distillation: A Controllable Continuum Between Off-Policy and On-Policy Distillation

• arxiv url: http://arxiv.org/abs/2609.37170v1
• Date: Tue, 29 Sep 2026 09:57:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.4041
• Title: Interpolated Policy Distillation: A Controllable Continuum Between Off-Policy and On-Policy Distillation
• Title（参考訳）: 補間型政策蒸留:オフ・ポリケーションとオン・ポリケーションの間での制御可能な連続体
• Abstract要約: オフ政治とオン政治は伝統的に別々のパラダイムとして定式化されてきた。 復号ステップ毎に次点分布を定義した textbf Interpolated Policy Distillation (IPD) を導入する。 IPDは両エンドポイントポリシーを一貫して上回る。
• 参考スコア（独自算出の注目度）: 16.738590881238558
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Off-policy and on-policy distillation have traditionally been formulated as separate paradigms, each favoring a different property of distillation trajectories. Teacher-generated (off-policy) traces are typically high-quality but lie far from the student's distribution, whereas student-generated (on-policy) rollouts are more learnable but often contain erroneous reasoning. We view these paradigms as the endpoints of a policy continuum and posit that a more effective rollout policy may lie in between. We introduce \textbf{Interpolated Policy Distillation (IPD)}, which defines the next-token distribution at every decoding step as an explicit linear interpolation between the student and teacher distributions. The interpolation operates at the distribution level, token by token, and its coefficient provides direct control over the balance between trajectory quality and student learnability. Naively sampling from this policy would require sequentially querying the teacher at every token and is thus expensive. To make IPD practical, we accelerate it with a new speculative-decoding rule while exactly preserving the interpolated next-token distribution.At the trajectory level, the resulting rollouts naturally interleave student- and teacher-generated segments. Unlike recent heuristic segment-interleaving methods, however, this interleaving is induced by an exactly realized token-level interpolated policy rather than by hand-designed switching rules. Across text-only and multimodal reasoning benchmarks, IPD consistently outperforms both endpoint policies (SFT and OPD), their conventional two-stage combination (SFT-then-OPD), and recent heuristic segment-interleaving methods, demonstrating that token-level policy interpolation better balances trajectory quality and student learnability.
• Abstract（参考訳）: オフ・ポリティクスとオン・ポリティクスの蒸留は伝統的に別個のパラダイムとして定式化され、それぞれが蒸留軌跡の異なる性質を好んでいる。 教師が生成する(非政治的な)トレースは通常高品質であるが、生徒の分布からは程遠いが、学生が生成する(非政治的な)ロールアウトはより学習しやすいが、しばしば誤った推論を含む。 我々はこれらのパラダイムを、ポリシー継続のエンドポイントとみなし、より効果的なロールアウトポリシーが中間にあるかもしれないと仮定する。 我々は,各復号段階における次トーケン分布を,生徒と教師の配当との間に明示的な線形補間として定義する「textbf{Interpolated Policy Distillation (IPD) 」を紹介した。 補間はトークン単位の分布レベルで動作し、その係数は軌道品質と学生の学習性との間のバランスを直接制御する。 このポリシーから内在的なサンプリングを行うには、各トークンで教師にシーケンシャルに問い合わせる必要があり、そのためコストがかかる。 IPDを実用的なものにするために、補間された次トーケン分布を正確に保存しながら新しい投機的復号法で高速化し、軌道レベルにおいて、結果として得られるロールアウトは、学生や教師が生成したセグメントを自然にインターリーブする。 しかし、最近のヒューリスティックなセグメントインターリーブ法とは異なり、このインターリーブは手書きのスイッチングルールではなく、正確に実現されたトークンレベルの補間ポリシーによって誘導される。 テキストのみおよびマルチモーダル推論ベンチマーク全体で、IDDはエンドポイントポリシー(SFTとOPD)、従来の2段階の組み合わせ(SFT-then-OPD)、および最近のヒューリスティックセグメントインターリーブ法(英語版)を一貫して上回り、トークンレベルのポリシー補間が軌道品質と学生の学習可能性のバランスを良くすることを示した。

関連論文リスト

• SR-OPSD: Self-Referenced On-Policy Self-Distillation [18.590739659841926]
  On-policy Self-distillation (OPSD) は、フィードバックを最適化されるポリシーによって生成されたトラジェクトリの密集したトークンレベルの監視に変換する。 各種環境における最先端・競争性能を実現するために,emphSelf-Referenced On-Policy Self-Distillation (SR-OPSD)を提案する。
  論文  参考訳（メタデータ） (2026-08-10T15:40:07Z)
• Contrastive On-Policy Distillation [36.47487086937924]
  対照的なオンライン蒸留フレームワークである COPD を提案する。 COPDは生徒モデルに直接、より簡潔で効率的な推論戦略を学ぶよう促す。
  論文  参考訳（メタデータ） (2026-07-21T12:35:04Z)
• dOPSD: On-Policy Self-Distillation for Diffusion Language Models [52.60302464420127]
  拡散大言語モデルは、マスキングシーケンスを反復的に復調することでテキストを生成する。 監督された微調整は非政治的であり、露出バイアスに悩まされる一方、強化学習はわずかにシーケンスレベルの報酬しか与えない。 On-policy Self-distillation (OPSD)は、学生と教師の両方に1つのモデルを用いて、有望な代替手段を提供する。
  論文  参考訳（メタデータ） (2026-07-05T17:47:29Z)
• LAFP: Preserving Latent Action Structure in Latent Policy Learning via Flow Matching [15.922360971421654]
  スケーラブルな潜在ポリシー学習のための潜在アクションフローポリシー(LAFP)を提案する。 LAFPは、下流の模倣学習タスクにおいて、従来手法よりも一貫して優れている。 LAFPは1倍のオーバヘッドを発生させる。
  論文  参考訳（メタデータ） (2026-06-09T07:49:49Z)
• OISD: On-Policy Internal Self-Distillation of Language Models [20.760265566511183]
  近年の強化学習手法は, 粗末な結果レベルの報酬を用いて, 最終出力政策を最適化している。 我々は,最終層から中間表現へ政治上の予測信号を転送することで推論を改善するOISDフレームワークを提案する。 OISDの有効性は,強い推理RLベースラインよりも大きく,一貫した改善がみられた。
  論文  参考訳（メタデータ） (2026-05-27T20:43:10Z)
• Offline Multi-agent Reinforcement Learning via Score Decomposition [51.23590397383217]
  オフライン協調型マルチエージェント強化学習(MARL)は、分散シフトによる固有の課題に直面している。 この作業は、オフラインとオンラインのMARL間の分散ギャップを明示的に解決する最初の作業である。
  論文  参考訳（メタデータ） (2025-05-09T11:42:31Z)
• Projected Off-Policy Q-Learning (POP-QL) for Stabilizing Offline Reinforcement Learning [57.83919813698673]
  Projected Off-Policy Q-Learning (POP-QL) は、政治外のサンプルを同時に重み付け、分散を防止し、価値近似誤差を減らすためにポリシーを制約する新しいアクタ批判アルゴリズムである。 我々の実験では、POP-QLは標準ベンチマーク上での競合性能を示すだけでなく、データ収集ポリシーがかなり最適化されていないタスクにおいて競合するメソッドよりも優れています。
  論文  参考訳（メタデータ） (2023-11-25T00:30:58Z)
• Policy Dispersion in Non-Markovian Environment [53.05904889617441]
  本稿では,非マルコフ環境下での国家行動ペアの歴史から,多様な政策の学習を試みる。 まず、ポリシー埋め込みを学習するために、トランスフォーマーベースの手法を採用する。 次に,政策埋め込みを積み重ねて分散行列を構築し,多様な政策の集合を誘導する。
  論文  参考訳（メタデータ） (2023-02-28T11:58:39Z)
• Constructing a Good Behavior Basis for Transfer using Generalized Policy Updates [63.58053355357644]
  そこで我々は,優れた政策集合を学習する問題を考察し,組み合わせることで,目に見えない多種多様な強化学習タスクを解くことができることを示した。 理論的には、独立したポリシーのセットと呼ぶ、特定の多様なポリシーのセットにアクセスできることによって、ハイレベルなパフォーマンスを即時に達成できることが示される。
  論文  参考訳（メタデータ） (2021-12-30T12:20:46Z)
• Tree-Structured Policy based Progressive Reinforcement Learning for Temporally Language Grounding in Video [128.08590291947544]
  非トリミングビデオにおける一時的言語接地は、ビデオ理解における新たな課題である。 ヒトの粗大な意思決定パラダイムにインスパイアされた我々は、新しい木構造政策に基づくプログレッシブ強化学習フレームワークを定式化した。
  論文  参考訳（メタデータ） (2020-01-18T15:08:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。