論文の概要: A Predictive Law for On-Policy Self-Distillation From World Feedback

• arxiv url: http://arxiv.org/abs/2605.30070v1
• Date: Thu, 28 May 2026 15:17:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-30 02:45:56.421465
• Title: A Predictive Law for On-Policy Self-Distillation From World Feedback
• Title（参考訳）: 世界フィードバックによるオンデマンド自己蒸留の予測法則
• Authors: Tommy He, Jerome Sieber, Matteo Saponati,
• Abstract要約: On-policy Self-distillation (OPSD)は、任意のフィードバックを学習信号として利用する、有望なアプローチである。 我々は,OPSDのパフォーマンスをトレーニング前に予測し,調整できることを示し,世界フィードバックをポストトレーニングパイプラインの第一級コンポーネントとして組み込むための原則的方法を提供する。
• 参考スコア（独自算出の注目度）: 1.8989339646781296
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Moving beyond simple scalar rewards toward richer world feedback is a natural path to more scalable RL post-training. On-policy self-distillation (OPSD) is a promising recent approach that uses arbitrary feedback as learning signal, yet its reliability compared to established methods, such as GRPO, remains unclear. We identify a strikingly consistent linear correlation between the initial student-self-teacher performance gap and the final performance improvement in OPSD. This relationship holds across context types and model families, providing a powerful predictive law for anticipating the outcome of an OPSD configuration without running the full training procedure. Interestingly, we show that this linear predictability holds with model scale, suggesting a potential basis for new empirical scaling laws on larger models with stronger in-context learning capabilities. In essence, our findings show that OPSD performance can be predicted and tuned before training, offering a principled way to incorporate world feedback as a first-class component of the post-training pipeline.
• Abstract（参考訳）: よりリッチな世界フィードバックへの単純なスカラー報酬を超えて、よりスケーラブルなRLポストトレーニングへの自然な道のりです。 On-policy Self-distillation (OPSD) は、任意のフィードバックを学習信号として利用する有望なアプローチであるが、GRPOのような既存の手法と比較して信頼性は未定である。 我々は,初期学生と教師のパフォーマンスギャップとOPSDの最終的な性能改善との間に,顕著に一貫した線形相関関係を同定した。 この関係はコンテキストタイプとモデルファミリにまたがって成り立ち、完全なトレーニング手順を実行せずにOPSD構成の結果を予測する強力な予測法則を提供する。 興味深いことに、この線形予測性はモデルスケールに沿うことを示し、より強いコンテキスト学習能力を持つ大規模モデルに対する新しい経験的スケーリング法則の潜在的基盤を示唆している。 本研究の結果は,OPSDの性能をトレーニング前に予測し,調整できることを示し,学習後パイプラインの第一級コンポーネントとして世界フィードバックを組み込むための原則的方法を提供する。

関連論文リスト

• FBOS-RL: Feedback-Driven Bi-Objective Synergistic Reinforcement Learning [16.200486964371713]
  フィードバック駆動型双方向強化学習フレームワークFBOS-RLを提案する。 具体的には、環境からのフィードバックに基づいて、フィードバックガイドによる探索強化を行う。 同じロールアウト数で、FBOS-RLはGRPOやフィードバックベースのベースラインよりもかなり高速に学習する。
  論文  参考訳（メタデータ） (2026-05-18T12:48:36Z)
• On Predicting the Post-training Potential of Pre-trained LLMs [60.07459271263409]
  本稿では,ポストトレーニング前のベースモデルの性能予測という,ポストトレーニング後の潜在能力を予測するための新しいタスクを紹介する。 本稿では,応答判別を活用することで,ベースモデルの生成ギャップを回避できる統一フレームワークであるRuDEを提案する。 実験では、トレーニング後のパフォーマンスと90%以上の相関を示す。
  論文  参考訳（メタデータ） (2026-05-12T11:33:49Z)
• Stabilizing Reinforcement Learning with LLMs: Formulation and Practices [61.361819972410046]
  本稿では,REINFORCEなどの政策勾配法において,真のシーケンスレベルの報酬を代用トークンレベルの目的によって最適化できる理由と条件を示す。 この洞察は、RLトレーニングの安定化において、広く採用されているいくつかのテクニックの重要な役割について、原則化された説明を提供する。
  論文  参考訳（メタデータ） (2025-12-01T07:45:39Z)
• Diffusion Guidance Is a Controllable Policy Improvement Operator [98.11511661904618]
  CFGRLは教師付き学習の単純さで訓練されているが、データ内のポリシーをさらに改善することができる。 オフラインのRLタスクでは、信頼性の高いトレンドが観察されます -- ガイダンスの重み付けの増加によって、パフォーマンスが向上します。
  論文  参考訳（メタデータ） (2025-05-29T14:06:50Z)
• The Fine Line: Navigating Large Language Model Pretraining with Down-streaming Capability Analysis [27.310894780313618]
  本稿では,様々な事前学習中間点におけるモデル能力の総合的な比較を行う。 特定のダウンストリームメトリクスが、異なるサイズのモデルにまたがる同様のトレーニングダイナミクスを示すことを確認します。 コアの発見に加えて、AmberとOpenLLaMAを再現し、中間チェックポイントをリリースしました。
  論文  参考訳（メタデータ） (2024-04-01T16:00:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。