論文の概要: RE-0: Verified Recursive Improvement of Embodied Code-as-Policy Agents through Local On-Policy Distillation

• arxiv url: http://arxiv.org/abs/2609.32416v1
• Date: Sat, 26 Sep 2026 09:44:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-07 09:20:10.502192
• Title: RE-0: Verified Recursive Improvement of Embodied Code-as-Policy Agents through Local On-Policy Distillation
• Title（参考訳）: re-0: ローカルオン・ポリシィ蒸留によるエンボディード・コード・アズ・ポリシィ・エージェントの再帰的改善の検証
• Abstract要約: Code-as-Policyエージェントは、コードの生成と実行によって、長い水平化タスクを達成する。 既存の蒸留法は教師の完全な振る舞いを監督対象として扱い、教師が失敗した州でのトレーニングクレジットを誤割り当てする。 実証された介入をオンライン蒸留の監督に転換するRE-OPDを提案する。
• 参考スコア（独自算出の注目度）: 16.40574421935419
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Code-as-Policy agents accomplish long-horizon embodied tasks by generating and executing code, yet continually improving them with teachers that are stronger but not globally reliable remains a key challenge. Existing distillation methods typically treat the teacher's complete behavior as the supervision target and thus misassign training credit on states where the teacher fails. We propose RE-0, a recursively verified policy improvement framework: rather than assuming that the teacher globally outperforms the student, RE-0 requests local corrections from the teacher on the student's own failure histories and checks in the environment whether each correction is genuinely beneficial; verified corrections yield immediate improvement. Building on this, we propose RE-OPD, which turns verified interventions into supervision for on-policy distillation. Only counterfactually verified teacher interventions provide distribution-level supervision, weighted by their measured local benefit, and the improvement they induce is projected back into the standalone student, so both where supervision is applied and how much credit the teacher receives co-evolve with the student policy. We further prove that the student's per-round gain is lower-bounded by its verified intervention gain up to verification and projection error terms. Experiments across multiple Code-as-Policy embodied tasks show that RE-0 improves both teacher-assisted execution and the standalone student, and generalizes to novel robots and scenes.
• Abstract（参考訳）: Code-as-Policyエージェントは、コードの生成と実行によって、長期にわたる実施タスクを達成します。 既存の蒸留法は、教師の完全な振る舞いを監督対象として扱い、教師が失敗した州でのトレーニングクレジットを誤割り当てするのが一般的である。 教師が学生を世界規模で上回ると仮定する代わりに、RE-0は生徒自身の失敗履歴について教師から局所的な修正を依頼し、各修正が真に有益であるか否かを環境に確認し、検証された修正が即時改善をもたらす。 これに基づいて,実証された介入をオンライン蒸留の監督に転換するRE-OPDを提案する。 正当性確認を受けた教師の介入だけが、その測定値によって重み付けされた分布レベルの監督を提供し、それらが引き起こされる改善はスタンドアロンの学生に投影される。 さらに, 学生一人当たりの利得が, 検証および予測誤差項への介入によって低限界であることが証明された。 複数のCode-as-Policyの具体化タスクの実験では、RE-0は教師支援実行とスタンドアロンの学生の両方を改善し、新しいロボットやシーンに一般化している。

関連論文リスト

• TeacherGRPO: Closing the Capacity Gap in Reasoning Distillation via Teacher Alignment [70.40748464576045]
  強力な教師モデルから小さな学生への蒸留はギャップカースに面している。 教師がより高度に成長するにつれて、複雑な分布は生徒が近似できるものから多様化し、パフォーマンスが低下する。 本研究では,教師がデータを捨てたり,推論品質を劣化させたりすることなく,直接生徒の分布に適応する教師アライメントを提案する。
  論文  参考訳（メタデータ） (2026-09-27T10:13:54Z)
• When and Where to Trust the Teacher: Unifying On-Policy Distillation and GRPO through Entropy-Calibrated Credit Assignment [30.535425747356125]
  Unified Entropy-Calibrated Credit Redistribution for GRPOは、単一のGRPOスタイルの更新に検証器と教師信号を統合する。 emphPath-Utility Unification (PUU)は、検証者報酬と教師対教師パスの対数比を単一のKL正規化目的に組み合わせている。 emphEntropy-Calibrated Redistribution (ECR) は、署名された教師-旧来のトークンギャップを使用して、検証者由来のコンポーネントを再配布する。
  論文  参考訳（メタデータ） (2026-09-23T16:58:26Z)
• CA-OPD: Confidence-Aware On-Policy Distillation for Structured Visual Prediction [12.346416465825627]
  信頼できるオン・ポリシィ蒸留(CA-OPD)は、信頼性の高いロールアウト構築と適応的な監視を結合するフレームワークである。 GUIグラウンディングと光学文字認識のためのマルチ教師設定で評価され、CA-OPDはQwen3.5-0.8Bベースラインを大幅に改善する。
  論文  参考訳（メタデータ） (2026-09-02T10:11:59Z)
• H$^2$SD: Hybrid Hindsight Self-Distillation [61.71131241473028]
  検証可能な報酬付き強化学習(RLVR)は、言語モデル推論のための信頼性の高い結果監視を提供する。 既存の自己蒸留法は特権教師を追加するが、通常は一定の役割を割り当てる。 本稿では,教師のコンテキストに適応し,トラジェクタの正当性を更新するHybrid Hindsight Self-Distillation(MathrmH2mathrmSD$)を紹介する。
  論文  参考訳（メタデータ） (2026-07-21T10:47:27Z)
• HERO: Hindsight-Enhanced Reflection from Environment Observations for Agentic Self-Distillation [50.53459634301361]
  HEROは、次の環境観測を局所的に整列したフィードバックとして利用する、後向きの自己蒸留フレームワークである。 HEROはタスク成功を改善し、環境フィードバックのみの自己蒸留とGRPOに対する不要なターンを減らす。
  論文  参考訳（メタデータ） (2026-06-10T01:35:34Z)
• Prefix Teach, Suffix Fade: Local Teachability Collapse in Strong-to-Weak On-Policy Distillation [49.117085054884676]
  オンライン蒸留は、より強い教師からの強いフィードバックを使って、学生モデルを独自のロールアウトで訓練する。 我々は、この原則を軌跡固有のリリースルールで運用する。 強弱蒸留作業による実験結果から, この放出規則は標準全軌道PDよりも一貫して優れていたことが示唆された。
  論文  参考訳（メタデータ） (2026-05-13T15:05:30Z)
• Teacher-Guided Policy Optimization for LLM Distillation [90.49982387646861]
  Teacher-Guided Policy Optimization (TGPO) は、生徒のロールアウトに条件付き教師予測を活用することで、高密度な方向性誘導を取り入れたオンラインアルゴリズムである。 複雑な推論ベンチマークの実験では、TGPOは標準ベースラインを著しく上回り、異なる教師にとって堅牢であることが示されている。
  論文  参考訳（メタデータ） (2026-05-13T09:20:03Z)
• Prune-OPD: Efficient and Reliable On-Policy Distillation for Long-Horizon Reasoning [66.52232008796294]
  Prune-OPDはトレーニング予算と監督品質を動的に調整する。 トレーニング時間を37.6%減らし-68.0%削減すると同時に、しばしば改善され、挑戦的なベンチマークのパフォーマンスが向上する。
  論文  参考訳（メタデータ） (2026-05-08T14:38:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。