論文の概要: Correct Robots Before They Make Mistakes: Proactive Human-in-the-Loop Intervention via Preference Learning

• arxiv url: http://arxiv.org/abs/2611.05667v1
• Date: Tue, 03 Nov 2026 21:54:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 03:25:57.859714
• Title: Correct Robots Before They Make Mistakes: Proactive Human-in-the-Loop Intervention via Preference Learning
• Title（参考訳）: 間違いを犯す前に正解するロボット
• Abstract要約: Proactive Human-in-the-Loop (PHIL) は、積極的な政策修正と嗜好に基づくポストトレーニングのためのフレームワークである。 本稿では,拡散政策と事前学習された視覚言語行動政策を用いて,実世界の4つの操作課題におけるPHILの評価を行う。
• 参考スコア（独自算出の注目度）: 32.018674645791315
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper presents Proactive Human-in-the-Loop (PHIL), a framework for proactive policy correction and preference-based post-training. PHIL enables operators to preview policy-predicted future motion and intervene before anticipated undesirable actions. During takeover, PHIL continues querying the policy and displaying its predicted trajectories in the physical workspace through an extended reality (XR) interface. PHIL pairs rejected policy predictions with corrective action chunks subsequently executed from the same physical state over the same horizon, and preference-based post-training encourages the policy to favor these corrections. This paper evaluates PHIL on four real-world manipulation tasks using a diffusion policy and a pretrained vision-language-action policy. With five correction episodes per condition, PHIL increases mean success rates across the evaluated tasks and demonstration budgets from 44.0% to 70.3% for the diffusion policy and from 57.8% to 76.9% for X-VLA, compared with HG-DAgger. Separately, policies trained with proactive corrections show fewer unnecessary recovery behaviors in successful episodes. Project page: https://intuitive-robots.github.io/PHIL-page/.
• Abstract（参考訳）: 本稿では,積極的政策修正と嗜好に基づくポストトレーニングのためのフレームワークであるPHILについて述べる。 PHILは、ポリシーによって予測される将来の動作をプレビューし、望ましくないアクションを予想する前に介入することを可能にする。 買収の間、PHILはポリシーのクエリを継続し、拡張現実(XR)インターフェースを通じて、予測された軌道を物理ワークスペースに表示する。 PHILペアは同じ地平線上で同じ物理的状態から実行された修正アクションチャンクによるポリシー予測を拒絶し、嗜好ベースのポストトレーニングは、ポリシーがこれらの修正を支持することを奨励する。 本稿では,拡散政策と事前学習された視覚言語行動政策を用いて,実世界の4つの操作課題におけるPHILの評価を行う。 PHILは条件毎の修正エピソード5回で、評価されたタスクの平均成功率と実証予算を、拡散政策の44.0%から70.3%、X-VLAの57.8%から76.9%に引き上げる。 個別に、前向きな修正で訓練されたポリシーは、成功エピソードにおける不要な回復行動が少ないことを示している。 プロジェクトページ:https://intuitive-robots.github.io/PHIL-page/。

関連論文リスト

• Stable and Efficient Real-World Online VLA Post-Training via Asynchronous Replay-Anchored Policy Improvement [60.83624556700821]
  本稿では,リプレイ動作における批評家とアクターの更新の両方を基盤として,ロールアウトと学習を同時に行うフレームワークを提案する。 RAPolicyを4つのシングルタスク設定と1つのジョイント5タスク設定で実世界で評価し,オンライントレーニングの予算は1～2時間に過ぎなかった。
  論文  参考訳（メタデータ） (2026-09-19T08:45:18Z)
• Proxy Policy Steering [18.880191675273796]
  汎用的なロボットポリシーは、大規模なデータから幅広い操作を先取りするが、それらを新しいタスクに専門化することは、デプロイメントのボトルネックのままである。 本稿では、この課題を解決する推論時適応法であるプロキシポリシーステアリング(PPS)を紹介する。 PPSは最先端のpi 0.5ベースポリシーを平均53%の絶対的な成功率で引き上げ、ベースが解決しないタスクでゼロ対1のゲインを得る。
  論文  参考訳（メタデータ） (2026-09-08T17:59:03Z)
• On-Policy Self-Distillation in Diffusion Models [89.32656931795293]
  強化学習は、拡散モデルと人間の好みやタスク固有の目的とを一致させることができるが、エンドポイント報酬は、中間的偏見予測をどのように変更すべきかを規定していない。 そこで我々は、DiffusionOPSDを、画像レベルの報酬誘導を明示的なターゲットに変換して、サンプルクエリにおけるクリーンな出力予測を行うオンライン自己蒸留フレームワークとして導入する。 SD 3.5-Mとステップ蒸留したZ-Image-Turboを用いて、2つのバックボーンと10個の評価器で20の報酬マッチング設定のうち19のファイナルホールトアウトスコアを達成した。
  論文  参考訳（メタデータ） (2026-08-25T14:55:24Z)
• Pre-Trained Policy Discriminators are General Reward Models [81.3974586561645]
  政策差別学習(POLAR)という,スケーラブルな事前学習手法を提案する。 POLARは報酬モデル(RM)を訓練し、同一のポリシーを識別し、異なるポリシーを識別する。 実証実験の結果、POLARは従来の非事前学習法よりも大幅に優れていた。
  論文  参考訳（メタデータ） (2025-07-07T16:56:31Z)
• FDPP: Fine-tune Diffusion Policy with Human Preference [57.44575105114056]
  人間の嗜好を考慮した微調整拡散政策は、嗜好に基づく学習を通して報酬関数を学習する。 この報酬は、訓練済みの政策を強化学習で微調整するために使われる。 実験により、FDPPは性能を損なうことなく、効果的にポリシーの動作をカスタマイズできることが示されている。
  論文  参考訳（メタデータ） (2025-01-14T17:15:27Z)
• Enhancing Sample Efficiency and Exploration in Reinforcement Learning through the Integration of Diffusion Models and Proximal Policy Optimization [3.2288603733409498]
  条件拡散モデルを適応可能な行動として扱う政策枠組みを厳格に提示する。 前者はログ化されたデータに基づいて事前訓練され、サンプリング時にのみオンラインで、現在のポリシーステートでのアクションの提案に使用される。 以上の結果から,事前の適応的拡散行動は,緊密な相互作用予算の下での政策PPOを強化するための実践的な方法であることが示唆された。
  論文  参考訳（メタデータ） (2024-09-02T19:10:32Z)
• Off-Policy Evaluation for Large Action Spaces via Policy Convolution [60.6953713877886]
  ポリシ・コンボリューション(Policy Convolution)のファミリーは、アクション内の潜在構造を使用して、ログとターゲットポリシを戦略的に畳み込みます。 合成およびベンチマークデータセットの実験では、PCを使用する場合の平均二乗誤差(MSE)が顕著に改善されている。
  論文  参考訳（メタデータ） (2023-10-24T01:00:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。