論文の概要: Visual Verification Enables Inference-time Steering and Autonomous Policy Improvement

• arxiv url: http://arxiv.org/abs/2606.18247v1
• Date: Tue, 16 Jun 2026 17:59:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-17 17:15:32.599915
• Title: Visual Verification Enables Inference-time Steering and Autonomous Policy Improvement
• Title（参考訳）: 推論時のステアリングと自律的なポリシ改善を可能にするビジュアル検証
• Abstract要約: 推論時ポリシーステアリングと自己改善のための汎用ロボットポリシーのためのジェネレータ検証フレームワークであるVERITASを提案する。 予測時間による検証は、付加的な実演データをトレーニングすることなく、ベニラジェネリストを一貫して上回っていることを実証する。
• 参考スコア（独自算出の注目度）: 5.895174052129856
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Robots deployed in the real world should learn from their experience and improve over time. This requires a mechanism of practicing and learning from feedback. In this paper, we propose VERITAS, a generator-verifier framework for generalist robot policies for inference-time policy steering and self-improvement. We use a pre-trained generalist robot policy as a ``generator'' and pair it with a gradient-free ``visual verifier'' that evaluates actions at inference time. This framework enables inference-time steering that improves policy performance without additional training. We demonstrate that inference-time verification consistently outperforms vanilla generalists without training on additional demonstration data. Additionally, we demonstrate that the verified rollouts provide effective supervision for offline policy improvement: policies fine-tuned on verified self-generated trajectories achieve consistent performance gains. Notably, we find that post-training with verified rollouts achieves comparable efficiency to expert demonstrations, while requiring no human interventions. Our results highlight inference-time verification as a practical and scalable mechanism for improving robotic policies during deployment.
• Abstract（参考訳）: 現実世界に配備されたロボットは、経験から学び、時間とともに改善する必要がある。 これは、フィードバックから練習と学習のメカニズムが必要です。 本稿では,推論時ポリシーステアリングと自己改善のための汎用ロボットポリシーのためのジェネレータ検証フレームワークであるVERITASを提案する。 我々は、事前訓練された汎用ロボットポリシーを「ジェネレータ」として使用し、推論時の動作を評価する勾配のない「視覚的検証器」と組み合わせる。 このフレームワークは、追加のトレーニングなしでポリシーパフォーマンスを改善する推論時ステアリングを可能にする。 推定時間による検証は、付加的な実演データをトレーニングすることなく、バニラジェネリストを一貫して上回っていることを実証する。 さらに、検証済みのロールアウトが、オフラインポリシーの改善に効果的な監視を提供することを示す。 特に、検証済みのロールアウトによるポストトレーニングは、人間の介入を必要とせず、専門家によるデモンストレーションに匹敵する効率を実現している。 本研究は,ロボットのデプロイ時のポリシーを改善するための実用的かつスケーラブルなメカニズムとして,推論時間検証を強調した。

関連論文リスト

• Do Robotic World Models Really Follow Actions? Diagnosing and Aligning Action-Conditioned Generation for Policy Learning [53.77164209208635]
  本稿では,視覚的整合性と軌跡アライメントを用いて,より広い行動分布を探索するWorldEchoを紹介する。 本稿では,3つの軸に沿った行動(分布カバレッジ,表現的接地,介入効果のアライメント)を強化するWorldSyncを提案する。 RoboTwinベンチマークと実ロボットタスクの実験は、WorldSyncがWorldEchoメトリクスを改善し、反復的なポリシー改善のためのより信頼性の高いシミュレータとして機能していることを示している。
  論文  参考訳（メタデータ） (2026-08-25T17:59:49Z)
• ORPA: Online Residual Policy Adaptation for Robot Manipulation Control with Human Feedback [1.711436622393758]
  オンライン残留ポリシー適応(英語: Online Residual Policy Adaptation、ORPA)は、ロボット行動のフィードバック駆動による修正を可能にするフレームワークである。 ORPAは事前訓練された制御ポリシーを軽量でフィードバック条件付きモジュールで拡張し、関節空間内での残留調整を直接予測する。 ORPAをALOHAプラットフォームを用いて精度の高い操作タスクのセットで評価し、ベースライン制御ポリシやルールベースの逆運動学補正と比較して、小さな摂動による成功率と回復率の改善を実証した。
  論文  参考訳（メタデータ） (2026-08-18T03:30:12Z)
• PPGuide: Steering Diffusion Policies with Performance Predictive Guidance [28.698103923760172]
  PPGuideは、事前訓練された拡散ポリシーを、推論時に障害モードから切り離す。 注意ベースのマルチインスタンス学習を使用して、ポリシーのロールアウトからどの観察-アクションチャンクが成功か失敗かを自動的に見積もる。 提案したPPGuideを,RobomimicベンチマークとMimicGenベンチマークから,さまざまなタスクセットで検証した。
  論文  参考訳（メタデータ） (2026-03-11T17:10:16Z)
• Self-adapting Robotic Agents through Online Continual Reinforcement Learning with World Model Feedback [2.165723322157105]
  この作業は、デプロイ中の自動適応を可能にするオンライン連続強化学習のためのフレームワークを提供する。 提案手法は,世界モデル予測残差を利用して分布外事象を検出し,自動的に微調整をトリガーする。 このアプローチは、高忠実度シミュレーションにおける四足歩行ロボットを含む、様々な現代の連続制御問題に対して検証される。
  論文  参考訳（メタデータ） (2026-03-04T13:07:42Z)
• Flow Policy Gradients for Robot Control [67.61978635211048]
  フローマッチングポリシ勾配は、より表現力のあるポリシのトレーニングと微調整に有効である。 我々は、スクラッチからトレーニングを行う際に、フロー表現をどのように活用するかを示し、ベースラインよりもきめ細やかな堅牢性を改善する。
  論文  参考訳（メタデータ） (2026-02-02T18:56:49Z)
• On-the-Fly VLA Adaptation via Test-Time Reinforcement Learning [61.38273866396522]
  ビジョン・ランゲージ・アクションモデルが汎用ロボット学習の強力なパラダイムとして登場した。 現在の手法は、シミュレーションや物理世界の展開に挑戦するには相変わらず適していない。 本稿では,VLA フレームワークのテスト時間強化学習について紹介する。
  論文  参考訳（メタデータ） (2026-01-11T01:51:30Z)
• Posterior Behavioral Cloning: Pretraining BC Policies for Efficient RL Finetuning [87.81738284453013]
  まず,標準行動クローニング (BC) が実証者の行動のカバレッジを確保するのに失敗することを理論的に示す。 次に、観測された実演を正確に適合させる代わりに、実証者の行動の後部分布をモデル化する政策を訓練することを示した。 このポリシーは、デモ隊の行動の報道を確実にし、より効果的な微調整を可能にする。
  論文  参考訳（メタデータ） (2025-12-18T18:59:17Z)
• Human-in-the-loop Online Rejection Sampling for Robotic Manipulation [55.99788088622936]
  Hi-ORSは、オンライン微調整中に負の報酬を得たサンプルをフィルタリングすることで、値推定を安定化する。 Hi-ORSは、わずか1.5時間でコンタクトリッチな操作をマスターするためのpiベースのポリシーを微調整する。
  論文  参考訳（メタデータ） (2025-10-30T11:53:08Z)
• Can Large Reasoning Models Self-Train? [51.0277533541394]
  多数決投票を簡単な自己フィードバック機構として利用し、強化学習において自己学習が持続できるかどうかを検討する。 この基本的なアプローチは、モデルの推論性能だけでなく、次のRLイテレーションでより良い品質フィードバックを生成する能力も改善します。 しかし、我々の分析では、このような自己学習パラダイムの限界も明らかにしています - 自己回帰の長いRLは、報酬のハッキングにつながるため、突然、そして完全なパフォーマンスが崩壊します。
  論文  参考訳（メタデータ） (2025-05-27T17:16:00Z)
• ROSO: Improving Robotic Policy Inference via Synthetic Observations [0.0]
  本稿では、事前訓練されたポリシーのゼロショット性能を改善するために、生成人工知能の利用を提案する。 我々の実験は、生成AIをロボット推論に組み込むことで、成果が大幅に向上することを示した。
  論文  参考訳（メタデータ） (2023-11-28T10:52:35Z)
• Robot Fine-Tuning Made Easy: Pre-Training Rewards and Policies for Autonomous Real-World Reinforcement Learning [58.3994826169858]
  ロボット強化学習のためのリセット不要な微調整システムであるRoboFuMEを紹介する。 我々の洞察は、オフラインの強化学習技術を利用して、事前訓練されたポリシーの効率的なオンライン微調整を確保することである。 提案手法では,既存のロボットデータセットからのデータを組み込んで,目標タスクを3時間以内の自律現実体験で改善することができる。
  論文  参考訳（メタデータ） (2023-10-23T17:50:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。