論文の概要: SPEAR: Selective Preference Elicitation with Adaptive Rewards for VLM-Guided Robotic Manipulation

• arxiv url: http://arxiv.org/abs/2610.21621v1
• Date: Thu, 15 Oct 2026 10:02:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 06:09:33.020161
• Title: SPEAR: Selective Preference Elicitation with Adaptive Rewards for VLM-Guided Robotic Manipulation
• Title（参考訳）: SPEAR: VLM誘導ロボットマニピュレーションのための適応リワードを用いた選択的選好励振
• Abstract要約: 本研究では、視覚言語モデルから効率的な選好オラクルに変換するフレームワークであるSPEARを提案する。 まず、留意率を低減するために、識別可能性を考慮したクエリ選択を設計する。 第2に、VLM合成誘導による探索をブートストラップする適応的な報酬遷移をデプロイする。
• 参考スコア（独自算出の注目度）: 14.81301556362076
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent Vision-Language Models (VLMs) enable automated preference labeling for robotic manipulation, yet their deployment remains impractical since each query incurs substantial inference cost, while VLMs frequently abstain on visually challenging comparisons. We propose SPEAR, a framework that transforms VLMs into efficient preference oracles via two synergistic mechanisms. First, we design distinguishability-aware query selection to reduce abstention rates by targeting only informative and distinguishable comparisons. Second, we deploy an adaptive reward transition that bootstraps exploration with VLM-synthesized guidance before preference-based refinement. Experiments on the manipulation benchmarks demonstrate that SPEAR achieves 88.9% average success, outperforming baselines by 23.3 percentage points, while significantly reducing abstention and wall-clock training time on contact-rich tasks. SPEAR learns three Mobile ALOHA manipulation tasks fully online on real hardware, demonstrating end-to-end real-world applicability. By addressing query efficiency and exploration challenges, SPEAR establishes VLMs as practical preference oracles for scalable robot learning without manual reward engineering.
• Abstract（参考訳）: 近年のVision-Language Models (VLM) はロボット操作のための自動選好ラベリングを可能にするが、各クエリが相当な推論コストを発生させるのに対して、VLMは視覚的に困難な比較にしばしば依存するため、その展開は実用的ではない。 本研究では,VLMを2つの相乗的機構によって効率的に選好オーラクルに変換するフレームワークであるSPEARを提案する。 まず,識別可能性を考慮したクエリ選択を設計し,情報的比較と識別可能な比較のみを対象とし,禁忌率の低減を図る。 第2に,VLM合成誘導による探索を優先に基づく改良前にブートストラップする適応型報酬遷移をデプロイする。 ベンチマーク実験では、SPEARは平均88.9%の成功を達成し、ベースラインを23.3ポイント上回った。 SPEARは、実際のハードウェア上で3つのMobile ALOHA操作タスクをオンラインで完全に学習し、エンドツーエンドの現実世界適用性を示す。 クエリ効率と探索の課題に対処することで、SPEARは手動の報酬工学を使わずにスケーラブルなロボット学習のための実践的な好みのオーラクルとしてVLMを確立している。

関連論文リスト

• Large Reward Models: Generalizable Online Robot Reward Generation with Vision-Language Models [19.819472980239826]
  我々は最先端のVLMに基づく堅牢でスケーラブルな報酬モデルを開発する。 我々は、これらのVLM報酬を用いて、閉ループ方式で準最適動作を補正するモデルを導出する。
  論文  参考訳（メタデータ） (2026-03-17T02:22:16Z)
• AceGRPO: Adaptive Curriculum Enhanced Group Relative Policy Optimization for Autonomous Machine Learning Engineering [52.67783579040657]
  AceGRPOは、エージェントの学習フロンティアにおけるタスクを優先順位付けして学習効率を最大化する機械学習システムである。 我々のトレーニングされたAce-30Bモデルは、MLE-Bench-Lite上で100%有効な応募率を実現し、プロプライエタリなフロンティアモデルの性能にアプローチし、より大きなオープンソースベースラインを上回ります。
  論文  参考訳（メタデータ） (2026-02-08T10:55:03Z)
• MARVL: Multi-Stage Guidance for Robotic Manipulation via Vision-Language Models [42.20216799801145]
  視覚言語モデルを用いたロボット操作のためのMARVL-Multi-stAgeガイダンスを提案する。 MARVL は空間的および意味的整合性のための VLM を微調整し、タスクを多段階のサブタスクに分解する。 経験的に、MARVLはMeta-Worldベンチマークで既存のVLM-rewardメソッドよりも優れており、スパース・リワード操作タスクにおいて、より優れたサンプル効率と堅牢性を示している。
  論文  参考訳（メタデータ） (2026-01-28T11:25:13Z)
• Policy Learning from Large Vision-Language Model Feedback without Reward Modeling [19.48826538310603]
  本稿では,大規模視覚言語モデル(VLM)を活用し,エージェント訓練のためのガイダンス信号を提供するPLAREを紹介する。 手動で設計した報酬関数に頼る代わりに、PLAREは視覚軌道セグメントのペアの優先ラベルに対してVLMをクエリする。 このポリシーは、教師付きコントラスト的選好学習目標を用いて、これらの選好ラベルから直接訓練される。
  論文  参考訳（メタデータ） (2025-07-31T10:07:49Z)
• Affordance-Guided Reinforcement Learning via Visual Prompting [51.361977466993345]
  Keypoint-based Affordance Guidance for Improvements (KAGI) は、視覚言語モデル(VLM)によって形成される報酬を自律的なRLに活用する手法である。 自然言語記述によって指定された多様な実世界の操作タスクにおいて、KAGIは自律的なRLのサンプル効率を改善し、30Kのオンライン微調整ステップでタスク完了を成功させる。
  論文  参考訳（メタデータ） (2024-07-14T21:41:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。