論文の概要: Spotter: Let the Embodied Model Lead, and the VLM Reflect for It

• arxiv url: http://arxiv.org/abs/2609.36808v1
• Date: Tue, 29 Sep 2026 06:21:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.235087
• Title: Spotter: Let the Embodied Model Lead, and the VLM Reflect for It
• Title（参考訳）: Spotter: エンボディードモデルリードとVLMがそれを反映させる
• Abstract要約: 現行の具体化モデルは、失敗に反応しないが、失敗に終わったことは、次の試みの微調整を知らせる可能性がある。 本稿では,その役割を逆転するSputterを提案する。 GPTにより、Sputterはコスモス政策を5.6ドル、RoboCasaの7.5ポイント改善し、47.2%から57.0%に$_0.5ドルを引き上げている。 VLMはエラーが確認された場合にのみステップするので、Qwenで成功したエピソードは13から13にしかならない。
• 参考スコア（独自算出の注目度）: 90.10618759230066
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Current embodied models do not respond to their own failures, although what just went wrong could inform a small adjustment on the next attempt, the kind of reflection behind the gains of thinking in language models. We test whether they can repair a known error, which requires producing a correction and judging whether it is right. Stopped at a failure and allowed to retry, they seldom repair it through their own randomness or from a language description of the error, and best-of-N selection cannot pick the successful candidate after a failure. We attribute this to training only on successful demonstrations and to inputs too narrow to show what went wrong, and conclude that reflection must come from a vision-language model (VLM), which takes in far more information, such as the episode history and text, and is more general. Prior VLM-led work has the VLM plan every step and invoke the embodied model as a tool, placing the VLM on the critical path. We propose Spotter, which reverses the roles: the embodied model leads and executes continuously, while the VLM runs in parallel, monitors through a lightweight local screener, intervenes only when an error is detected, reflects on and corrects it, and returns control. We run Spotter with Qwen and with GPT as the VLM, and both improve the embodied models; with GPT, Spotter improves Cosmos Policy and $π_{0.5}$ by 5.6 and 7.5 percentage points on RoboCasa, and raises $π_{0.5}$ from 47.2% to 57.0% on the Hard setting of RoboTwin 2.0 and from 53% to 83% on a real robot. Because the VLM steps in only when an error is confirmed, a successful episode with Qwen takes only 13 to 16 s longer than with the embodied model alone and about 70% less time than with a VLM-led baseline using the same model. Our code is available at https://github.com/zqc3117/Spotter.
• Abstract（参考訳）: 現在の具体化モデルは、自身の失敗に反応しないが、失敗に終わったことは、言語モデルにおける思考の優位性の背後にあるリフレクションのような、次の試みに対する小さな調整を知らせる可能性がある。 我々は、既知の誤りを修復できるかどうかを検証し、修正を作成し、それが正しいかどうかを判断する必要がある。 失敗で立ち止まって再試行を許可された彼らは、自身のランダム性やエラーの言語記述を通じてそれを修復することはめったになく、失敗後に成功した候補を選ぶことはできない。 これは、成功した実演と、何がうまくいかなかったかを示すにはあまりに狭すぎる入力のみをトレーニングしているためであり、リフレクションは、エピソード履歴やテキストなど、はるかに多くの情報を取り込んで、より一般的な視覚言語モデル(VLM)から来ている必要がある、と結論付けている。 以前のVLM主導の作業は、ステップ毎にVLM計画を持ち、具体化されたモデルをツールとして呼び出して、VLMをクリティカルパスに配置する。 本稿では,その役割を逆転するSputterを提案する: エンボディモデルが連続的にリードして実行し,VLMは並列に動作し,軽量なローカルスクリーニングを経由し,エラー検出時にのみ介入し,それを反映して修正し,制御を返却する。 我々は、Qwen と GPT で VLM としてSputter を動作させ、両者とも実装モデルを改善し、GPT でコスモスポリシーを改良し、RoboCasa で π_{0.5}$ 5.6 と 7.5 のパーセンテージを向上し、RoboTwin 2.0 のハード設定で π_{0.5}$ 47.2% から 57.0% に、そして実際のロボットで 53% から 83% に引き上げた。 誤差が確認された場合にのみVLMがステップするので、Qwenを用いた成功エピソードは、埋め込みモデルだけでは13～16秒長く、同じモデルを用いたVLM主導のベースラインよりも約70%短い時間しかかからない。 私たちのコードはhttps://github.com/zqc3117/Spotter.comから入手可能です。

関連論文リスト

• Test-Time Hinting for Black-Box Vision-Language Models [11.005886421208709]
  Test-Time Hintingは、単一のVLMコールによるVLMパフォーマンスを改善し、ブラックボックスAPIアクセスのみを必要とする。 テスト時間ヒンティングは、自然画像のVQAベンチマークにおいて、複数の閉重VLMの精度を向上することを示す。
  論文  参考訳（メタデータ） (2026-05-13T14:35:22Z)
• VideoNet: A Large-Scale Dataset for Domain-Specific Action Recognition [107.13283099863123]
  我々は37ドメインから1,000の異なるアクションをカバーするドメイン固有のアクション認識ベンチマークであるVideoNetを紹介する。 視覚言語モデル(VLM)は、コンテキスト内サンプルを十分に活用するのに苦労している。 ドメイン固有のアクションのための、最初の大規模なトレーニングデータセットを収集し、合計で500万近いビデオ質問応答ペアを収集する。
  論文  参考訳（メタデータ） (2026-05-04T17:11:16Z)
• ViRectify: A Challenging Benchmark for Video Reasoning Correction with Multimodal Large Language Models [23.37951284612929]
  動的知覚、科学的推論、具体化された意思決定ドメインにまたがる30K以上のインスタンスのデータセットを構築します。 ViRectifyでは、MLLMに対してステップワイドな誤り識別を行い、重要なビデオ証拠を根拠とした合理性を生成する。 また,視覚的エビデンスに基づく補正手法として,段階的誤り軌道と報酬モデルを組み合わせた軌道証拠駆動補正手法を提案する。
  論文  参考訳（メタデータ） (2025-12-01T09:05:02Z)
• A Self-Correcting Vision-Language-Action Model for Fast and Slow System Manipulation [30.207690822989292]
  自己修正(SC-)VLAフレームワークは、アクションを直接予測する高速システムと、失敗したアクションを反映する遅いシステムを統合する。 高速システムでは,パラメータ効率のよい微調整を取り入れて,モデルにポーズ予測機能を持たせる。 動作が遅いシステムでは,動作不良後の人間の反射を模倣するように設計された,故障訂正のためのチェーン・オブ・ソート・トレーニング戦略を提案する。
  論文  参考訳（メタデータ） (2024-05-27T17:58:48Z)
• Vision-Language Models are Zero-Shot Reward Models for Reinforcement Learning [12.628697648945298]
  強化学習(Reinforcement Learning, RL)は、報酬関数を手動で指定するか、あるいは大量のフィードバックから報酬モデルを学ぶことを必要とする。 本稿では,事前学習された視覚言語モデル (VLM) をゼロショット報酬モデル (RM) として用いて,自然言語によるタスクの特定を行う。
  論文  参考訳（メタデータ） (2023-10-19T17:17:06Z)
• Test-Time Adaptation with CLIP Reward for Zero-Shot Generalization in Vision-Language Models [76.410400238974]
  モデル出力を補正し、モデルが盲目的に自信を持たないようにするためのフィードバック付きTTAを提案する。 CLIPモデルは、TTA中に報酬モデルとして採用され、VLMにフィードバックを提供する。 提案したCLIPフィードバック(RLCF)フレームワークによるテキスト強化学習は非常に柔軟で普遍的である。
  論文  参考訳（メタデータ） (2023-05-29T11:03:59Z)
• IdealGPT: Iteratively Decomposing Vision and Language Reasoning via Large Language Models [80.4460931172274]
  大規模言語モデル(LLM)を用いた視覚・言語推論(VL)を分解するフレームワークを開発する。 特に、IdealGPTは、VCRでは10%、SNLI-VEでは15%、既存のGPT-4のようなモデルよりも優れています。
  論文  参考訳（メタデータ） (2023-05-24T10:19:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。