論文の概要: RoboGaze: Evaluating Robot World Models via Structured Vision-Language Analysis
- arxiv url: http://arxiv.org/abs/2606.28385v1
- Date: Mon, 22 Jun 2026 06:45:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-30 18:07:15.539577
- Title: RoboGaze: Evaluating Robot World Models via Structured Vision-Language Analysis
- Title（参考訳）: RoboGaze:構造化ビジョンランゲージ分析によるロボット世界モデルの評価
- Abstract要約: RoboGazeはトレーニング不要でマルチエージェントなVLMフレームワークで、生成されたロボット操作ビデオの構造的、解釈可能な評価を提供する。
RoboGazeをベンチマークするために、シミュレーションと実世界のマルチビュー操作にまたがる382クリップの人間検証データセットを導入する。
RoboGazeはゼロショットベースラインを劇的に上回り、説明-F1を最大+43ポイント、時間的アライメント(F1 x IoU)を最大+37ポイント改善する。
- 参考スコア（独自算出の注目度）: 7.8729693654781165
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent advances in robot world models enable synthetic video generation for embodied prediction and planning. However, evaluating these videos is challenging: visually realistic outputs often violate physical laws, temporal consistency, or task logic, while conventional metrics and monolithic Vision-Language Model (VLM) judges fail to generalize or provide precise diagnostic value. We present RoboGaze, a training-free, multi-agent VLM framework that provides structured, interpretable evaluation for generated robot-manipulation videos. Given a task instruction and video, RoboGaze operates via a three-stage pipeline: task-scene grounding, dimension-specific specialist routing, and critic-based verification. It outputs temporally localized glitch reports categorized under a novel 6-dimension, 30-type robotics-specific taxonomy. To benchmark RoboGaze, we introduce a human-validated dataset of 382 clips spanning simulated and real-world multi-view manipulation. Evaluating eight open-source and proprietary VLM backbones, RoboGaze dramatically outperforms zero-shot baselines, improving description-F1 by up to +43 points and temporal alignment (F1 x IoU) by up to +37 points, closing approximately 85% of the gap to the human ceiling. Furthermore, its critic verifier mitigates the "cry-wolf" false-positive flaw of standard VLMs, lifting clean-clip accuracy from under 25% to over 80%. RoboGaze offers a scalable, highly interpretable diagnostic tool for the rigorous evaluation of robot world models.
- Abstract（参考訳）: ロボットワールドモデルの最近の進歩は、具体的予測と計画のための合成ビデオ生成を可能にする。
視覚的にリアルな出力は物理法則や時間的一貫性、タスク論理に反することが多いが、従来のメトリクスやモノリシックなビジョンランゲージモデル(VLM)の判断は、一般化や正確な診断値の提供に失敗する。
本稿では,ロボット操作ビデオの構造化,解釈可能な評価を提供する,トレーニングフリーでマルチエージェントなVLMフレームワークであるRoboGazeを紹介する。
タスク命令とビデオが与えられた後、RoboGazeは3段階のパイプラインを運用している。
それは、新しい6次元の30種類のロボティクス固有の分類の下で分類された時間的局所的なグリッチレポートを出力する。
RoboGazeをベンチマークするために、シミュレーションと実世界のマルチビュー操作にまたがる382クリップの人間検証データセットを導入する。
8つのオープンソースおよびプロプライエタリなVLMバックボーンを評価し、RoboGazeはゼロショットベースラインを劇的に上回り、説明-F1を最大+43ポイント、時間的アライメント(F1 x IoU)を最大+37ポイント改善し、人間の天井とのギャップの約85%を閉じる。
さらに、批判的検証器は、標準的なVLMの「クリーウルフ」偽陽性の欠陥を軽減し、クリーンクリップの精度を25%未満から80%以上に引き上げる。
RoboGazeは、ロボットの世界モデルの厳格な評価のために、スケーラブルで高度に解釈可能な診断ツールを提供する。
関連論文リスト
- ZimaBlue: Evolving Generalizable World Action Models through Scalable Video Pre-training [93.39352617578857]
大規模ビデオから一般化可能なワールドアクションモデルを学ぶためのフレームワークであるZimaBlueを紹介した。
ZimaBlueは3段階のトレーニングカリキュラムに従っており、まず大規模な人間とロボットの自我中心のビデオで因果的エンボディドビデオの事前トレーニングを行う。
ZimaBlueはさらに複数のベンチマークで高いパフォーマンスを実現している。
論文 参考訳（メタデータ） (2026-08-31T18:09:52Z) - GigaWorld-1: A Roadmap to Build World Models for Robot Policy Evaluation [73.02743604295246]
WMBenchは、実際のロボット遠隔操作データとポリシーのロールアウトから構築されたベンチマークである。
7つのビデオワールドモデル,4つのアクション表現スキーム,および実際のロボット実行と組み合わせた324,000以上のシミュレートされたポリシーロールアウトを分析した。
評価者の品質は、短期的な視覚的リアリズムよりも、長期的な、行動に忠実なロールアウト一貫性に支配されている。
論文 参考訳（メタデータ） (2026-07-02T17:02:43Z) - RoboWorld: Fast and Reliable Neural Simulators for Generalist Robot Policy Evaluation [52.855830378221775]
一般的なロボットポリシーを評価するためのスケーラブルな代替手段として、ビデオワールドモデルが登場しつつある。
タスクプログレス対応の視覚言語モデルスコアリングと,高速なビデオワールドモデルを組み合わせた自動評価パイプラインであるRoboWorldを紹介する。
論文 参考訳（メタデータ） (2026-07-01T15:22:41Z) - Qwen-RobotWorld Technical Report: Unifying Embodied World Modeling through Language-Conditioned Video Generation [88.94027963091206]
具体的インテリジェンスのための言語条件付きビデオワールドモデルであるQwen-RobotWorldを紹介する。
ロボット操作、自律運転、屋内ナビゲーション、人間とロボットの移動など、現在の観察結果から、物理的に基礎付けられた将来の視覚軌道を予測する。
論文 参考訳（メタデータ） (2026-06-15T17:52:31Z) - RoboTrustBench: Benchmarking the Trustworthiness of Video World Models for Robotic Manipulation [33.81624745282099]
我々は,ビデオワールドモデルの信頼性を評価するベンチマークであるRoboTrustBenchを紹介した。
現在のモデルは、しばしば視覚的に一貫性のあるビデオを生成するが、制約推論、反ファクトグラウンド、物理的相互作用、安全でない命令抑制に苦慮している。
論文 参考訳（メタデータ） (2026-06-01T02:56:09Z) - Qwen-VLA: Unifying Vision-Language-Action Modeling across Tasks, Environments, and Robot Embodiments [96.23886784364997]
身体的な知性は、操作やナビゲーションといった個々のタスクのための特別なモデルを通してしばしば研究される。
本稿では,Qwenの視覚言語モデリングスタックを連続的な動作と軌道生成に拡張した統一的な基礎モデルであるQwen-VLAを提案する。
論文 参考訳（メタデータ） (2026-05-28T17:36:31Z) - RoboWM-Bench: A Benchmark for Evaluating World Models in Robotic Manipulation [23.57524297963567]
RoboWM-Benchは、ビデオワールドモデルの評価のための操作中心のベンチマークである。
我々は、最先端のビデオワールドモデルを評価し、物理的に実行可能な動作を確実に生成することは、未解決の課題である。
論文 参考訳（メタデータ） (2026-04-21T05:09:56Z) - Rethinking Video Generation Model for the Embodied World [26.174517437895616]
RBenchは5つのタスク領域と4つの異なる実施形態でロボット指向のビデオ生成を評価するように設計されている。
25個の代表モデルの評価は、身体的現実的なロボット行動の生成において重大な欠陥を浮き彫りにしている。
改良された4段階のデータパイプラインを導入し、400万の注釈付きビデオクリップを備えたビデオ生成のための、最大のオープンソースロボットデータセットであるRoVid-Xを開発した。
論文 参考訳（メタデータ） (2026-01-21T18:59:18Z) - InternVLA-A1: Unifying Understanding, Generation and Action for Robotic Manipulation [77.07565723756119]
InternVLA-A1は動的予測機能を備えた視覚言語モデルである。
我々は、実世界のロボットデータ、合成シミュレーションデータ、人間のビデオなどを用いて、これらのモデルを異種データソース上で事前訓練する。
InternVLA-A1を実世界の12のロボットタスクとシミュレーションベンチマークで評価した。
論文 参考訳（メタデータ） (2026-01-05T18:54:29Z) - STORM: Search-Guided Generative World Models for Robotic Manipulation [10.365032830677162]
STORMはロボット操作における時間的推論のためのフレームワークである。
拡散に基づくアクション生成、条件付きビデオ予測、検索ベースの計画を統合する。
ストームは視覚的に計画を立て、解釈可能でフォアサイト駆動の意思決定を可能にする。
論文 参考訳（メタデータ） (2025-12-20T19:40:25Z) - ORV: 4D Occupancy-centric Robot Video Generation [33.360345403049685]
遠隔操作を通じて現実世界のロボットシミュレーションデータを取得することは、時間と労力のかかることで有名だ。
ORVは,4次元のセマンティック・コンカレンシー・シーケンスをきめ細かな表現として利用した,作業中心のロボットビデオ生成フレームワークである。
ORVは、占有率に基づく表現を活用することにより、時間的一貫性と正確な制御性を確保しつつ、シミュレーションデータをフォトリアリスティックなロボットビデオにシームレスに変換することができる。
論文 参考訳（メタデータ） (2025-06-03T17:00:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。