論文の概要: RoboVista: Evaluating Vision Language Models for Diverse Robot Applications

• arxiv url: http://arxiv.org/abs/2607.04610v1
• Date: Mon, 06 Jul 2026 02:34:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-07 22:26:30.013301
• Title: RoboVista: Evaluating Vision Language Models for Diverse Robot Applications
• Title（参考訳）: RoboVista: ロボット応用のためのビジョン言語モデルの評価
• Authors: Shuangyu Xie, Kaiyuan Chen, Ziyang Chen, Simeon Adebola, Yixuan Huang, Zehan Ma, Tianshuang Qiu, Wentao Yuan, Dhruv Shah, Pannag R. Sanketi, Ken Goldberg,
• Abstract要約: Vision-Language Models (VLMs) は汎用的で解釈可能なロボット推論の基礎を提供する。 本稿では,ロボット質問回答(RQA)とRoboVistaを提案する。
• 参考スコア（独自算出の注目度）: 27.371058136378718
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Diverse applications for robotics, such as industry and agriculture, require robots to operate across various embodiments, changing visual conditions, and complex planning. Vision-Language Models (VLMs) offer a promising foundation for general-purpose and interpretable robotic reasoning. Aligning VLMs with diverse robot applications requires a modular understanding of the individual decision components that underlie robotic behavior. Capturing such structure is challenging for conventional robot benchmarks that are primarily based on teleoperated, end-to-end datasets. We propose Robot Question Answering (RQA), a modular evaluation framework and RoboVista, a benchmark curated from real robotic systems, research papers, and expert annotations. RoboVista contains 474 Visual Question Answering (VQA) instances with human annotated reasoning and covers 39 unique task types in agricultural, industrial, domestic, surgical robotics, autonomous driving, and open robot datasets. Experiments on RoboVista show that state-of-the-art VLMs exhibit substantial gaps. Physical robot experiments suggest strong correlation between RoboVista performance and real-world task execution.
• Abstract（参考訳）: 産業や農業などのロボット工学の多種多様な応用は、様々な実施形態、視覚条件の変化、複雑な計画を行うロボットを必要とする。 Vision-Language Models (VLMs) は汎用的で解釈可能なロボット推論の基礎を提供する。 多様なロボットアプリケーションでVLMを調整するには、ロボットの振る舞いを基盤とする個々の決定要素をモジュール的に理解する必要がある。 このような構造のキャプチャは、主に遠隔操作のエンドツーエンドデータセットに基づく従来のロボットベンチマークでは難しい。 本稿では,モジュール型評価フレームワークであるRobot Question Answering (RQA) と,実際のロボットシステム,研究論文,専門家アノテーションのベンチマークであるRoboVistaを提案する。 RoboVistaには、人間の注釈付き推論を備えた474のビジュアル質問回答(VQA)インスタンスが含まれており、農業、工業、国内、外科ロボティクス、自律運転、オープンロボットデータセットの39種類のタスクをカバーしている。 RoboVistaの実験では、最先端のVLMには大きなギャップがあることが示されている。 物理ロボット実験は、RoboVistaのパフォーマンスと実世界のタスク実行との間に強い相関関係があることを示唆している。

関連論文リスト

• RobotSeg: A Model and Dataset for Segmenting Robots in Image and Video [56.9581053843815]
  画像とビデオにおけるロボットセグメンテーションの基礎モデルであるRobotSegを紹介する。 ロボットへの適応の欠如、手動のプロンプトへの依存、フレーム単位のトレーニングマスクアノテーションの必要性に対処する。 それは、画像とビデオの両方で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2025-11-28T07:51:02Z)
• TalkWithMachines: Enhancing Human-Robot Interaction for Interpretable Industrial Robotics Through Large/Vision Language Models [1.534667887016089]
  本稿では,Large Language Models (LLMs) とVision Language Models (VLMs) の最近の進歩について検討する。 この統合により、ロボットは自然言語で与えられたコマンドを理解し、実行し、視覚的および/または記述的な入力を通じて環境を認識することができる。 本稿は、低レベル制御を探索するLLM支援型ロボット制御4つについて概説し、(ii)ロボットの内部状態を記述した言語に基づくフィードバックの生成、(iii)視覚情報の追加入力としての利用、(iv)タスク計画とフィードバックを生成するロボット構造情報の利用について述べる。
  論文  参考訳（メタデータ） (2024-12-19T23:43:40Z)
• $π_0$: A Vision-Language-Action Flow Model for General Robot Control [77.32743739202543]
  本稿では,インターネット規模のセマンティック知識を継承するために,事前学習された視覚言語モデル(VLM)上に構築された新しいフローマッチングアーキテクチャを提案する。 我々は,事前訓練後のタスクをゼロショットで実行し,人からの言語指導に追従し,微調整で新たなスキルを習得する能力の観点から,我々のモデルを評価した。
  論文  参考訳（メタデータ） (2024-10-31T17:22:30Z)
• Commonsense Reasoning for Legged Robot Adaptation with Vision-Language Models [81.55156507635286]
  脚のついたロボットは、様々な環境をナビゲートし、幅広い障害を克服することができる。 現在の学習手法は、人間の監督を伴わずに、予期せぬ状況の長い尾への一般化に苦慮することが多い。 本稿では,VLM-Predictive Control (VLM-PC) というシステムを提案する。
  論文  参考訳（メタデータ） (2024-07-02T21:00:30Z)
• RoboScript: Code Generation for Free-Form Manipulation Tasks across Real and Simulation [77.41969287400977]
  本稿では,コード生成を利用したデプロイ可能なロボット操作パイプラインのためのプラットフォームである textbfRobotScript を提案する。 自由形自然言語におけるロボット操作タスクのためのコード生成ベンチマークも提案する。 我々は,Franka と UR5 のロボットアームを含む,複数のロボットエボディメントにまたがるコード生成フレームワークの適応性を実証した。
  論文  参考訳（メタデータ） (2024-02-22T15:12:00Z)
• QUAR-VLA: Vision-Language-Action Model for Quadruped Robots [37.952398683031895]
  中心となるアイデアは、ロボットの全体的な知性を高めることだ。 本稿では,VLAモデルのファミリである Quadruped Robotic Transformer (QUART) を提案する。 提案手法は,動作可能なロボットポリシーを導き,一貫した能力の獲得を可能にする。
  論文  参考訳（メタデータ） (2023-12-22T06:15:03Z)
• WALL-E: Embodied Robotic WAiter Load Lifting with Large Language Model [92.90127398282209]
  本稿では,最新のLarge Language Models(LLM)と既存のビジュアルグラウンドとロボットグルーピングシステムを統合する可能性について検討する。 本稿では,この統合の例としてWALL-E (Embodied Robotic WAiter load lifting with Large Language model)を紹介する。 我々は,このLCMを利用したシステムを物理ロボットに展開し,よりユーザフレンドリなインタフェースで指導誘導型把握タスクを実現する。
  論文  参考訳（メタデータ） (2023-08-30T11:35:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。