論文の概要: RoboReason: Boosting Robotics-Relevant VLM Reasoning Through Scalable Data Generation

• arxiv url: http://arxiv.org/abs/2610.33778v1
• Date: Sat, 24 Oct 2026 16:29:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.444285
• Title: RoboReason: Boosting Robotics-Relevant VLM Reasoning Through Scalable Data Generation
• Title（参考訳）: RoboReason: スケーラブルなデータ生成によるロボット関連VLM推論の強化
• Abstract要約: 仮想ロボットに装着されたステレオカメラと手首カメラの画像を用いた空間的および時間的順序付けタスクは、視覚的推論能力を評価するのに適している。 VLM推論能力は,タスクの言語記述に基づくシャッフルフレームの順序付け,カメラからの距離に基づいて物体を奥行きに並べる,画素座標における物体を左右に並べる,という3つの質問に対して評価する。
• 参考スコア（独自算出の注目度）: 53.70197039070229
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision-Language Models (VLMs) have demonstrated impressive performance when integrated into robot manipulation pipelines, but real-world evaluation of VLM capabilities on downstream robotics tasks is both difficult and expensive to scale. We propose that spatial and temporal ordering tasks using images from stereo and wrist cameras attached to real-world robots are particularly well-suited for evaluating visual reasoning capabilities, as they assess skills directly applicable to robots. We evaluate VLM reasoning abilities on three questions: ordering shuffled frames conditioned on a language description of the task, ordering objects depthwise based on distance from the camera, and ordering objects from left-to-right in pixel coordinates. The complexity of these tasks can also be modulated by changing the size of the set to sort. Our experiments show that several state-of-the-art vision-language models struggle on ordering tasks. To fix this, we propose a scalable autonomous training data generation pipeline, and show that both supervised finetuning and reinforcement-learning on the generated data can significantly improve VLM reasoning performance both on spatiotemporal ordering tasks as well as downstream robotics and visual reasoning tasks.
• Abstract（参考訳）: VLM(Vision-Language Models)は、ロボット操作パイプラインに統合された場合、目覚ましい性能を示すが、下流ロボットタスクにおけるVLM能力の実際の評価は、スケールが困難かつ高価である。 実世界のロボットに装着したステレオカメラや手首カメラの画像を用いた空間的・時間的順序付けタスクは、ロボットに直接適用可能なスキルを評価するため、視覚的推論能力を評価するのに特に適している。 VLM推論能力は,タスクの言語記述に基づくシャッフルフレームの順序付け,カメラからの距離に基づいて物体を奥行きに並べる,画素座標における物体を左右に並べる,という3つの質問に対して評価する。 これらのタスクの複雑さは、集合のサイズをソートして変調することもできる。 実験の結果,現在最先端の視覚言語モデルではタスクの順序付けに苦慮していることがわかった。 これを解決するために、スケーラブルな自律型トレーニングデータ生成パイプラインを提案し、生成したデータに対する教師付き微調整と強化学習の両方が、時空間順序付けタスクと下流ロボティクス、視覚推論タスクの両方において、VLM推論性能を著しく向上させることができることを示す。

関連論文リスト

• Wonderful Team: Zero-Shot Physical Task Planning with Visual LLMs [0.0]
  Wonderful Teamは、ゼロショットでハイレベルなロボット計画を実行するためのフレームワークだ。 実世界のセマンティックおよび物理的計画タスクにおけるWonderful Teamのパフォーマンスは、しばしば別々のビジョンシステムに依存するメソッドを超えることが示される。
  論文  参考訳（メタデータ） (2024-07-26T21:18:57Z)
• LLaRA: Supercharging Robot Learning Data for Vision-Language Policy [56.505551117094534]
  我々はLLaRA: Large Language and Robotics Assistantを紹介した。 まず、既存の行動クローニングデータセットからロボットのための会話スタイルの指導データを生成する自動パイプラインを提案する。 このようなデータセットを限定的に微調整したVLMは、ロボット制御において有意義な行動決定を導出できることを示す。
  論文  参考訳（メタデータ） (2024-06-28T17:59:12Z)
• MOKA: Open-World Robotic Manipulation through Mark-Based Visual Prompting [97.52388851329667]
  我々は,自由形式の言語命令で指定されたロボット操作タスクを解決するために,マーキングオープンワールドキーポイントアフォード(Moka)を導入する。 我々のアプローチの中心は、VLMの観測画像と物理世界におけるロボットの行動に関する予測を橋渡しする、コンパクトな点ベースの可測性表現である。 ツールの使用,変形可能な身体操作,オブジェクト再構成など,さまざまなテーブルトップ操作タスクにおけるMokaの性能評価と解析を行った。
  論文  参考訳（メタデータ） (2024-03-05T18:08:45Z)
• PIVOT: Iterative Visual Prompting Elicits Actionable Knowledge for VLMs [140.14239499047977]
  視覚言語モデル(VLM)は、論理的推論から視覚的理解に至るまで、様々なタスクにわたって印象的な能力を示している。 PIVOT(Prompting with Iterative Visual Optimization)と呼ばれる新しい視覚的プロンプト手法を提案する。 私たちのアプローチは、ロボットのトレーニングデータやさまざまな環境でのナビゲーション、その他の能力なしに、ロボットシステムのゼロショット制御を可能にします。
  論文  参考訳（メタデータ） (2024-02-12T18:33:47Z)
• Interactive Planning Using Large Language Models for Partially Observable Robotics Tasks [54.60571399091711]
  大きな言語モデル(LLM)は、オープン語彙タスクを実行するロボットエージェントを作成することで、驚くべき成果を上げている。 LLMを用いた部分的に観測可能なタスクのための対話型計画手法を提案する。
  論文  参考訳（メタデータ） (2023-12-11T22:54:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。