論文の概要: RobotWorld: Benchmarking Multimodal Agents for Robot Use Across Diverse Tasks and Embodiments
- arxiv url: http://arxiv.org/abs/2610.10409v1
- Date: Wed, 07 Oct 2026 16:55:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 21:58:23.062757
- Title: RobotWorld: Benchmarking Multimodal Agents for Robot Use Across Diverse Tasks and Embodiments
- Title（参考訳）: ロボットワールド: 多様なタスクと身体にまたがるロボットのためのマルチモーダルエージェントのベンチマーク
- Abstract要約: 汎用エージェントはますます、コードを書き、ツールを使い、複雑なデジタルタスクを完遂し、これらの能力が物理的な世界にどこまで浸透するかという疑問を提起している。
ロボットのインタフェースを通じて、指示や観察を物理的タスクの実行に変換するという、ロボット利用のための挑戦的なシミュレーションテストベッドであるRobotWorldを紹介した。
タスク結果と実行トレースを分析して、転送する機能と、信頼性の高い完了を防ぐギャップの両方を識別する。
- 参考スコア（独自算出の注目度）: 91.39996227368
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: General-purpose agents increasingly write code, use tools, and complete complex digital tasks, raising the question of how far these capabilities carry into the physical world. To investigate this, we introduce RobotWorld, a challenging simulation testbed for robot use: turning instructions and observations into physical task execution through robot interfaces. Its 84 tasks span manipulation, mobile manipulation, locomotion, driving, and aerial control, with explicit interaction budgets and executable success checks. By analysing task outcomes alongside execution traces, we identify both the capabilities that transfer and the gaps that prevent reliable completion. Furthermore, we find that current agents can construct sophisticated perception and control workflows, including image segmentation, camera calibration, spatial estimation, and dynamics-based computation. These capabilities, however, do not consistently compose into successful behaviour: agents lose task-relevant object states despite reaching commanded poses, fail to correct ineffective actions, recover too late, or mistake unfinished tasks for completion. This uneven transfer also differs across models: Astra succeeds more often on spatial and constrained-contact goals, whereas Opus 5.5 succeeds more often on continuous-balance and timed-interaction goals. By linking these outcomes to execution behaviour, RobotWorld provides both a rigorous proving ground and an empirical account of the remaining capability gaps, thereby establishing concrete targets for training and designing more reliable physical-world agents.
- Abstract（参考訳）: 汎用エージェントはますます、コードを書き、ツールを使い、複雑なデジタルタスクを完遂し、これらの能力が物理的な世界にどこまで浸透するかという疑問を提起している。
そこで本研究では,ロボットインタフェースによる指示や観察を物理的タスク実行に変換するロボットWorldを紹介した。
84のタスクは操作、移動操作、移動、運転、航空制御、明示的な対話予算、実行可能な成功チェックにまたがる。
タスク結果と実行トレースを分析して、転送する機能と、信頼性の高い完了を防ぐギャップの両方を識別する。
さらに、現在のエージェントは、画像分割、カメラキャリブレーション、空間推定、ダイナミックスに基づく計算など、洗練された知覚と制御のワークフローを構築することができる。
エージェントは命令されたポーズにたどり着いたにもかかわらずタスク関連オブジェクト状態を失う、非効率なアクションの修正に失敗する、遅すぎる回復、完了のために未完了のタスクを間違える。
アストラは空間的および制約された接触目標でより成功し、オプス5.5は連続均衡と時間的相互作用目標でより成功します。
これらの成果を実行行動にリンクすることで、RobotWorldは厳格な証明基盤と、残りの能力ギャップの実証的な説明の両方を提供し、より信頼性の高い物理世界のエージェントをトレーニングし、設計するための具体的な目標を確立する。
関連論文リスト
- LIBERO-Agent: Evaluating General-Purpose Agents for Direct Embodied Manipulation [69.6306613959287]
汎用エージェントは、フィードバックから行動の計画、使用、修正を行うことができるが、これらの機能がデジタル環境から具体的操作へ移行するかどうかは不明だ。
本稿では,ロボット操作タスクにおけるエージェント評価のためのエージェントネイティブベンチマークであるLIBERO-Agentを紹介する。
論文 参考訳（メタデータ） (2026-09-30T11:10:10Z) - Agent as Policy for Robotic Manipulation [27.777226380588928]
我々はエージェント・アズ・ポリシーを導入し、エージェントの制御下でタスク・プランニングと実行を行う。
本研究では,複数の実世界の操作タスクに対して,高精度な操作,動的動作,変形可能なオブジェクトを対象とするAGPについて検討する。
AGPは、評価されたタスク構成ごとに少なくとも10のトライアルのうち8つを成功させる。
論文 参考訳（メタデータ） (2026-09-11T07:51:39Z) - IMBench: A Benchmark for Intuitive Robotic Manipulation [11.843368723732679]
人間は推論と運動制御を組み合わせて、様々な制約の下で複雑な操作タスクを解く。
既存のベンチマークは、この統合を達成できない。
IMBENCHは直感的な操作を知覚、身体的推論、行動生成、反復実行にまたがる統合機能として評価するためのベンチマークである。
論文 参考訳（メタデータ） (2026-07-17T05:34:29Z) - Exploratory, Communicative, and Deployable: Vision-Driven Embodied Agents for Open-World Mobile Manipulation [47.58516950734307]
既存のフレームワークは、しばしば特権化されたシミュレータの状態に依存するか、あるいは完全な命令を仮定し、現実的なデプロイメント課題を回避します。
本稿では,オープンワールドモバイル操作のためのエージェントフレームワークREALを提案する。
我々は、データ収集、教師付き微調整、オンライン強化学習を駆動するための多様なタスク構成を設計する。
論文 参考訳（メタデータ） (2026-07-15T09:55:45Z) - Humans are Missing from AI Coding Agent Research [116.47136146149226]
我々は、自律的なプログラミングエージェントから人間中心のコーディングエージェントへの方向転換を主張する。
課題解決ループを特徴付ける4つの中核的相互作用レベルを同定する。
論文 参考訳（メタデータ） (2026-07-04T01:24:03Z) - ASPIRE: Agentic /Skills Discovery for Robotics [46.66569877875144]
ASPIRE (Agentic Skill Programming through Iterative Robot Exploration) は、ロボット制御プログラムをコード・アズ・ポリティクスのパラダイムで書き、洗練する。
1)細粒度のマルチモーダルトレースを露呈し,自律的な故障診断,修復,合成,検証を可能にするクローズドループロボット実行エンジン,(2)検証済みの修正を再利用可能な,伝達可能な知識に蒸留する継続的な拡張スキルライブラリ,(3)多様なタスクシーケンスを生成する進化的検索と,単一軌道の洗練を超えて探索する制御プログラムである。
論文 参考訳（メタデータ） (2026-06-30T23:38:46Z) - RoboWits: Unexpected Challenges for Robotic Creative Problem Solving [58.58727722988084]
我々は、認知的推論、創造的ツールの使用、予期しない状況に対する堅牢性を評価するために設計された、双方向のロボットベンチマークであるRoboWitsを紹介する。
このパイプラインを用いて,30種類の種タスクと208のタスクを,幾何学的,物質的,集合的推論にまたがる変異と難易度でキュレートした。
プレトレーニングされたVLAは,単一タスクの微調整後にシードタスクに予備的な成功を示すが,変異タスクの実行に苦慮している。
論文 参考訳（メタデータ） (2026-05-28T17:57:15Z) - From Reaction to Anticipation: Proactive Failure Recovery through Agentic Task Graph for Robotic Manipulation [45.37258918150899]
本稿では,操作タスクを有向タスクグラフとしてモデル化するエージェントシステムであるAgentChordを紹介する。
実行前に、このグラフには、コンテキスト対応の修正動作を指定する予測リカバリブランチが組み込まれている。
多様な長距離双方向操作タスクに関する実証研究は、AgentChordが成功率と実行効率を大幅に改善することを示した。
論文 参考訳（メタデータ） (2026-05-12T11:00:45Z) - ManipulationNet: An Infrastructure for Benchmarking Real-World Robot Manipulation with Physical Skill Challenges and Embodied Multimodal Reasoning [61.35327888597012]
有害な操作により、ロボットは物理的世界を意図的に変化させ、パッシブな観察者から非構造環境のアクティブなエージェントに変えることができる。
ハードウェア、知覚、制御、学習の数十年にわたる進歩にもかかわらず、一般的な操作システムへの進歩は依然として断片化されている。
ロボット操作のための実世界のベンチマークタスクをホストするグローバルインフラストラクチャであるManipulationNetを紹介した。
論文 参考訳（メタデータ） (2026-03-04T18:29:28Z) - Robometer: Scaling General-Purpose Robotic Reward Models via Trajectory Comparisons [69.87766750714945]
汎用ロボット報酬モデルは通常、専門家によるデモンストレーションから絶対的なタスク進捗を予測するために訓練される。
本稿では、軌道内進行監視と軌道間優先監視を組み合わせたスケーラブルな報酬モデリングフレームワークRobometerを紹介する。
ロビオメーターは、専門家データに報酬等級を固定するフレームレベルのプログレス・ロスと、グローバルな順序制約を課す軌跡比較優先損失という2つの目的で訓練されている。
論文 参考訳（メタデータ） (2026-03-02T17:38:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。