論文の概要: RoboQuest: Generalist Physical Agents that Search, Inspect and Test

• arxiv url: http://arxiv.org/abs/2610.10388v1
• Date: Wed, 07 Oct 2026 16:46:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:23.056554
• Title: RoboQuest: Generalist Physical Agents that Search, Inspect and Test
• Title（参考訳）: RoboQuest: サーチ、インスペクション、テストを行う一般の物理エージェント
• Abstract要約: 目標指向の実施探索のためのベンチマークであるRoboQuestを紹介する。 RoboQuestには,検索,操作ベースの検査,インタラクティブテストという,3つの不確実性を中心とした10のモバイル操作タスクが含まれている。 我々は5つのフロンティアマルチモーダルエージェントを共通のビジュモータインタフェースで評価し、また、リリースした全エピソードのデモに基づいて、$_0.5$のポリシーを微調整した。
• 参考スコア（独自算出の注目度）: 39.17463515070178
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Recent advances in multimodal foundation models have made them capable generalist physical agents for a range of manipulation tasks. However, successful operation in an unfamiliar environment may require an agent to seek task-relevant information through interaction when it is absent from the observations: it may need to determine where a relevant object is, inspect an unobserved property, or discover the effect of an unfamiliar tool. We thus introduce RoboQuest, a benchmark for goal-directed embodied exploration, where agents must actively acquire task-relevant information through physical interaction, use the resulting evidence to adapt subsequent actions, and autonomously decide when to commit to task completion. RoboQuest comprises ten mobile manipulation tasks centered on three forms of uncertainty: search, manipulation-based inspection, and interactive testing. We evaluate five frontier multimodal agents through a common visuomotor interface, as well as a $π_{0.5}$ policy fine-tuned on the full-episode demonstrations we release. The best agent succeeds in only 23\% of the episodes, and the fine-tuned policy almost never succeeds. Isolated tests of the execution skills the tasks are built from, with the hidden information supplied, show that the agents can carry out most of the required actions, and our failure analysis attributes only a minority of the failures to execution. Our failure analysis further finds that the agents often stop exploring too early as they make decisions before observing the required evidence for task completion. We also find that agents rarely prevent or repair the disturbances caused by their exploration. Moreover, learning by trial and error remains difficult for most models.
• Abstract（参考訳）: マルチモーダル基礎モデルの最近の進歩は、様々な操作タスクに対して、それらが有能なジェネラリスト物理エージェントとなった。 しかし、不慣れな環境での運用が成功した場合、エージェントは観察から外れた場合、対話を通じてタスク関連情報を探す必要があり、関連するオブジェクトがどこにあるかを特定し、観測されていないプロパティを調べ、不慣れなツールの効果を発見する必要がある。 エージェントは物理的相互作用を通じてタスク関連情報を積極的に取得し、その結果のエビデンスを使用してその後の行動に適応し、いつタスク完了をコミットするかを自律的に決定する必要がある。 RoboQuestには,検索,操作ベースの検査,インタラクティブテストという,3つの不確実性を中心とした10のモバイル操作タスクが含まれている。 我々は5つのフロンティアマルチモーダルエージェントを共通のビジュモータインタフェースで評価し、また、リリースしたフルエピソードのデモに基づいて、$π_{0.5}$ポリシーを微調整した。 最高のエージェントは、エピソードの23倍にしか成功せず、微調整されたポリシーはほとんど成功しない。 タスクが構築する実行スキルの分離されたテストは、隠された情報が提供され、エージェントが必要なアクションのほとんどを実行可能であることを示します。 我々の失敗分析は、エージェントが要求されたタスク完了の証拠を観察する前に、決定を下すと、探索が早すぎることを発見します。 また、エージェントが探索によって引き起こされる障害を防いだり、修復したりすることは滅多にない。 さらに、ほとんどのモデルでは試行錯誤による学習は難しいままである。

関連論文リスト

• RobotWorld: Benchmarking Multimodal Agents for Robot Use Across Diverse Tasks and Embodiments [91.39996227368]
  汎用エージェントはますます、コードを書き、ツールを使い、複雑なデジタルタスクを完遂し、これらの能力が物理的な世界にどこまで浸透するかという疑問を提起している。 ロボットのインタフェースを通じて、指示や観察を物理的タスクの実行に変換するという、ロボット利用のための挑戦的なシミュレーションテストベッドであるRobotWorldを紹介した。 タスク結果と実行トレースを分析して、転送する機能と、信頼性の高い完了を防ぐギャップの両方を識別する。
  論文  参考訳（メタデータ） (2026-10-07T16:55:24Z)
• LIBERO-Agent: Evaluating General-Purpose Agents for Direct Embodied Manipulation [69.6306613959287]
  汎用エージェントは、フィードバックから行動の計画、使用、修正を行うことができるが、これらの機能がデジタル環境から具体的操作へ移行するかどうかは不明だ。 本稿では,ロボット操作タスクにおけるエージェント評価のためのエージェントネイティブベンチマークであるLIBERO-Agentを紹介する。
  論文  参考訳（メタデータ） (2026-09-30T11:10:10Z)
• ScrambleToolBench: Agents Search Exhaustively Even When Their Own Map Points to the Next Step [74.83535434786145]
  ScrambleToolBenchは,行動推論の分離を目的とした対話型端末ベンチマークである。 このベンチマークでは、エージェントがテストとエラーのインタラクションを通じて、隠されたツールの振る舞いを明らかにする必要がある。 現状の言語モデルに対する我々の評価は、初期発見が成功しても頑健な適応にはならないことを示している。
  論文  参考訳（メタデータ） (2026-08-03T15:07:46Z)
• ORAgentBench: Can LLM Agents Solve Challenging Operations Research Tasks End to End? [28.383940617377856]
  ORAgentBenchは、自律エージェントを運用研究タスクで評価するための実行基盤ベンチマークである。 さまざまな運用シナリオにまたがる107のヒューマンレビュータスクが含まれており、それぞれに自然言語で簡潔な複数ファイルデータ、設定アーティファクト、必要なスキーマがパッケージされている。 14のフロンティアエージェントモデルによる実験では、現在のエージェントは信頼性の高いORの実践から程遠いままである。
  論文  参考訳（メタデータ） (2026-06-18T04:43:23Z)
• EnactToM: An Evolving Benchmark for Functional Theory of Mind in Embodied Agents [75.01735520608075]
  既存のベンチマークは、直観的信念を問うことで、主にリテラル・オブ・マインド(ToM)をテストする。 EnactToMは, 3D 家庭で設定された300個のマルチエージェントタスクの進化ベンチマークである。 ハードスプリットでは、7つの評価されたフロンティアモデルすべてが機能的なタスク完了時に0.0%のPass3を獲得し、リテラルな信念プローブでは平均45.0%であった。
  論文  参考訳（メタデータ） (2026-05-11T00:04:19Z)
• PATHWAYS: Evaluating Investigation and Context Discovery in AI Web Agents [0.0]
  PATHWAYSは250のマルチステップ決定タスクのベンチマークである。 Webベースのエージェントが、隠れたコンテキスト情報を発見し、正しく使用できるかをテストする。
  論文  参考訳（メタデータ） (2026-02-05T06:24:23Z)
• Preventing Rogue Agents Improves Multi-Agent Collaboration [21.955058255432974]
  本稿では,アクション予測中にエージェントを監視し,将来エラーが発生する可能性がある場合に介入することを提案する。 WhoDunitEnv、コード生成タスク、そしてリソース持続可能性のためのGovSim環境の実験は、我々のアプローチがパフォーマンスを大幅に向上させることを示している。
  論文  参考訳（メタデータ） (2025-02-09T18:35:08Z)
• Multi-Agent Embodied Visual Semantic Navigation with Scene Prior Knowledge [42.37872230561632]
  視覚的セマンティックナビゲーションでは、ロボットは自我中心の視覚的観察を行い、目標のクラスラベルが与えられる。 既存のモデルのほとんどは単一エージェントナビゲーションにのみ有効であり、より複雑なタスクを完了すると、単一のエージェントは低効率でフォールトトレランスが低い。 本稿では,複数のエージェントが協調して複数の対象物を見つけるマルチエージェント視覚意味ナビゲーションを提案する。
  論文  参考訳（メタデータ） (2021-09-20T13:31:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。