論文の概要: From Reasoning to Action: Benchmarking Frontier AI Models on LIBERO-10 Robot Manipulation Tasks

• arxiv url: http://arxiv.org/abs/2610.30051v1
• Date: Wed, 21 Oct 2026 17:11:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:40:06.454669
• Title: From Reasoning to Action: Benchmarking Frontier AI Models on LIBERO-10 Robot Manipulation Tasks
• Title（参考訳）: 推論から行動へ:LIBERO-10ロボット操作タスクにおけるフロンティアAIモデルのベンチマーク
• Abstract要約: LIBERO-10ベンチマークにおいて、フロンティアAIモデルを評価するための統一的なクローズドループ操作フレームワークを提案する。 GPT-6 Astra, GPT-6.1 Sol, GPT-6 Luna, Claude Opus 5, Claude Opus 5.5, Gemini-4 Argonの6つのフロンティアAIモデルを評価する。 その結果, GPT-6 Astraが44%, Gemini-4 Argonが43%であった。
• 参考スコア（独自算出の注目度）: 4.030388243731636
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advances in frontier AI models have demonstrated remarkable capabilities in visual understanding, reasoning, planning, and tool use, raising the possibility of using general-purpose AI models for robot manipulation without task-specific training. However, their manipulation capabilities have not been systematically evaluated on standardized robotics benchmarks. In this report, we present a unified closed-loop manipulation framework for evaluating frontier AI models on the LIBERO-10 benchmark. Our framework enables models to control a robot directly through visual observations, robot proprioception, and structured tool calls, primarily by specifying target end-effector poses and gripper commands, without task-specific fine-tuning or pretrained manipulation skills. We evaluate six frontier AI models, including GPT-6 Astra, GPT-6.1 Sol, GPT-6 Luna, Claude Opus 5, Claude Opus 5.5, and Gemini-4 Argon, across three reasoning effort levels, resulting in 18 configurations and 1,800 evaluation episodes. Our results show that GPT-6 Astra achieves the highest success rate of 44%, followed by Gemini-4 Argon at 43%. Increasing reasoning effort generally improves manipulation performance, but the benefits vary across models and come at additional inference cost. We also observe substantial differences across tasks, with models performing relatively well on object placement tasks but struggling with precise spatial arrangements and complex multi-step interactions. These findings demonstrate both the potential and limitations of frontier AI models for robot manipulation, highlighting the challenges of translating reasoning capabilities into reliable physical actions. We release our evaluation framework and experimental results to support reproducible benchmarking and future research on reasoning-based robot manipulation.
• Abstract（参考訳）: フロンティアAIモデルの最近の進歩は、視覚的理解、推論、計画、ツール使用において顕著な能力を示し、タスク固有のトレーニングなしでロボット操作に汎用AIモデルを使用することの可能性を高めている。 しかしながら、それらの操作能力は、標準化されたロボティクスベンチマークで体系的に評価されていない。 本稿では,LIBERO-10ベンチマークでフロンティアAIモデルを評価するために,統一的なクローズドループ操作フレームワークを提案する。 本フレームワークは,タスク固有の微調整や事前訓練の操作スキルを使わずに,目的のエンドエフェクタポーズやグリップパーコマンドを指定することで,視覚的観察,ロボットのプロプリセプション,構造化ツールコールを通じてロボットを直接制御することを可能にする。 GPT-6 Astra, GPT-6.1 Sol, GPT-6 Luna, Claude Opus 5, Claude Opus 5.5, Gemini-4 Argonの6つのフロンティアAIモデルを3つの理由づけレベルにわたって評価し,18のコンフィグレーションと1,800の評価エピソードを得た。 その結果, GPT-6 Astraが44%, Gemini-4 Argonが43%であった。 推論の取り組みの増加は一般的に操作パフォーマンスを改善するが、利点はモデルによって異なり、追加の推論コストがかかる。 また、オブジェクト配置タスクにおいて比較的よく機能するが、正確な空間配置や複雑な多段階相互作用に苦慮したモデルを用いて、タスク間の大きな違いを観察する。 これらの結果は、ロボット操作のためのフロンティアAIモデルの可能性と限界の両方を示し、推論能力を信頼性のある物理的行動に変換するという課題を強調している。 我々は,再現可能なベンチマークを支援するための評価フレームワークと実験結果をリリースし,推論に基づくロボット操作に関する今後の研究を行う。

関連論文リスト

• Large Multimodal Models for Direct Robot Control: GPT-6 as a Beginning [71.88401072770884]
  本稿では,軽量エージェント実行フレームワークを用いた閉ループロボット操作のためのGPT-6 Astraを体系的に評価する。 まず,3つの基本的具現化能力,深度知覚,文脈内学習,触覚理解を探索する。 次に、GPT-6 Astraを、6つの機能ディメンジョンに沿って、確立された5つのベンチマークで評価する。
  論文  参考訳（メタデータ） (2026-10-20T14:15:04Z)
• Frontier LLMs Enter the World of Robotics: A Cross-Model Evaluation on RoboColiseum [12.806687661831381]
  Instruction following, spatial Reasoning, General Manipulation, Robustness の4トラックにわたるRoboColiseumの多次元比較評価を行った。 我々は,GPT-6 Astra, GPT-6.1 Sol, Claude Opus 5.5, Gemini 4 Argonを共有観察, アクション実行, フィードバックインターフェースを通じて評価環境に統合する制御ハーネスであるAgent2Actを実装した。
  論文  参考訳（メタデータ） (2026-10-20T08:46:24Z)
• The Bitter Lesson Comes to Robotics [9.176721680674987]
  汎用多目的言語モデル(LM)は、ロボットアームを直接制御する能力が高まっている。 ロボットアームを直接制御するフロンティアマルチモーダルLMの能力について検討する。 現在のフロンティアモデルは、様々な操作タスクを実行するために、実際のロボットアームを直接制御できるが、実際の行動予算内でそれらを完了するのに十分な正確さや効率性は十分ではない。
  論文  参考訳（メタデータ） (2026-10-18T14:07:36Z)
• Has GPT-6-Astra Achieved Embodied Intelligence? [151.7672257869788]
  GPT-6-Astraはロボット操作とナビゲーションの能力のレベルを示す。 テーブルトップ操作,ヒューマノイド,モバイルプラットフォーム,器用な手など,12の代表的なベンチマークに対して大規模な評価を行う。 今後の研究は,1)ICCの一般性,2)コストと実行時間,3)物理的状態の検証,4)不可逆的障害からの回復,5)長期保存の進歩に焦点が当てられる。
  論文  参考訳（メタデータ） (2026-10-15T18:00:00Z)
• Robot-R1: Reinforcement Learning for Enhanced Embodied Reasoning in Robotics [55.05920313034645]
  本稿では,ロボット制御に特化して具体的推論を強化するため,強化学習を活用した新しいフレームワークであるRobot-R1を紹介する。 DeepSeek-R1学習アプローチにインスパイアされたRobot-R1は、推論に基づく応答をサンプリングし、より正確な予測につながるものを強化する。 実験の結果,ロボットR1で訓練したモデルは,具体的推論タスクにおいて,SFT法よりも優れていた。
  論文  参考訳（メタデータ） (2025-05-29T16:41:12Z)
• Rethinking Bimanual Robotic Manipulation: Learning with Decoupled Interaction Framework [51.39847596489193]
  バイオマチックなロボット操作は、ロボティクスコミュニティにおいて、新しくて重要なトピックである。 本稿では,バイマニュアル操作における異なるタスクの特徴を考察した,疎結合なインタラクションフレームワークを提案する。 我々のフレームワークは,SOTA法よりも23.5%向上し,優れた性能を実現している。
  論文  参考訳（メタデータ） (2025-03-12T09:28:41Z)
• Surfer: Progressive Reasoning with World Models for Robotic Manipulation [51.26109827779267]
  本稿では,新しいシンプルなロボット操作フレームワークであるSurferを紹介する。 Surferは、ロボット操作を視覚シーンの状態伝達として扱い、それをアクションとシーンという2つの部分に分割する。 これは世界モデルに基づいており、ロボット操作を視覚シーンの状態伝達として扱い、アクションとシーンの2つの部分に分けられる。
  論文  参考訳（メタデータ） (2023-06-20T07:06:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。