論文の概要: Large Multimodal Models for Direct Robot Control: GPT-6 as a Beginning

• arxiv url: http://arxiv.org/abs/2610.28259v1
• Date: Tue, 20 Oct 2026 14:15:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.852258
• Title: Large Multimodal Models for Direct Robot Control: GPT-6 as a Beginning
• Title（参考訳）: 直接ロボット制御のための大規模マルチモーダルモデル:GPT-6を出発点として
• Abstract要約: 本稿では,軽量エージェント実行フレームワークを用いた閉ループロボット操作のためのGPT-6 Astraを体系的に評価する。 まず,3つの基本的具現化能力,深度知覚,文脈内学習,触覚理解を探索する。 次に、GPT-6 Astraを、6つの機能ディメンジョンに沿って、確立された5つのベンチマークで評価する。
• 参考スコア（独自算出の注目度）: 71.88401072770884
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advances in visuospatial understanding and agentic reasoning enable direct robotic manipulation with general-purpose multimodal models, but their embodied capabilities remain poorly understood. This paper systematically evaluate GPT-6 Astra for closed-loop robotic manipulation using a lightweight agent execution framework. We first probe three fundamental embodied capabilities-depth perception, embodied in-context learning, and tactile understanding-and demonstrate that the model can exploit depth information, acquire simple manipulation strategies from contextual demonstrations, and use tactile feedback to correct its actions. We then evaluate GPT-6 Astra across five established manipulation benchmarks along six capability dimensions. Despite competitive performance on several benchmarks-26.92\% success on RoboDojo and 76.0\% on RoboTwin 2.0-our analysis reveals a pronounced gap between semantic reasoning and physical execution, particularly in consequence-aware action planning, precision, and complex motion coordination. To further examine these limitations, we introduce LIBERO-GeoMotion, a new benchmark of geometry-constrained tasks that require precise pose alignment, coordinated translation and rotation, and anticipation of physical action consequences. GPT-6 Astra achieves only 11.1\% zero-shot success, exposing the difficulty of translating spatial understanding into physically feasible motion. Real-world experiments corroborate these findings: zero-shot execution is feasible for simple tasks, yet persistent deficits remain in motion feasibility, precise control, and physical safety, while substantial inference latency further hinders practical deployment. Overall, our results characterize the emerging embodied capabilities of general-purpose multimodal models and delineate the key challenges toward safe, efficient, and reliable robotic manipulation.
• Abstract（参考訳）: 近年の視覚空間理解とエージェント推論の進歩により、汎用マルチモーダルモデルによる直接ロボット操作が可能になったが、その具体的能力はあまり理解されていない。 本稿では,軽量エージェント実行フレームワークを用いた閉ループロボット操作のためのGPT-6 Astraを体系的に評価する。 まず,3つの基本的具現化機能-深度知覚,コンテキスト内学習,触覚理解-を探索し,そのモデルが深度情報を活用し,文脈的な実演から単純な操作戦略を習得し,触覚フィードバックを用いて行動を修正することを実証する。 次に、GPT-6 Astraを、6つの機能ディメンジョンに沿って、確立された5つのベンチマークで評価する。 RoboDojoの26.92.%、RoboTwin 2.0-our分析の76.0.%は、いくつかのベンチマークでの競合性能にもかかわらず、セマンティック推論と物理的実行の間に明らかなギャップがあることが示されている。 これらの制約をさらに検討するため, LIBERO-GeoMotionを導入し, 正確なポーズアライメント, 座標変換と回転, 物理行動結果の予測を必要とする幾何制約タスクのベンチマークを行った。 GPT-6 アストラは11.1\%のゼロショット成功しか達成せず、空間的理解を物理的に実現可能な運動に変換するのが困難である。 ゼロショット実行は単純なタスクで実現可能であるが、持続的な欠陥は動作の実現可能性、正確な制御、物理的安全性に留まり、かなりの推論遅延は実用的なデプロイを妨げている。 本研究の結果は,汎用マルチモーダルモデルの出現する具現化能力を特徴とし,安全,効率的,信頼性の高いロボット操作に向けた重要な課題を浮き彫りにしている。

関連論文リスト

• GPT-6-Astra Understands Touch and Outperform Vision--Tactile--Language--Action Models [51.175201003559]
  汎用マルチモーダルモデルは、直接的なロボットアクションポリシーとして約束されているが、それらが現実世界の相互作用の基礎となる物理を把握しているかどうかはまだ解明されていない。 本稿では,コンタクトリッチな操作を代表的テストベッドとして用い,触覚理解をこの幅広い能力の具体例として検討する。 本稿では, GPT-as-Tactile-Policyについて紹介する。
  論文  参考訳（メタデータ） (2026-10-20T16:15:02Z)
• Frontier LLMs Enter the World of Robotics: A Cross-Model Evaluation on RoboColiseum [12.806687661831381]
  Instruction following, spatial Reasoning, General Manipulation, Robustness の4トラックにわたるRoboColiseumの多次元比較評価を行った。 我々は,GPT-6 Astra, GPT-6.1 Sol, Claude Opus 5.5, Gemini 4 Argonを共有観察, アクション実行, フィードバックインターフェースを通じて評価環境に統合する制御ハーネスであるAgent2Actを実装した。
  論文  参考訳（メタデータ） (2026-10-20T08:46:24Z)
• Has GPT-6-Astra Achieved Embodied Intelligence? [151.7672257869788]
  GPT-6-Astraはロボット操作とナビゲーションの能力のレベルを示す。 テーブルトップ操作,ヒューマノイド,モバイルプラットフォーム,器用な手など,12の代表的なベンチマークに対して大規模な評価を行う。 今後の研究は,1)ICCの一般性,2)コストと実行時間,3)物理的状態の検証,4)不可逆的障害からの回復,5)長期保存の進歩に焦点が当てられる。
  論文  参考訳（メタデータ） (2026-10-15T18:00:00Z)
• ReTrace: Cross-Stage Failure Attribution for Self-Improving Robotic Manipulation [43.73491726685983]
  ReTraceは、自律的な物理的相互作用と振り返り推論によるロボット操作のための自己改善フレームワークである。 我々は,Franka Research 3ロボットを用いた実世界の4つの操作タスクにおけるReTraceの評価を行った。
  論文  参考訳（メタデータ） (2026-10-11T18:08:39Z)
• RobotWorld: Benchmarking Multimodal Agents for Robot Use Across Diverse Tasks and Embodiments [91.39996227368]
  汎用エージェントはますます、コードを書き、ツールを使い、複雑なデジタルタスクを完遂し、これらの能力が物理的な世界にどこまで浸透するかという疑問を提起している。 ロボットのインタフェースを通じて、指示や観察を物理的タスクの実行に変換するという、ロボット利用のための挑戦的なシミュレーションテストベッドであるRobotWorldを紹介した。 タスク結果と実行トレースを分析して、転送する機能と、信頼性の高い完了を防ぐギャップの両方を識別する。
  論文  参考訳（メタデータ） (2026-10-07T16:55:24Z)
• A Segmented Robot Grasping Perception Neural Network for Edge AI [0.051776141577794685]
  本研究は,GAP9 RISC-V System-on-Chip上でのHeatmap-Guided Grasp検出を実装した。 このモデルは、入力次元の削減、モデルの分割、量子化など、ハードウェア対応技術を用いて最適化される。 GraspNet-1Billionベンチマークの実験的な評価は、完全なオンチップ推論の実現可能性を検証する。
  論文  参考訳（メタデータ） (2025-07-18T14:32:45Z)
• Rethinking Bimanual Robotic Manipulation: Learning with Decoupled Interaction Framework [51.39847596489193]
  バイオマチックなロボット操作は、ロボティクスコミュニティにおいて、新しくて重要なトピックである。 本稿では,バイマニュアル操作における異なるタスクの特徴を考察した,疎結合なインタラクションフレームワークを提案する。 我々のフレームワークは,SOTA法よりも23.5%向上し,優れた性能を実現している。
  論文  参考訳（メタデータ） (2025-03-12T09:28:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。