論文の概要: Beyond APIs: Probing the Limits of MLLMs in Physical Tool Use

• arxiv url: http://arxiv.org/abs/2606.10803v1
• Date: Tue, 09 Jun 2026 12:49:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-10 15:40:58.503258
• Title: Beyond APIs: Probing the Limits of MLLMs in Physical Tool Use
• Title（参考訳）: APIを超えて:物理ツール使用におけるMLLMの限界を探る
• Authors: Zhixin Ma, Yutong Zhou, Yongqi Li, Chong-Wah Ngo, Wenjie Li,
• Abstract要約: PhysTool-Benchは、MLLMが現実世界のシナリオを理解し、物理的なツールを特定し、それらの使用を計画する能力を評価する最初の物理ツール使用ベンチマークである。 13のMLLMのうち、最強のモデル(Gemini-3.1-Pro)でさえ、シーン内のツールの58.7%しか特定できず、エンドツーエンドでのクエリの21.0%しか完了していない。 MLLMは現実的な場面でツールを理解するのに苦労しており、計画段階におけるはるかに大きな減少は、機能的な常識の欠如を示している。
• 参考スコア（独自算出の注目度）: 30.728333023657537
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal Large Language Models (MLLMs) excel at utilizing digital APIs and increasingly serve as the "brain" of embodied AI, instructing robots to interact with the physical world. In such embodied settings, a central capability is the use of physical tools, which underpins MLLMs' ability to assist humans in real-world tasks. Despite the importance, MLLMs' proficiency in physical tool use remains largely unexplored. To address this gap, we introduce PhysTool-Bench, the first physical tool-use benchmark designed to evaluate MLLMs' ability to comprehend real-world scenarios, identify physical tools, and plan their use. PhysTool-Bench comprises 2,510 queries over 2,678 real-world physical tools spanning diverse domains, including manufacturing, electrical work, agriculture, and healthcare. Concretely, models are evaluated along two primary dimensions: 1) recognizing all physical tools present in the scene, and 2) planning the tool selection and use sequence based on the instruction and visual context. Across 13 leading MLLMs, even the strongest model (Gemini-3.1-Pro) identifies only 58.7% of tools in a scene and completes merely 21.0% of queries end-to-end. Our analysis reveals a two-level deficit: MLLMs struggle to perceive tools in realistic scenes, and the much larger drop at the planning stage further indicates a lack of functional commonsense for mapping perceived tools onto task semantics, pinpointing a critical bottleneck for the development of practical embodied AI.
• Abstract（参考訳）: MLLM(Multimodal Large Language Models)は、デジタルAPIの利用に優れ、ロボットに物理的な世界と対話するように指示する、エンボディAIの"脳"としての役割が増している。 このような具体的設定において、中心となる能力は物理的なツールの使用であり、これはMLLMが現実世界のタスクで人間を支援する能力の基盤となっている。 この重要性にもかかわらず、MLLMの物理的ツール使用能力はほとんど解明されていない。 このギャップに対処するため、我々は、MLLMが現実世界のシナリオを理解し、物理的なツールを特定し、それらの使用を計画する能力を評価するために設計された最初の物理ツール使用ベンチマークであるPhysTool-Benchを紹介した。 PhysTool-Benchは、製造、電気工事、農業、医療など、さまざまな分野にまたがる、現実世界の物理的なツール2,678の2,510のクエリで構成されている。 具体的には、モデルが2つの主要な次元に沿って評価される。 1)現場に存在するすべての物理的な道具を認識し、 2) ツールの選択・使用手順を指示・視覚的文脈に基づいて計画する。 13のMLLMのうち、最強のモデル(Gemini-3.1-Pro)でさえ、シーン内のツールの58.7%しか特定できず、エンドツーエンドでのクエリの21.0%しか完了していない。 MLLMは現実的な場面でツールを理解するのに苦労しており、計画段階におけるはるかに大きな減少は、認識されたツールをタスクセマンティクスにマッピングするための機能的常識が欠如していることを示し、実践的なAIの開発において重要なボトルネックを指摘します。

関連論文リスト

• PhysToolBench: Benchmarking Physical Tool Understanding for MLLMs [46.62285836344724]
  MLLMによる物理ツールの理解度を評価するための最初のベンチマークであるPhysToolBenchを紹介する。 我々のベンチマークは、1000以上の画像テキストペアからなるVisual Question Answering (VQA)データセットとして構成されている。 1)ツール認識:ツールの一次機能を認識する必要がある。 (2) ツール理解: ツール操作の根底にある原則を理解する能力をテストする。
  論文  参考訳（メタデータ） (2025-10-10T16:10:45Z)
• MetaTool: Facilitating Large Language Models to Master Tools with Meta-task Augmentation [25.360660222418183]
  再利用可能なツールセットにまたがって一般化するために設計された,新しいツール学習手法であるMetaToolを紹介する。 メタタスクデータをタスク指向トレーニングに組み込むことで,オープンソースの大規模言語モデルの性能を大幅に向上させる。
  論文  参考訳（メタデータ） (2024-07-15T10:15:41Z)
• Tool Learning in the Wild: Empowering Language Models as Automatic Tool Agents [56.822238860147024]
  大規模な言語モデルを外部ツールで拡張することは、彼らのユーティリティを拡張するための有望なアプローチとして現れました。 以前のメソッドは、ツールドキュメントを手動で解析し、コンテキスト内デモを作成し、ツールをLLMがステップバイステップの推論で使用する構造化フォーマットに変換する。 LLMがツール使用ワークフローを自動化できるフレームワークであるAutoToolsを提案する。
  論文  参考訳（メタデータ） (2024-05-26T11:40:58Z)
• Planning, Creation, Usage: Benchmarking LLMs for Comprehensive Tool Utilization in Real-World Complex Scenarios [93.68764280953624]
  UltraToolは、ツール利用におけるLarge Language Modelsの能力を改善し評価するために設計された、新しいベンチマークである。 現実の複雑さを強調し、効果的な問題解決のために正確で多段階の計画を必要とする。 UltraToolの重要な特徴は、ツールの使用前に発生する自然言語による計画の独立した評価である。
  論文  参考訳（メタデータ） (2024-01-30T16:52:56Z)
• ToolEyes: Fine-Grained Evaluation for Tool Learning Capabilities of Large Language Models in Real-world Scenarios [49.33633818046644]
  本稿では,大規模言語モデルのツール学習能力を評価するためのシステムであるToolEyesを提案する。 このシステムは7つの現実シナリオを慎重に分析し、ツール学習においてLLMに不可欠な5次元を解析する。 ToolEyesには,約600のツールを備えたツールライブラリが組み込まれている。
  論文  参考訳（メタデータ） (2024-01-01T12:49:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。