論文の概要: Plan-Bench: Can Existing VLMs Go Well Beyond Perception to Reason and Plan in Embodied Worlds?

• arxiv url: http://arxiv.org/abs/2610.18836v1
• Date: Tue, 13 Oct 2026 17:55:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.701172
• Title: Plan-Bench: Can Existing VLMs Go Well Beyond Perception to Reason and Plan in Embodied Worlds?
• Title（参考訳）: Plan-Bench:既存のVLMは、理性や身体的世界の計画に十分勝てるか?
• Abstract要約: VLM(Vision-Language Models)は、視覚知覚と空間的推論において強力な性能を発揮する。 物理的タスクには、空間情報の統合、時間的状態の推論、多段階計画の生成といったモデルが必要である。 Plan-Benchは、組み込まれた世界に関連するVLMの高レベル推論と多段階計画能力を評価するためのベンチマークである。
• 参考スコア（独自算出の注目度）: 46.56475160170067
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision-Language Models (VLMs) have achieved strong performance in visual perception and spatial reasoning, leading to growing interest in using them as high-level planners for embodied AI. However, physical tasks require models to integrate spatial information, reason over temporal states, and generate multi-step plans under various constraints, raising the question of whether current VLMs can reliably support such reasoning and planning independently of execution. We introduce Plan-Bench, a benchmark for evaluating the high-level reasoning and multi-step planning capabilities of VLMs relevant to embodied worlds, while isolating the influence of action execution. It covers three complementary dimensions, spanning 16 subclasses and 699 curated samples. Extensive evaluation of 28 VLMs reveals room for improvement, with even the strongest model achieving only 75.0% accuracy. We further find that model scaling generally improves these capabilities. Ablation studies also indicate larger models show increasing potential as high-level planners. Overall, Plan-Bench provides a lightweight probe for evaluating VLMs' reasoning and planning capabilities relevant to embodied environments and assessing their potential as decision makers for physical tasks. Our benchmark and code are available at https://github.com/MinneFeng/Plan-Bench.
• Abstract（参考訳）: VLM(Vision-Language Models)は、視覚知覚と空間推論において強力なパフォーマンスを達成しており、AIの高レベルプランナーとして使用することへの関心が高まっている。 しかし、物理タスクは、空間情報の統合、時間的状態の推論、そして様々な制約の下で多段階計画を生成するモデルを必要とし、現在のVLMがそのような推論や計画の実行から独立して確実にサポートできるかどうかという疑問を提起する。 我々は,実世界に関連するVLMの高レベル推論と多段階計画能力を評価するためのベンチマークであるPlan-Benchを紹介し,行動実行の影響を分離する。 16のサブクラスと699のキュレートされたサンプルからなる3つの相補的な次元をカバーしている。 28個のVLMを徹底的に評価すると、最強のモデルでさえ75.0%の精度しか達成していないため、改善の余地が明らかになる。 さらに、モデルスケーリングは一般的にこれらの能力を改善します。 アブレーション研究は、より大きなモデルが高レベルプランナーとしての可能性を示すことも示している。 全体として、Plan-Benchは、VLMの環境に関する推論と計画能力を評価し、物理的なタスクの意思決定者としての可能性を評価するための軽量なプローブを提供する。 ベンチマークとコードはhttps://github.com/MinneFeng/Plan-Bench.comで公開しています。

関連論文リスト

• HeroBench: A Benchmark for Long-Horizon Planning and Structured Reasoning in Virtual Worlds [0.0]
  大規模言語モデル(LLM)は、数学やプログラミングのようなステップバイステップの推論タスクにおいて顕著な能力を示している。 しかし、ソリューションが拡張され、構造化された相互依存的なアクションのシーケンスを必要とする長期計画におけるそれらの習熟度は、まだ未解明のままである。 我々は,RPGにインスパイアされた複雑な仮想世界において,長期計画と構造化推論を評価するために設計された新しいベンチマークであるHeroBenchを紹介する。
  論文  参考訳（メタデータ） (2025-08-18T09:59:02Z)
• EgoPlan-Bench2: A Benchmark for Multimodal Large Language Model Planning in Real-World Scenarios [53.26658545922884]
  EgoPlan-Bench2は,MLLMの計画能力を評価するためのベンチマークである。 我々は,21の競争的MLLMを評価し,その限界を詳細に分析した結果,実世界の計画において大きな課題に直面していることが明らかとなった。 EgoPlan-Bench2におけるGPT-4Vの10.24倍の性能向上を図る。
  論文  参考訳（メタデータ） (2024-12-05T18:57:23Z)
• Evaluating Vision-Language Models as Evaluators in Path Planning [13.391755396500155]
  大規模言語モデル(LLM)は、エンド・ツー・エンド・プランニングにおいて限定的な有効性を持つことが示されている。 本稿では,複雑な経路計画シナリオにおける計画評価器としてVLMを評価する新しいベンチマークであるPathEvalを紹介する。 分析の結果,これらのモデルがベンチマークにおいて重大な課題に直面していることが明らかとなった。
  論文  参考訳（メタデータ） (2024-11-27T19:32:03Z)
• VSP: Assessing the dual challenges of perception and reasoning in spatial planning tasks for VLMs [102.36953558562436]
  視覚言語モデル(VLM)は、エキサイティングな言語モデル(LM)のクラスである。 VLMの未調査能力の1つは、視覚空間計画である。 本研究は,これらのモデルにおける空間計画能力を概ね評価するベンチマークを提案する。
  論文  参考訳（メタデータ） (2024-07-02T00:24:01Z)
• EgoPlan-Bench: Benchmarking Multimodal Large Language Models for Human-Level Planning [84.6451394629312]
  実世界のシナリオにおけるMLLMの計画能力を評価するベンチマークであるEgoPlan-Benchを紹介する。 EgoPlan-Benchは、人間レベルのタスクプランニングを実現するためのMLLMの改善のかなりの範囲を浮き彫りにする。 また,EgoPlan-Bench上でのモデル性能を効果的に向上する特殊命令チューニングデータセットであるEgoPlan-ITを提案する。
  論文  参考訳（メタデータ） (2023-12-11T03:35:58Z)
• PlanBench: An Extensible Benchmark for Evaluating Large Language Models on Planning and Reasoning about Change [34.93870615625937]
  PlanBenchは、自動計画コミュニティで使用されるドメインの種類に基づいたベンチマークスイートである。 PlanBenchはタスクドメインと特定の計画機能の両方に十分な多様性を提供します。
  論文  参考訳（メタデータ） (2022-06-21T16:15:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。