論文の概要: What We Talk About When We Talk About LLM Planning: Evidence for Two Distinct Planning Abilities
- arxiv url: http://arxiv.org/abs/2607.11197v1
- Date: Mon, 13 Jul 2026 07:47:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-14 17:47:21.367607
- Title: What We Talk About When We Talk About LLM Planning: Evidence for Two Distinct Planning Abilities
- Title(参考訳): LLMプランニングについて語る:2つの異なるプランニング能力の証拠
- Abstract要約: タスクレベルの変動は、単一能力スペクトルに沿った違いよりも、個別の遅延計画能力を反映する可能性がある、と我々は主張する。
ACPBench-Hard において,テストタイム推論予算の異なる複数の LLM ファミリーを評価検討した。
- 参考スコア(独自算出の注目度): 43.87329561965196
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: When LLMs exhibit uneven performance across planning tasks, these gaps are often attributed to task difficulty. We argue that this explanation is incomplete, as task-level variation may reflect distinct latent planning competencies rather than differences along a single ability spectrum. We study this question on ACPBench-Hard by evaluating multiple LLM families under varying test-time reasoning budgets and applying a multidimensional item response theory model to uncover the latent competency structure underlying LLM planning. The analysis reveals two principal dimensions that shape planning performance: operational reasoning, the ability to evaluate local action applicability and immediate state transitions, and structural enumeration, the ability to reason about goal reachability and landmark structure. Operational reasoning improving under model scaling and longer reasoning traces, while structural enumeration remains comparatively insensitive. Our findings motivate competency-level evaluation of LLM planning, shifting the focus from whether models improve overall to which planning competencies improve, under what conditions, and why.
- Abstract(参考訳): LLMが計画タスク全体で不均一なパフォーマンスを示す場合、これらのギャップはしばしばタスクの難しさに起因する。
タスクレベルの変動は、単一能力スペクトルに沿った違いよりも、異なる潜在計画能力を反映する可能性があるため、この説明は不完全である、と我々は主張する。
ACPBench-Hardの課題は、テスト時間推論予算の異なる複数のLCMファミリーを評価し、多次元アイテム応答理論モデルを適用して、LCM計画の根底にある潜在能力構造を明らかにすることである。
この分析は、運用の推論、局所的な行動適用性と即時状態遷移を評価する能力、構造的列挙、目標到達可能性とランドマーク構造を推論する能力の2つの主要な側面を明らかにしている。
モデルスケーリングと長い推論トレースの下での操作的推論の改善は、構造的列挙は、比較的無神経なままである。
本研究は, LLM計画の能力レベル評価を, モデルが総合的に改善するか, 計画能力が向上するか, 条件, 理由に焦点を移すものである。
関連論文リスト
- Knowledge Model Prompting Increases LLM Performance on Planning Tasks [0.0]
本稿では,タスク・メソッド・知識・フレームワークが大規模言語モデルの推論能力を向上できるかどうかを検討する。
この研究はPlanBenchベンチマークを用いてTMKを評価し、推論と計画能力をテストする。
論文 参考訳(メタデータ) (2026-02-03T09:47:05Z) - Teaching LLMs to Plan: Logical Chain-of-Thought Instruction Tuning for Symbolic Planning [23.185497225384207]
大規模言語モデル(LLM)は、様々なタスクにまたがる印象的な機能を示しているが、構造化されたシンボリックプランニングを実行する能力はまだ限られている。
論理的連鎖推論によりLLMのシンボリックプランニング能力を高めるために設計された新しい命令チューニングフレームワークPDDL-Instructを提案する。
論文 参考訳(メタデータ) (2025-09-14T02:42:34Z) - PLAN-TUNING: Post-Training Language Models to Learn Step-by-Step Planning for Complex Problem Solving [66.42260489147617]
大規模言語モデルから合成タスク分解を蒸留するフレームワークであるPLAN-TUNINGを紹介する。
複雑な推論を改善するために、教師付きおよび強化学習の目的を通したプランチューン細管モデル。
本分析は,計画軌道が複雑な推論能力をいかに改善するかを示す。
論文 参考訳(メタデータ) (2025-07-10T07:30:44Z) - On the Eligibility of LLMs for Counterfactual Reasoning: A Decompositional Study [15.617243755155686]
対物推論は、大規模言語モデルの推論能力を一般化するための重要な手法として現れてきた。
本稿では, 因果関係の構築から, 逆因果関係の介入に対する推論まで, 逆因果関係の生成を分解する分解戦略を提案する。
論文 参考訳(メタデータ) (2025-05-17T04:59:32Z) - HyperTree Planning: Enhancing LLM Reasoning via Hierarchical Thinking [109.09735490692202]
提案するHyperTree Planning(HTP)は,高木構造プランニングアウトラインを構成する新しい推論パラダイムである。
実験ではHTPの有効性を実証し、Gemini-1.5-ProによるTravelPlannerベンチマークで最先端の精度を実現し、o1-previewよりも3.6倍の性能向上を実現した。
論文 参考訳(メタデータ) (2025-05-05T02:38:58Z) - Deliberate Reasoning in Language Models as Structure-Aware Planning with an Accurate World Model [14.480267340831542]
高精度世界モデル(SWAP)による構造認識計画
SWAPは構造化知識表現と学習計画を統合する。
SWAPは,数理推論,論理推論,コーディングタスクなど,多種多様な推論集約型ベンチマークで評価される。
論文 参考訳(メタデータ) (2024-10-04T04:23:36Z) - On The Planning Abilities of OpenAI's o1 Models: Feasibility, Optimality, and Generalizability [59.72892401927283]
さまざまなベンチマークタスクでOpenAIのo1モデルの計画能力を評価する。
その結果,o1-preview は GPT-4 よりもタスク制約に順応していることがわかった。
論文 参考訳(メタデータ) (2024-09-30T03:58:43Z) - VSP: Assessing the dual challenges of perception and reasoning in spatial planning tasks for VLMs [102.36953558562436]
視覚言語モデル(VLM)は、エキサイティングな言語モデル(LM)のクラスである。
VLMの未調査能力の1つは、視覚空間計画である。
本研究は,これらのモデルにおける空間計画能力を概ね評価するベンチマークを提案する。
論文 参考訳(メタデータ) (2024-07-02T00:24:01Z) - Exploring and Benchmarking the Planning Capabilities of Large Language Models [57.23454975238014]
この研究は、大規模言語モデル(LLM)の計画能力を改善するための基礎を築いた。
我々は、古典的な計画ベンチマークと自然言語シナリオの両方を含む包括的なベンチマークスイートを構築した。
本研究は,LLM計画の強化を目的としたマルチショットインコンテキスト学習について検討し,文脈長の増大と計画性能の向上の関係について検討する。
論文 参考訳(メタデータ) (2024-06-18T22:57:06Z) - PlanBench: An Extensible Benchmark for Evaluating Large Language Models
on Planning and Reasoning about Change [34.93870615625937]
PlanBenchは、自動計画コミュニティで使用されるドメインの種類に基づいたベンチマークスイートである。
PlanBenchはタスクドメインと特定の計画機能の両方に十分な多様性を提供します。
論文 参考訳(メタデータ) (2022-06-21T16:15:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。