論文の概要: PlanBench: An Extensible Benchmark for Evaluating Large Language Models
on Planning and Reasoning about Change
- arxiv url: http://arxiv.org/abs/2206.10498v4
- Date: Sun, 26 Nov 2023 01:15:41 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-30 17:39:28.056822
- Title: PlanBench: An Extensible Benchmark for Evaluating Large Language Models
on Planning and Reasoning about Change
- Title(参考訳): PlanBench: 変更計画と推論に関する大規模言語モデル評価のための拡張可能なベンチマーク
- Authors: Karthik Valmeekam, Matthew Marquez, Alberto Olmo, Sarath Sreedharan,
Subbarao Kambhampati
- Abstract要約: PlanBenchは、自動計画コミュニティで使用されるドメインの種類に基づいたベンチマークスイートである。
PlanBenchはタスクドメインと特定の計画機能の両方に十分な多様性を提供します。
- 参考スコア(独自算出の注目度): 34.93870615625937
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Generating plans of action, and reasoning about change have long been
considered a core competence of intelligent agents. It is thus no surprise that
evaluating the planning and reasoning capabilities of large language models
(LLMs) has become a hot topic of research. Most claims about LLM planning
capabilities are however based on common sense tasks-where it becomes hard to
tell whether LLMs are planning or merely retrieving from their vast world
knowledge. There is a strong need for systematic and extensible planning
benchmarks with sufficient diversity to evaluate whether LLMs have innate
planning capabilities. Motivated by this, we propose PlanBench, an extensible
benchmark suite based on the kinds of domains used in the automated planning
community, especially in the International Planning Competition, to test the
capabilities of LLMs in planning or reasoning about actions and change.
PlanBench provides sufficient diversity in both the task domains and the
specific planning capabilities. Our studies also show that on many critical
capabilities-including plan generation-LLM performance falls quite short, even
with the SOTA models. PlanBench can thus function as a useful marker of
progress of LLMs in planning and reasoning.
- Abstract(参考訳): 行動計画の作成と変化の推論は、長年、知的エージェントの中核的能力と見なされてきた。
したがって、大規模言語モデル(LLM)の計画と推論能力を評価することが、研究のホットなトピックになっていることは驚くにあたらない。
しかし、llm計画能力に関するほとんどの主張は、llmが計画しているのか、単に広大な世界の知識から取得しているだけなのかを知ることが難しい、常識的なタスクに基づいている。
LLMが本質的に計画能力を持っているかどうかを評価するのに十分な多様性を持つ体系的で拡張可能な計画ベンチマークが必要である。
そこで本研究では,自動計画コミュニティ,特に国際計画コンペティションで使用されるドメインの種類に基づいた拡張可能なベンチマークスイートであるPlanBenchを提案する。
PlanBenchはタスクドメインと特定の計画機能の両方に十分な多様性を提供します。
また本研究では,SOTAモデルにおいても,計画生成-LLM性能を含む多くの重要な機能について非常に短い結果が得られた。
したがって、プランベンチは計画と推論におけるLLMの進歩の有用なマーカーとして機能する。
関連論文リスト
- What's the Plan? Evaluating and Developing Planning-Aware Techniques for
LLMs [8.110829402014819]
大きな言語モデル(LLM)は、計画機能を必要とするアプリケーションにますます使われています。
我々は,新しいハイブリッド・メソドであるSimPlanを紹介し,その性能を新たな挑戦的な設定で評価する。
論文 参考訳(メタデータ) (2024-02-18T07:42:49Z) - Understanding the planning of LLM agents: A survey [98.82513390811148]
本調査では, LLMをベースとしたエージェント計画の体系的考察を行い, 計画能力の向上を目的とした最近の成果について報告する。
各方向について総合的な分析を行い、研究分野におけるさらなる課題について論じる。
論文 参考訳(メタデータ) (2024-02-05T04:25:24Z) - On the Prospects of Incorporating Large Language Models (LLMs) in
Automated Planning and Scheduling (APS) [23.024862968785147]
本稿では, LLMのユニークな応用に基づく8つのカテゴリを, 計画問題の諸側面に対処するために検討する。
我々のレビューから得られた重要な洞察は、LLMの真の可能性は、従来のシンボリックプランナーと統合されたときに広がります。
論文 参考訳(メタデータ) (2024-01-04T19:22:09Z) - LLM-Assist: Enhancing Closed-Loop Planning with Language-Based Reasoning [65.86754998249224]
従来のルールベースプランナとLCMベースのプランナを併用した,新しいハイブリッドプランナを開発した。
当社のアプローチでは,既存のプランナが苦労する複雑なシナリオをナビゲートし,合理的なアウトプットを生成すると同時に,ルールベースのアプローチと連携して作業する。
論文 参考訳(メタデータ) (2023-12-30T02:53:45Z) - Learning adaptive planning representations with natural language
guidance [90.24449752926866]
本稿では,タスク固有の計画表現を自動構築するフレームワークであるAdaについて述べる。
Adaは、プランナー互換の高レベルアクション抽象化と、特定の計画タスク領域に適応した低レベルコントローラのライブラリを対話的に学習する。
論文 参考訳(メタデータ) (2023-12-13T23:35:31Z) - EgoPlan-Bench: Benchmarking Egocentric Embodied Planning with Multimodal
Large Language Models [87.8282946526824]
EgoPlan-Benchという人間のアノテーションを用いたベンチマークを導入し,MLLMの具体的タスクプランナとしての可能性について定量的に検討する。
各種オープンソースMLLMを評価し,これらのモデルがまだ具体化された計画ジェネラリストに進化していないことを明らかにした。
我々は,高レベルのタスクプランニングの学習を容易にするために,人間とオブジェクトのインタラクションのビデオから指導学習データセットEgoPlan-ITを構築した。
論文 参考訳(メタデータ) (2023-12-11T03:35:58Z) - AutoPlanBench: Automatically generating benchmarks for LLM planners from
PDDL [52.005042190810116]
PDDLで書かれたベンチマークをテキスト記述に変換する新しい手法であるAutoPlanBenchを提案する。
優れたLCMプランナーは計画タスクをうまくこなすが、他のプランナーは現在の手法には及ばない。
論文 参考訳(メタデータ) (2023-11-16T11:55:27Z) - SayCanPay: Heuristic Planning with Large Language Models using Learnable
Domain Knowledge [14.024233628092167]
大規模言語モデル(LLM)は、その膨大な「世界知識」により、優れた計画能力を示した。
しかし、近年の進歩にもかかわらず、実現可能な(手頃な)プランと費用対効果(プラン長)の両方のプランの獲得は依然として課題である。
これは、ドメイン知識(PDDLのようなアクションモデルで形式化された)と検索を使って実現可能な最適な計画を生成する計画手法とは対照的である。
論文 参考訳(メタデータ) (2023-08-24T09:47:28Z) - AdaPlanner: Adaptive Planning from Feedback with Language Models [56.367020818139665]
大規模言語モデル(LLM)は、最近、シーケンシャルな意思決定タスクの自律的エージェントとして機能する可能性を実証している。
本研究では,LLMエージェントが環境フィードバックに応じて自己生成計画を適応的に改善することのできるクローズドループアプローチであるAdaPlannerを提案する。
幻覚を緩和するために,様々なタスク,環境,エージェント機能にまたがる計画生成を容易にするコードスタイルのLCMプロンプト構造を開発した。
論文 参考訳(メタデータ) (2023-05-26T05:52:27Z) - Understanding the Capabilities of Large Language Models for Automated
Planning [24.37599752610625]
この研究は、複雑な計画問題の解決におけるLLMの能力に光を当てようとしている。
この文脈で LLM を使用するための最も効果的なアプローチに関する洞察を提供する。
論文 参考訳(メタデータ) (2023-05-25T15:21:09Z) - Plansformer: Generating Symbolic Plans using Transformers [24.375997526106246]
大規模言語モデル(LLM)は、自然言語処理(NLP)分野を著しく進歩させ、活発な研究対象となっている。
プランフォーマーは計画上の問題に微調整され、知識工学の努力を減らし、正確さと長さの点で良好な行動で計画を生成することができる。
Plansformerの1つの構成では、97%の有効なプランが達成されます。
論文 参考訳(メタデータ) (2022-12-16T19:06:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。