論文の概要: Large Language Models Still Can't Plan (A Benchmark for LLMs on Planning
and Reasoning about Change)
- arxiv url: http://arxiv.org/abs/2206.10498v1
- Date: Tue, 21 Jun 2022 16:15:27 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-22 13:26:54.551039
- Title: Large Language Models Still Can't Plan (A Benchmark for LLMs on Planning
and Reasoning about Change)
- Title(参考訳): 大規模言語モデルはまだ計画できない (LLMにおける変更計画と推論のベンチマーク)
- Authors: Karthik Valmeekam, Alberto Olmo, Sarath Sreedharan, Subbarao
Kambhampati
- Abstract要約: 人間の知性の中心的な側面において,LLMの能力を評価するための評価枠組みを提案する。
以前に確立された推論ベンチマークよりも多くのテストケースが関与しています。
GPT-3(Davinci)のベースバージョンの初期評価結果では,これらのベンチマークでサブパー性能を示した。
- 参考スコア(独自算出の注目度): 33.01659916505635
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The recent advances in large language models (LLMs) have transformed the
field of natural language processing (NLP). From GPT-3 to PaLM, the
state-of-the-art performance on natural language tasks is being pushed forward
with every new large language model. Along with natural language abilities,
there has been a significant interest in understanding whether such models,
trained on enormous amounts of data, exhibit reasoning capabilities. Hence
there has been interest in developing benchmarks for various reasoning tasks
and the preliminary results from testing LLMs over such benchmarks seem mostly
positive. However, the current benchmarks are relatively simplistic and the
performance over these benchmarks cannot be used as an evidence to support,
many a times outlandish, claims being made about LLMs' reasoning capabilities.
As of right now, these benchmarks only represent a very limited set of simple
reasoning tasks and we need to look at more sophisticated reasoning problems if
we are to measure the true limits of such LLM-based systems. With this
motivation, we propose an extensible assessment framework to test the abilities
of LLMs on a central aspect of human intelligence, which is reasoning about
actions and change. We provide multiple test cases that are more involved than
any of the previously established reasoning benchmarks and each test case
evaluates a certain aspect of reasoning about actions and change. Initial
evaluation results on the base version of GPT-3 (Davinci), showcase subpar
performance on these benchmarks.
- Abstract(参考訳): 大規模言語モデル(LLM)の最近の進歩は、自然言語処理(NLP)の分野を変えつつある。
GPT-3からPaLMまで、自然言語タスクにおける最先端のパフォーマンスは、あらゆる新しい大規模言語モデルによって前進している。
自然言語能力に加えて、そのようなモデルが大量のデータに基づいて訓練され、推論能力を示すかどうかを理解することにも大きな関心が寄せられている。
したがって、様々な推論タスクのためのベンチマークの開発に関心があり、そのようなベンチマークよりもLSMのテストによる予備的な結果はほとんど肯定的であるように思われる。
しかしながら、現在のベンチマークは比較的単純であり、これらのベンチマークに対するパフォーマンスは、LCMの推論能力に関する主張がしばしば誇張される証拠として使うことはできない。
現在、これらのベンチマークは単純な推論タスクのセットに限られており、そのようなLCMベースのシステムの真の限界を測定するためには、より洗練された推論問題に目を向ける必要がある。
このモチベーションを生かして,人間の知性の中心的な側面においてLLMの能力をテストするための拡張性評価フレームワークを提案する。
これまでに確立された推論ベンチマークよりも関与する複数のテストケースを提供し、各テストケースはアクションや変更に関する推論の特定の側面を評価します。
GPT-3(Davinci)のベースバージョンの初期評価結果では,これらのベンチマークでサブパー性能を示した。
関連論文リスト
- What's the Plan? Evaluating and Developing Planning-Aware Techniques for
LLMs [8.110829402014819]
大きな言語モデル(LLM)は、計画機能を必要とするアプリケーションにますます使われています。
我々は,新しいハイブリッド・メソドであるSimPlanを紹介し,その性能を新たな挑戦的な設定で評価する。
論文 参考訳(メタデータ) (2024-02-18T07:42:49Z) - Understanding the planning of LLM agents: A survey [98.82513390811148]
本調査では, LLMをベースとしたエージェント計画の体系的考察を行い, 計画能力の向上を目的とした最近の成果について報告する。
各方向について総合的な分析を行い、研究分野におけるさらなる課題について論じる。
論文 参考訳(メタデータ) (2024-02-05T04:25:24Z) - On the Prospects of Incorporating Large Language Models (LLMs) in
Automated Planning and Scheduling (APS) [23.024862968785147]
本稿では, LLMのユニークな応用に基づく8つのカテゴリを, 計画問題の諸側面に対処するために検討する。
我々のレビューから得られた重要な洞察は、LLMの真の可能性は、従来のシンボリックプランナーと統合されたときに広がります。
論文 参考訳(メタデータ) (2024-01-04T19:22:09Z) - LLM-Assist: Enhancing Closed-Loop Planning with Language-Based Reasoning [65.86754998249224]
従来のルールベースプランナとLCMベースのプランナを併用した,新しいハイブリッドプランナを開発した。
当社のアプローチでは,既存のプランナが苦労する複雑なシナリオをナビゲートし,合理的なアウトプットを生成すると同時に,ルールベースのアプローチと連携して作業する。
論文 参考訳(メタデータ) (2023-12-30T02:53:45Z) - Learning adaptive planning representations with natural language
guidance [90.24449752926866]
本稿では,タスク固有の計画表現を自動構築するフレームワークであるAdaについて述べる。
Adaは、プランナー互換の高レベルアクション抽象化と、特定の計画タスク領域に適応した低レベルコントローラのライブラリを対話的に学習する。
論文 参考訳(メタデータ) (2023-12-13T23:35:31Z) - EgoPlan-Bench: Benchmarking Egocentric Embodied Planning with Multimodal
Large Language Models [87.8282946526824]
EgoPlan-Benchという人間のアノテーションを用いたベンチマークを導入し,MLLMの具体的タスクプランナとしての可能性について定量的に検討する。
各種オープンソースMLLMを評価し,これらのモデルがまだ具体化された計画ジェネラリストに進化していないことを明らかにした。
我々は,高レベルのタスクプランニングの学習を容易にするために,人間とオブジェクトのインタラクションのビデオから指導学習データセットEgoPlan-ITを構築した。
論文 参考訳(メタデータ) (2023-12-11T03:35:58Z) - AutoPlanBench: Automatically generating benchmarks for LLM planners from
PDDL [52.005042190810116]
PDDLで書かれたベンチマークをテキスト記述に変換する新しい手法であるAutoPlanBenchを提案する。
優れたLCMプランナーは計画タスクをうまくこなすが、他のプランナーは現在の手法には及ばない。
論文 参考訳(メタデータ) (2023-11-16T11:55:27Z) - SayCanPay: Heuristic Planning with Large Language Models using Learnable
Domain Knowledge [14.024233628092167]
大規模言語モデル(LLM)は、その膨大な「世界知識」により、優れた計画能力を示した。
しかし、近年の進歩にもかかわらず、実現可能な(手頃な)プランと費用対効果(プラン長)の両方のプランの獲得は依然として課題である。
これは、ドメイン知識(PDDLのようなアクションモデルで形式化された)と検索を使って実現可能な最適な計画を生成する計画手法とは対照的である。
論文 参考訳(メタデータ) (2023-08-24T09:47:28Z) - AdaPlanner: Adaptive Planning from Feedback with Language Models [56.367020818139665]
大規模言語モデル(LLM)は、最近、シーケンシャルな意思決定タスクの自律的エージェントとして機能する可能性を実証している。
本研究では,LLMエージェントが環境フィードバックに応じて自己生成計画を適応的に改善することのできるクローズドループアプローチであるAdaPlannerを提案する。
幻覚を緩和するために,様々なタスク,環境,エージェント機能にまたがる計画生成を容易にするコードスタイルのLCMプロンプト構造を開発した。
論文 参考訳(メタデータ) (2023-05-26T05:52:27Z) - Understanding the Capabilities of Large Language Models for Automated
Planning [24.37599752610625]
この研究は、複雑な計画問題の解決におけるLLMの能力に光を当てようとしている。
この文脈で LLM を使用するための最も効果的なアプローチに関する洞察を提供する。
論文 参考訳(メタデータ) (2023-05-25T15:21:09Z) - Plansformer: Generating Symbolic Plans using Transformers [24.375997526106246]
大規模言語モデル(LLM)は、自然言語処理(NLP)分野を著しく進歩させ、活発な研究対象となっている。
プランフォーマーは計画上の問題に微調整され、知識工学の努力を減らし、正確さと長さの点で良好な行動で計画を生成することができる。
Plansformerの1つの構成では、97%の有効なプランが達成されます。
論文 参考訳(メタデータ) (2022-12-16T19:06:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。