論文の概要: Large Language Models Still Can't Plan (A Benchmark for LLMs on Planning
and Reasoning about Change)
- arxiv url: http://arxiv.org/abs/2206.10498v3
- Date: Sat, 8 Apr 2023 00:43:13 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-11 23:54:35.139827
- Title: Large Language Models Still Can't Plan (A Benchmark for LLMs on Planning
and Reasoning about Change)
- Title(参考訳): 大規模言語モデルはまだ計画できない (LLMにおける変更計画と推論のベンチマーク)
- Authors: Karthik Valmeekam, Alberto Olmo, Sarath Sreedharan, Subbarao
Kambhampati
- Abstract要約: 大規模言語モデル(LLM)は自然言語処理(NLP)の分野を変革した。
大規模言語モデル(LLM)の最近の進歩は、自然言語処理(NLP)の分野を変えつつある。
- 参考スコア(独自算出の注目度): 33.01659916505635
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent advances in large language models (LLMs) have transformed the field of
natural language processing (NLP). From GPT-3 to PaLM, the state-of-the-art
performance on natural language tasks is being pushed forward with every new
large language model. Along with natural language abilities, there has been a
significant interest in understanding whether such models exhibit reasoning
capabilities with the use of reasoning benchmarks. However, even though results
are seemingly positive, these benchmarks prove to be simplistic in nature and
the performance of LLMs on these benchmarks cannot be used as evidence to
support, many a times outlandish, claims being made about LLMs' reasoning
capabilities. Further, these only represent a very limited set of simple
reasoning tasks and we need to look at more sophisticated reasoning problems if
we are to measure the true limits of such LLM-based systems. Motivated by this,
we propose an extensible assessment framework to test the capabilities of LLMs
on reasoning about actions and change, a central aspect of human intelligence.
We provide multiple test cases that are more involved than any of the
previously established benchmarks and each test case evaluates a different
aspect of reasoning about actions and change. Results on GPT-3 (davinci),
Instruct-GPT3 (text-davinci-002) and BLOOM (176B), showcase subpar performance
on such reasoning tasks.
- Abstract(参考訳): 大規模言語モデル(LLM)の最近の進歩は、自然言語処理(NLP)の分野を変えつつある。
GPT-3からPaLMまで、自然言語タスクにおける最先端のパフォーマンスは、あらゆる新しい大規模言語モデルによって前進している。
自然言語能力とともに、そのようなモデルが推論ベンチマークを用いて推論能力を示すかどうかを理解することにも大きな関心が寄せられている。
しかし、結果は肯定的であるように思われるが、これらのベンチマークは本質的に単純であることが証明され、これらのベンチマーク上でのLSMのパフォーマンスは、LCMの推論能力に関する主張がしばしば誇張される証拠として利用できない。
さらに、これらは単純な推論タスクのセットに限られており、そのようなLCMベースのシステムの真の限界を測定するためには、より洗練された推論問題に目を向ける必要がある。
そこで我々は,人間の知性の中心的な側面である行動や変化の推論において,LLMの能力をテストするための拡張性評価フレームワークを提案する。
これまでに確立されたベンチマークよりも多くのテストケースを提供し、各テストケースはアクションや変更に関する推論の異なる側面を評価します。
GPT-3 (davinci), Instruct-GPT3 (text-davinci-002) および BLOOM (176B) の結果は, このような推論タスクにおけるサブパー性能を示した。
関連論文リスト
- What's the Plan? Evaluating and Developing Planning-Aware Techniques for
LLMs [8.110829402014819]
大きな言語モデル(LLM)は、計画機能を必要とするアプリケーションにますます使われています。
我々は,新しいハイブリッド・メソドであるSimPlanを紹介し,その性能を新たな挑戦的な設定で評価する。
論文 参考訳(メタデータ) (2024-02-18T07:42:49Z) - Understanding the planning of LLM agents: A survey [98.82513390811148]
本調査では, LLMをベースとしたエージェント計画の体系的考察を行い, 計画能力の向上を目的とした最近の成果について報告する。
各方向について総合的な分析を行い、研究分野におけるさらなる課題について論じる。
論文 参考訳(メタデータ) (2024-02-05T04:25:24Z) - On the Prospects of Incorporating Large Language Models (LLMs) in
Automated Planning and Scheduling (APS) [23.024862968785147]
本稿では, LLMのユニークな応用に基づく8つのカテゴリを, 計画問題の諸側面に対処するために検討する。
我々のレビューから得られた重要な洞察は、LLMの真の可能性は、従来のシンボリックプランナーと統合されたときに広がります。
論文 参考訳(メタデータ) (2024-01-04T19:22:09Z) - LLM-Assist: Enhancing Closed-Loop Planning with Language-Based Reasoning [65.86754998249224]
従来のルールベースプランナとLCMベースのプランナを併用した,新しいハイブリッドプランナを開発した。
当社のアプローチでは,既存のプランナが苦労する複雑なシナリオをナビゲートし,合理的なアウトプットを生成すると同時に,ルールベースのアプローチと連携して作業する。
論文 参考訳(メタデータ) (2023-12-30T02:53:45Z) - Learning adaptive planning representations with natural language
guidance [90.24449752926866]
本稿では,タスク固有の計画表現を自動構築するフレームワークであるAdaについて述べる。
Adaは、プランナー互換の高レベルアクション抽象化と、特定の計画タスク領域に適応した低レベルコントローラのライブラリを対話的に学習する。
論文 参考訳(メタデータ) (2023-12-13T23:35:31Z) - EgoPlan-Bench: Benchmarking Egocentric Embodied Planning with Multimodal
Large Language Models [87.8282946526824]
EgoPlan-Benchという人間のアノテーションを用いたベンチマークを導入し,MLLMの具体的タスクプランナとしての可能性について定量的に検討する。
各種オープンソースMLLMを評価し,これらのモデルがまだ具体化された計画ジェネラリストに進化していないことを明らかにした。
我々は,高レベルのタスクプランニングの学習を容易にするために,人間とオブジェクトのインタラクションのビデオから指導学習データセットEgoPlan-ITを構築した。
論文 参考訳(メタデータ) (2023-12-11T03:35:58Z) - AutoPlanBench: Automatically generating benchmarks for LLM planners from
PDDL [52.005042190810116]
PDDLで書かれたベンチマークをテキスト記述に変換する新しい手法であるAutoPlanBenchを提案する。
優れたLCMプランナーは計画タスクをうまくこなすが、他のプランナーは現在の手法には及ばない。
論文 参考訳(メタデータ) (2023-11-16T11:55:27Z) - SayCanPay: Heuristic Planning with Large Language Models using Learnable
Domain Knowledge [14.024233628092167]
大規模言語モデル(LLM)は、その膨大な「世界知識」により、優れた計画能力を示した。
しかし、近年の進歩にもかかわらず、実現可能な(手頃な)プランと費用対効果(プラン長)の両方のプランの獲得は依然として課題である。
これは、ドメイン知識(PDDLのようなアクションモデルで形式化された)と検索を使って実現可能な最適な計画を生成する計画手法とは対照的である。
論文 参考訳(メタデータ) (2023-08-24T09:47:28Z) - AdaPlanner: Adaptive Planning from Feedback with Language Models [56.367020818139665]
大規模言語モデル(LLM)は、最近、シーケンシャルな意思決定タスクの自律的エージェントとして機能する可能性を実証している。
本研究では,LLMエージェントが環境フィードバックに応じて自己生成計画を適応的に改善することのできるクローズドループアプローチであるAdaPlannerを提案する。
幻覚を緩和するために,様々なタスク,環境,エージェント機能にまたがる計画生成を容易にするコードスタイルのLCMプロンプト構造を開発した。
論文 参考訳(メタデータ) (2023-05-26T05:52:27Z) - Understanding the Capabilities of Large Language Models for Automated
Planning [24.37599752610625]
この研究は、複雑な計画問題の解決におけるLLMの能力に光を当てようとしている。
この文脈で LLM を使用するための最も効果的なアプローチに関する洞察を提供する。
論文 参考訳(メタデータ) (2023-05-25T15:21:09Z) - Plansformer: Generating Symbolic Plans using Transformers [24.375997526106246]
大規模言語モデル(LLM)は、自然言語処理(NLP)分野を著しく進歩させ、活発な研究対象となっている。
プランフォーマーは計画上の問題に微調整され、知識工学の努力を減らし、正確さと長さの点で良好な行動で計画を生成することができる。
Plansformerの1つの構成では、97%の有効なプランが達成されます。
論文 参考訳(メタデータ) (2022-12-16T19:06:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。