論文の概要: On the Planning, Search, and Memorization Capabilities of Large Language
Models
- arxiv url: http://arxiv.org/abs/2309.01868v1
- Date: Tue, 5 Sep 2023 00:19:31 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-06 16:52:35.363527
- Title: On the Planning, Search, and Memorization Capabilities of Large Language
Models
- Title(参考訳): 大規模言語モデルの計画・探索・記憶能力について
- Authors: Yunhao Yang, Anshul Tomar
- Abstract要約: タスク計画における最先端の大規模言語モデル(GPT-4)の可能性について検討する。
大規模言語モデルが計画問題の解決に優れている領域を特定し,適用性を制限する制約を明らかにする。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The rapid advancement of large language models, such as the Generative
Pre-trained Transformer (GPT) series, has had significant implications across
various disciplines. In this study, we investigate the potential of the
state-of-the-art large language model (GPT-4) for planning tasks. We explore
its effectiveness in multiple planning subfields, highlighting both its
strengths and limitations. Through a comprehensive examination, we identify
areas where large language models excel in solving planning problems and reveal
the constraints that limit their applicability. Our empirical analysis focuses
on GPT-4's performance in planning domain extraction, graph search path
planning, and adversarial planning. We then propose a way of fine-tuning a
domain-specific large language model to improve its Chain of Thought (CoT)
capabilities for the above-mentioned tasks. The results provide valuable
insights into the potential applications of large language models in the
planning domain and pave the way for future research to overcome their
limitations and expand their capabilities.
- Abstract(参考訳): GPT(Generative Pre-trained Transformer)シリーズのような大規模言語モデルの急速な進歩は、様々な分野に重大な影響を与えている。
本研究では,現在最先端の大規模言語モデル(GPT-4)の計画課題に対する可能性について検討する。
我々は、複数のプランニングサブフィールドにおいてその効果を調べ、その強みと限界を強調する。
包括的調査により,大規模言語モデルが計画問題の解決に優れている領域を特定し,適用性を制限する制約を明らかにする。
実験分析では,GPT-4による領域抽出,グラフ探索経路計画,および対向計画の性能に着目した。
次に、上記のタスクに対する思考連鎖(cot)能力を改善するために、ドメイン固有の大規模言語モデルを微調整する方法を提案する。
その結果、計画領域における大規模言語モデルの潜在的な応用に関する貴重な洞察が得られ、将来の研究が限界を克服し、その能力を拡大するための道を開く。
関連論文リスト
- PARADISE: Evaluating Implicit Planning Skills of Language Models with
Procedural Warnings and Tips Dataset [2.0285519161103576]
PARADISE は,wikiHow をベースとした実践的な手続きテキスト上で,Q&A 形式を用いた帰納的推論タスクである。
計画の暗黙的な知識を与えられた目標からのみ推論するモデルの能力をテストすることを目的として、中間的なステップを除く、目標に直接関連した警告およびヒント推論タスクを含む。
我々の実験は、微調整言語モデルとゼロショットプロンプトを利用して、ほとんどのシナリオにおいて、大規模言語モデルに対するタスク固有小モデルの有効性を明らかにした。
論文 参考訳(メタデータ) (2024-03-05T18:01:59Z) - Consolidating Trees of Robotic Plans Generated Using Large Language
Models to Improve Reliability [6.4111574364474215]
LLM(Large Language Models)の固有の確率論的性質は、予測不可能な要素を導入している。
本稿では,多様な現実の要求やシナリオに対して,適切なロボットタスク計画を作成することを目的とした,革新的なアプローチを提案する。
論文 参考訳(メタデータ) (2024-01-15T18:01:59Z) - LLM-SAP: Large Language Model Situational Awareness Based Planning [0.0]
この研究は、大規模言語モデルにおける状況認識に基づく創発的計画能力の評価の先駆者である。
i) 標準化された評価のための新しいベンチマークとメトリクス、(ii) 進捗を加速するためのユニークなデータセット、(iii) 状況に敏感な計画タスクにおいて計画性能を著しく向上させるマルチエージェントスキームの実証に寄与する。
論文 参考訳(メタデータ) (2023-12-26T17:19:09Z) - Planning as In-Painting: A Diffusion-Based Embodied Task Planning
Framework for Environments under Uncertainty [56.30846158280031]
具体的AIのためのタスクプランニングは、最も難しい問題の1つだ。
In-paintingとしての計画」というタスク非依存の手法を提案する。
提案するフレームワークは,様々な具体的AIタスクにおいて,有望なパフォーマンスを実現する。
論文 参考訳(メタデータ) (2023-12-02T10:07:17Z) - A Planning Ontology to Represent and Exploit Planning Knowledge for
Performance Efficiency [10.075789639396465]
我々は,エージェントを世界の初期状態から望ましい目標状態へ移動させる一連の行動を見つけることを目的として,自動計画の問題を考える。
利用可能なプランナと多様なプランナドメインが多数用意されていると仮定し、適切なプランナを特定し、ドメインのパフォーマンスを向上させるために活用できる不可欠な情報を持っている。
論文 参考訳(メタデータ) (2023-07-25T14:51:07Z) - Exploring Large Language Model for Graph Data Understanding in Online
Job Recommendations [63.19448893196642]
本稿では,大規模言語モデルが提供するリッチな文脈情報と意味表現を利用して行動グラフを解析する新しいフレームワークを提案する。
この機能を利用することで、個々のユーザに対してパーソナライズされた、正確なジョブレコメンデーションが可能になる。
論文 参考訳(メタデータ) (2023-07-10T11:29:41Z) - EmbodiedGPT: Vision-Language Pre-Training via Embodied Chain of Thought [95.37585041654535]
Embodied AIは、ロボットが物理的な環境で長時間のタスクを遂行するためのアクションシーケンスを計画し、実行することができる。
本稿では,EmbodiedGPTを紹介する。EmbodiedGPTは,エンボディドAIのためのエンドツーエンドのマルチモーダル基盤モデルである。
実験は、実施計画、実施制御、視覚的キャプション、視覚的質問応答など、実施されたタスクに対するEmbodiedGPTの有効性を示す。
論文 参考訳(メタデータ) (2023-05-24T11:04:30Z) - Explicit Planning Helps Language Models in Logical Reasoning [39.27163698914806]
言語モデルを用いて多段階論理推論を行う新しいシステムLEAPを提案する。
明示的な計画によって、システムは各ステップでより深い推論決定を行うことができる。
我々のシステムは、複数の標準データセット上で競合する他の手法よりも大幅に優れています。
論文 参考訳(メタデータ) (2023-03-28T03:55:03Z) - Few-shot Subgoal Planning with Language Models [58.11102061150875]
事前訓練された言語モデルにエンコードされた言語は、細粒度のサブゴール列を推測できることを示す。
サブゴナル・インスペクションを強く仮定する最近の手法とは対照的に,我々の実験では,詳細なサブゴラル・シーケンスを微調整せずに推論できる言語モデルが示されている。
論文 参考訳(メタデータ) (2022-05-28T01:03:30Z) - PaLM: Scaling Language Modeling with Pathways [180.69584031908113]
我々は,パスウェイズ言語モデル PaLM と呼ばれるトランスフォーマー言語モデルを用いて,540ビリオンのパラメータを訓練した。
我々はPathwaysという新しいMLシステムを用いて,6144 TPU v4チップ上でPaLMをトレーニングした。
数百の言語理解および生成ベンチマーク上で、最先端の数発の学習結果を達成し、スケーリングの継続的なメリットを実証する。
論文 参考訳(メタデータ) (2022-04-05T16:11:45Z) - Forethought and Hindsight in Credit Assignment [62.05690959741223]
我々は、前向きモデルや後向きモデルによる後向き操作による予測として使われる計画の利益と特異性を理解するために活動する。
本稿では,予測を(再)評価すべき状態の選択に主眼を置いて,計画におけるモデルの利用について検討する。
論文 参考訳(メタデータ) (2020-10-26T16:00:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。