論文の概要: On the Planning, Search, and Memorization Capabilities of Large Language Models

• arxiv url: http://arxiv.org/abs/2309.01868v1
• Date: Tue, 5 Sep 2023 00:19:31 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-06 16:52:35.363527
• Title: On the Planning, Search, and Memorization Capabilities of Large Language Models
• Title（参考訳）: 大規模言語モデルの計画・探索・記憶能力について
• Authors: Yunhao Yang, Anshul Tomar
• Abstract要約: タスク計画における最先端の大規模言語モデル(GPT-4)の可能性について検討する。 大規模言語モデルが計画問題の解決に優れている領域を特定し,適用性を制限する制約を明らかにする。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The rapid advancement of large language models, such as the Generative Pre-trained Transformer (GPT) series, has had significant implications across various disciplines. In this study, we investigate the potential of the state-of-the-art large language model (GPT-4) for planning tasks. We explore its effectiveness in multiple planning subfields, highlighting both its strengths and limitations. Through a comprehensive examination, we identify areas where large language models excel in solving planning problems and reveal the constraints that limit their applicability. Our empirical analysis focuses on GPT-4's performance in planning domain extraction, graph search path planning, and adversarial planning. We then propose a way of fine-tuning a domain-specific large language model to improve its Chain of Thought (CoT) capabilities for the above-mentioned tasks. The results provide valuable insights into the potential applications of large language models in the planning domain and pave the way for future research to overcome their limitations and expand their capabilities.
• Abstract（参考訳）: GPT(Generative Pre-trained Transformer)シリーズのような大規模言語モデルの急速な進歩は、様々な分野に重大な影響を与えている。 本研究では,現在最先端の大規模言語モデル(GPT-4)の計画課題に対する可能性について検討する。 我々は、複数のプランニングサブフィールドにおいてその効果を調べ、その強みと限界を強調する。 包括的調査により,大規模言語モデルが計画問題の解決に優れている領域を特定し,適用性を制限する制約を明らかにする。 実験分析では,GPT-4による領域抽出,グラフ探索経路計画,および対向計画の性能に着目した。 次に、上記のタスクに対する思考連鎖(cot)能力を改善するために、ドメイン固有の大規模言語モデルを微調整する方法を提案する。 その結果、計画領域における大規模言語モデルの潜在的な応用に関する貴重な洞察が得られ、将来の研究が限界を克服し、その能力を拡大するための道を開く。

関連論文リスト

• On The Planning Abilities of OpenAI's o1 Models: Feasibility, Optimality, and Generalizability [59.72892401927283]
  さまざまなベンチマークタスクでOpenAIのo1モデルの計画能力を評価する。 その結果,o1-preview は GPT-4 よりもタスク制約に順応していることがわかった。
  論文  参考訳（メタデータ） (2024-09-30T03:58:43Z)
• Unlocking Reasoning Potential in Large Langauge Models by Scaling Code-form Planning [94.76546523689113]
  CodePlanは、テキストコード形式の計画を生成し、追跡するフレームワークで、高いレベルの構造化された推論プロセスの概要を擬似コードで示します。 CodePlanは、洗練された推論タスク固有のリッチなセマンティクスと制御フローを効果的にキャプチャする。 反応を直接生成するのに比べて25.1%の相対的な改善が達成されている。
  論文  参考訳（メタデータ） (2024-09-19T04:13:58Z)
• Exploring and Benchmarking the Planning Capabilities of Large Language Models [57.23454975238014]
  この研究は、大規模言語モデル(LLM)の計画能力を改善するための基礎を築いた。 我々は、古典的な計画ベンチマークと自然言語シナリオの両方を含む包括的なベンチマークスイートを構築した。 本研究は,LLM計画の強化を目的としたマルチショットインコンテキスト学習について検討し,文脈長の増大と計画性能の向上の関係について検討する。
  論文  参考訳（メタデータ） (2024-06-18T22:57:06Z)
• Unlocking Large Language Model's Planning Capabilities with Maximum Diversity Fine-tuning [10.704716790096498]
  大規模言語モデル(LLM)は、技術やシステム設計の推進によって達成された、目覚ましいタスク解決能力を示している。 本稿では,LLMの計画能力に及ぼす微調整の影響について検討する。 計画領域におけるファインチューニングのサンプル効率を向上させるために,MDFT(Maximum Diversity Fine-Tuning)戦略を提案する。
  論文  参考訳（メタデータ） (2024-06-15T03:06:14Z)
• Scalable Language Model with Generalized Continual Learning [58.700439919096155]
  The Joint Adaptive Re-ization (JARe) is integrated with Dynamic Task-related Knowledge Retrieval (DTKR) to enable adapt adjust of language model based on specific downstream task。 提案手法は,様々なバックボーンやベンチマーク上での最先端性能を実証し,最小限の忘れを伴い,フルセットおよび少数ショットのシナリオにおいて効果的な連続学習を実現する。
  論文  参考訳（メタデータ） (2024-04-11T04:22:15Z)
• PARADISE: Evaluating Implicit Planning Skills of Language Models with Procedural Warnings and Tips Dataset [0.0]
  PARADISE は,wikiHow をベースとした実践的な手続きテキスト上で,Q&A 形式を用いた帰納的推論タスクである。 計画の暗黙的な知識を与えられた目標からのみ推論するモデルの能力をテストすることを目的として、中間的なステップを除く、目標に直接関連した警告およびヒント推論タスクを含む。 我々の実験は、微調整言語モデルとゼロショットプロンプトを利用して、ほとんどのシナリオにおいて、大規模言語モデルに対するタスク固有小モデルの有効性を明らかにした。
  論文  参考訳（メタデータ） (2024-03-05T18:01:59Z)
• Consolidating Trees of Robotic Plans Generated Using Large Language Models to Improve Reliability [6.4111574364474215]
  LLM(Large Language Models)の固有の確率論的性質は、予測不可能な要素を導入している。 本稿では,多様な現実の要求やシナリオに対して,適切なロボットタスク計画を作成することを目的とした,革新的なアプローチを提案する。
  論文  参考訳（メタデータ） (2024-01-15T18:01:59Z)
• A Planning Ontology to Represent and Exploit Planning Knowledge for Performance Efficiency [6.87593454486392]
  我々は,エージェントを世界の初期状態から望ましい目標状態へ移動させる一連の行動を見つけることを目的として,自動計画の問題を考える。 利用可能なプランナと多様なプランナドメインが多数用意されていると仮定し、適切なプランナを特定し、ドメインのパフォーマンスを向上させるために活用できる不可欠な情報を持っている。
  論文  参考訳（メタデータ） (2023-07-25T14:51:07Z)
• Explicit Planning Helps Language Models in Logical Reasoning [39.27163698914806]
  言語モデルを用いて多段階論理推論を行う新しいシステムLEAPを提案する。 明示的な計画によって、システムは各ステップでより深い推論決定を行うことができる。 我々のシステムは、複数の標準データセット上で競合する他の手法よりも大幅に優れています。
  論文  参考訳（メタデータ） (2023-03-28T03:55:03Z)
• Few-shot Subgoal Planning with Language Models [58.11102061150875]
  事前訓練された言語モデルにエンコードされた言語は、細粒度のサブゴール列を推測できることを示す。 サブゴナル・インスペクションを強く仮定する最近の手法とは対照的に,我々の実験では,詳細なサブゴラル・シーケンスを微調整せずに推論できる言語モデルが示されている。
  論文  参考訳（メタデータ） (2022-05-28T01:03:30Z)
• Forethought and Hindsight in Credit Assignment [62.05690959741223]
  我々は、前向きモデルや後向きモデルによる後向き操作による予測として使われる計画の利益と特異性を理解するために活動する。 本稿では,予測を(再)評価すべき状態の選択に主眼を置いて,計画におけるモデルの利用について検討する。
  論文  参考訳（メタデータ） (2020-10-26T16:00:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。