論文の概要: On the Planning Abilities of Large Language Models -- A Critical Investigation

• arxiv url: http://arxiv.org/abs/2305.15771v1
• Date: Thu, 25 May 2023 06:32:23 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-26 16:56:00.890456
• Title: On the Planning Abilities of Large Language Models -- A Critical Investigation
• Title（参考訳）: 大規模言語モデルの計画能力について -批判的考察-
• Authors: Karthik Valmeekam, Matthew Marquez, Sarath Sreedharan, Subbarao Kambhampati
• Abstract要約: 我々は,コモンセンス計画タスクにおける自律的な計画作成におけるLCMの有効性を評価することを目的とする。 外部検証器は、生成した計画に対するフィードバックを提供するのに役立ち、より優れた計画生成のためにLLMをバックプロンプトすることを示します。
• 参考スコア（独自算出の注目度）: 29.00207434040124
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Intrigued by the claims of emergent reasoning capabilities in LLMs trained on general web corpora, in this paper, we set out to investigate their planning capabilities. We aim to evaluate (1) the effectiveness of LLMs in generating plans autonomously in commonsense planning tasks and (2) the potential of LLMs as a source of heuristic guidance for other agents (AI planners) in their planning tasks. We conduct a systematic study by generating a suite of instances on domains similar to the ones employed in the International Planning Competition and evaluate LLMs in two distinct modes: autonomous and heuristic. Our findings reveal that LLMs' ability to generate executable plans autonomously is rather limited, with the best model (GPT-4) having an average success rate of ~12% across the domains. However, the results in the heuristic mode show more promise. In the heuristic mode, we demonstrate that LLM-generated plans can improve the search process for underlying sound planners and additionally show that external verifiers can help provide feedback on the generated plans and back-prompt the LLM for better plan generation.
• Abstract（参考訳）: 本稿では,一般ウェブコーパスで学習したLCMにおける創発的推論能力の主張に着目し,その計画能力について検討した。 本研究の目的は,(1)コモンセンス計画における自律的計画作成におけるllmの有効性と,(2)他のエージェント(aiプランナー)の計画作業におけるヒューリスティックな指導の源としてのllmの可能性を評価することである。 我々は、国際計画コンペティションで採用されているものと類似したドメインの一連のインスタンスを生成し、自律とヒューリスティックの2つの異なるモードでllmを評価することにより、体系的な研究を行う。 その結果,llmsが自律的に実行可能な計画を生成する能力は限定的であり,最適モデル (gpt-4) の平均成功率は約12%であった。 しかし、ヒューリスティックモードの結果はより有望である。 ヒューリスティックモードでは、llm生成のプランが基礎となるサウンドプランナーの探索プロセスを改善できること、さらに、外部検証者が生成したプランに対するフィードバックを提供し、より優れたプラン生成のためにllmをバックプロンプトできることを実証する。

関連論文リスト

• Plan, Eliminate, and Track -- Language Models are Good Teachers for Embodied Agents [99.17668730578586]
  事前訓練された大言語モデル(LLM)は、世界に関する手続き的な知識をキャプチャする。 Plan, Eliminate, and Track (PET)フレームワークはタスク記述をハイレベルなサブタスクのリストに変換する。 PETフレームワークは、人間の目標仕様への一般化のために、SOTAよりも15%改善されている。
  論文  参考訳（メタデータ） (2023-05-03T20:11:22Z)
• On the Planning Abilities of Large Language Models (A Critical Investigation with a Proposed Benchmark) [30.223130782579336]
  我々は,国際計画コンペティションで採用されるドメインの種類に基づいて,ベンチマークスイートを開発する。 LLMを3つのモードで評価する: 自律型, ループ型, ループ型, ループ型, ループ型である。 以上の結果から, LLMが自律的に実行可能な計画を生成する能力は極めて高く, 平均的な成功率は3%程度に過ぎなかった。
  論文  参考訳（メタデータ） (2023-02-13T21:37:41Z)
• Translating Natural Language to Planning Goals with Large-Language Models [19.738395237639136]
  近年の大規模言語モデル(LLM)は,様々な自然言語処理(NLP)タスクにおいて顕著な性能を示した。 我々の中心的な問題は、LLMが自然言語で指定された目標を構造化された計画言語に翻訳できるかどうかである。 GPT 3.5 変種に対する実験結果から,LCM は計画よりも翻訳に適していることが示された。
  論文  参考訳（メタデータ） (2023-02-10T09:17:52Z)
• Hierarchical Imitation Learning with Vector Quantized Models [77.67190661002691]
  我々は,専門家の軌跡におけるサブゴールの同定に強化学習を用いることを提案する。 同定されたサブゴールに対するベクトル量子化生成モデルを構築し,サブゴールレベルの計画を行う。 実験では、このアルゴリズムは複雑な長い水平決定問題の解法に優れ、最先端のアルゴリズムよりも優れている。
  論文  参考訳（メタデータ） (2023-01-30T15:04:39Z)
• Do Embodied Agents Dream of Pixelated Sheep: Embodied Decision Making using Language Guided World Modelling [101.59430768507997]
  強化学習 (Reinforcement Learning, RL) エージェントは通常、世界の事前の知識なしに、タブラララザを学習する。 抽象世界モデル (AWM) を仮定するために, 少数ショット大言語モデル (LLM) を提案する。 LLMを用いてAWMを仮定し, エージェント経験に基づくAWMの検証を行うことで, 従来手法よりもサンプル効率を桁違いに向上させることができる。
  論文  参考訳（メタデータ） (2023-01-28T02:04:07Z)
• Plansformer: Generating Symbolic Plans using Transformers [24.375997526106246]
  大規模言語モデル(LLM)は、自然言語処理(NLP)分野を著しく進歩させ、活発な研究対象となっている。 プランフォーマーは計画上の問題に微調整され、知識工学の努力を減らし、正確さと長さの点で良好な行動で計画を生成することができる。 Plansformerの1つの構成では、97%の有効なプランが達成されます。
  論文  参考訳（メタデータ） (2022-12-16T19:06:49Z)
• On Grounded Planning for Embodied Tasks with Language Models [30.217305215259277]
  言語モデル(LM)は物理世界の常識を持つ。 LMが具体化されたタスクに対して、基礎的で実行可能な計画を生成する能力を持っているかどうかは、まだ未解決の問題である。 本稿では,G-Planetという新しい問題定式化手法を提案する。
  論文  参考訳（メタデータ） (2022-08-29T16:37:18Z)
• Understanding Decision-Time vs. Background Planning in Model-Based Reinforcement Learning [56.50123642237106]
  一般的な2つのアプローチは、意思決定時計画とバックグラウンド計画である。 本研究は、これらの2つの計画スタイルのうちの1つが、どの条件で、どの設定が他の方法よりも優れているかを理解することに関心がある。 全体としては、意思決定時計画は、古典的インスタンス化において、背景計画と同等に動作しないが、現代のインスタンス化では、背景計画よりも同等かそれ以上に実行可能であることを示唆している。
  論文  参考訳（メタデータ） (2022-06-16T20:48:19Z)
• ElitePLM: An Empirical Study on General Language Ability Evaluation of Pretrained Language Models [78.08792285698853]
  本稿では,事前学習型言語モデル(ElitePLM)の汎用言語能力評価に関する大規模実証的研究について述べる。 実験の結果,(1)訓練対象の異なるPLMは異なる能力試験に適しており,(2)下流タスクの微調整PLMはデータサイズや分布に敏感であり,(3)PLMは類似タスク間の転送性に優れていた。
  論文  参考訳（メタデータ） (2022-05-03T14:18:10Z)
• Active Learning of Abstract Plan Feasibility [17.689758291966502]
  本稿では,タスクに依存しない,好奇心を抱くロボットの探索を通じて,APF予測器を効率的に取得するための能動的学習手法を提案する。 アクティブラーニング戦略において,本システムでは,本システムでより少ないデータから学習できるように,実用不可能なサブシーケンス特性を活用して,候補計画の立案を行う。 物体が一様でない質量分布を持つ積層領域において,本システムは,400個の自己教師による相互作用において,APFモデルの実際のロボット学習を可能にすることを示す。
  論文  参考訳（メタデータ） (2021-07-01T18:17:01Z)
• Divide-and-Conquer Monte Carlo Tree Search For Goal-Directed Planning [78.65083326918351]
  暗黙的な逐次計画の仮定に代わるものを検討する。 本稿では,最適計画の近似を行うため,Divide-and-Conquer Monte Carlo Tree Search (DC-MCTS)を提案する。 計画順序に対するこのアルゴリズム的柔軟性は,グリッドワールドにおけるナビゲーションタスクの改善に繋がることを示す。
  論文  参考訳（メタデータ） (2020-04-23T18:08:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。