論文の概要: What's the Plan? Evaluating and Developing Planning-Aware Techniques for LLMs

• arxiv url: http://arxiv.org/abs/2402.11489v1
• Date: Sun, 18 Feb 2024 07:42:49 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-20 21:02:08.877684
• Title: What's the Plan? Evaluating and Developing Planning-Aware Techniques for LLMs
• Title（参考訳）: 何の計画だ? LLMのためのプランニングアウェア技術の評価と開発
• Authors: Eran Hirsch, Guy Uziel, Ateret Anaby-Tavor
• Abstract要約: 大きな言語モデル(LLM)は、計画機能を必要とするアプリケーションにますます使われています。 我々は,新しいハイブリッド・メソドであるSimPlanを紹介し,その性能を新たな挑戦的な設定で評価する。
• 参考スコア（独自算出の注目度）: 8.110829402014819
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Planning is a fundamental task in artificial intelligence that involves finding a sequence of actions that achieve a specified goal in a given environment. Large language models (LLMs) are increasingly used for applications that require planning capabilities, such as web or embodied agents. In line with recent studies, we demonstrate through experimentation that LLMs lack necessary skills required for planning. Based on these observations, we advocate for the potential of a hybrid approach that combines LLMs with classical planning methodology. Then, we introduce SimPlan, a novel hybrid-method, and evaluate its performance in a new challenging setup. Our extensive experiments across various planning domains demonstrate that SimPlan significantly outperforms existing LLM-based planners.
• Abstract（参考訳）: 計画は、特定の環境で特定の目標を達成する一連の行動を見つけることを含む、人工知能の基本的なタスクである。 大規模言語モデル(LLM)は、Webやエンボディエージェントのような計画機能を必要とするアプリケーションにますます使われています。 近年の研究では,LSMには計画に必要なスキルが欠けていることが実証されている。 これらの観測に基づいて,LLMと古典的計画手法を組み合わせたハイブリッドアプローチの可能性を提唱する。 次に,新しいハイブリッド手法であるSimPlanを紹介し,その性能を新たな挑戦的な設定で評価する。 様々な計画領域にわたる広範な実験により、SimPlanは既存のLLMベースのプランナーよりも大幅に優れていることが示された。

関連論文リスト

• Learning to Plan for Retrieval-Augmented Large Language Models from Knowledge Graphs [59.76268575344119]
  知識グラフ(KG)から得られた計画データを用いて,大規模言語モデル(LLM)計画能力を向上するための新しいフレームワークを提案する。 KGデータで微調整されたLLMは、計画能力を向上し、検索を含む複雑なQAタスクを処理するのがより適している。
  論文  参考訳（メタデータ） (2024-06-20T13:07:38Z)
• Exploring and Benchmarking the Planning Capabilities of Large Language Models [57.23454975238014]
  この研究は、大規模言語モデル(LLM)の計画能力を改善するための基礎を築いた。 我々は、古典的な計画ベンチマークと自然言語シナリオの両方を含む包括的なベンチマークスイートを構築した。 本研究は,LLM計画の強化を目的としたマルチショットインコンテキスト学習について検討し,文脈長の増大と計画性能の向上の関係について検討する。
  論文  参考訳（メタデータ） (2024-06-18T22:57:06Z)
• Open Grounded Planning: Challenges and Benchmark Construction [44.86307213996181]
  我々は,新たな計画課題--オープン・グランド・プランニングを提案する。 オープングランドプランニングの主な目的は、可変アクションセットに基づいて実行可能なプランを生成するようモデルに求めることである。 そして、現在最先端のLLMを5つの計画手法とともにテストし、既存のLLMとメソッドが、オープンドメインの基盤となる計画によってもたらされる課題を解決するのに依然として苦労していることを明らかにした。
  論文  参考訳（メタデータ） (2024-06-05T03:46:52Z)
• On the Roles of LLMs in Planning: Embedding LLMs into Planning Graphs [12.326862964753694]
  市販の計画フレームワークにおける大規模言語モデル(LLM)の計画能力について考察する。 LLMを2段階の計画グラフに組み込んだ新しいLLMベースの計画フレームワークを提案する。 様々な計画領域において提案手法の有効性を実証的に示す。
  論文  参考訳（メタデータ） (2024-02-18T15:53:32Z)
• Understanding the planning of LLM agents: A survey [98.82513390811148]
  本調査では, LLMをベースとしたエージェント計画の体系的考察を行い, 計画能力の向上を目的とした最近の成果について報告する。 各方向について総合的な分析を行い、研究分野におけるさらなる課題について論じる。
  論文  参考訳（メタデータ） (2024-02-05T04:25:24Z)
• On the Prospects of Incorporating Large Language Models (LLMs) in Automated Planning and Scheduling (APS) [23.024862968785147]
  本稿では, LLMのユニークな応用に基づく8つのカテゴリを, 計画問題の諸側面に対処するために検討する。 我々のレビューから得られた重要な洞察は、LLMの真の可能性は、従来のシンボリックプランナーと統合されたときに広がります。
  論文  参考訳（メタデータ） (2024-01-04T19:22:09Z)
• LLM-Assist: Enhancing Closed-Loop Planning with Language-Based Reasoning [65.86754998249224]
  従来のルールベースプランナとLCMベースのプランナを併用した,新しいハイブリッドプランナを開発した。 当社のアプローチでは,既存のプランナが苦労する複雑なシナリオをナビゲートし,合理的なアウトプットを生成すると同時に,ルールベースのアプローチと連携して作業する。
  論文  参考訳（メタデータ） (2023-12-30T02:53:45Z)
• EgoPlan-Bench: Benchmarking Multimodal Large Language Models for Human-Level Planning [84.6451394629312]
  実世界のシナリオにおけるMLLMの計画能力を評価するベンチマークであるEgoPlan-Benchを紹介する。 EgoPlan-Benchは、人間レベルのタスクプランニングを実現するためのMLLMの改善のかなりの範囲を浮き彫りにする。 また,EgoPlan-Bench上でのモデル性能を効果的に向上する特殊命令チューニングデータセットであるEgoPlan-ITを提案する。
  論文  参考訳（メタデータ） (2023-12-11T03:35:58Z)
• AdaPlanner: Adaptive Planning from Feedback with Language Models [56.367020818139665]
  大規模言語モデル(LLM)は、最近、シーケンシャルな意思決定タスクの自律的エージェントとして機能する可能性を実証している。 本研究では,LLMエージェントが環境フィードバックに応じて自己生成計画を適応的に改善することのできるクローズドループアプローチであるAdaPlannerを提案する。 幻覚を緩和するために,様々なタスク,環境,エージェント機能にまたがる計画生成を容易にするコードスタイルのLCMプロンプト構造を開発した。
  論文  参考訳（メタデータ） (2023-05-26T05:52:27Z)
• PlanBench: An Extensible Benchmark for Evaluating Large Language Models on Planning and Reasoning about Change [34.93870615625937]
  PlanBenchは、自動計画コミュニティで使用されるドメインの種類に基づいたベンチマークスイートである。 PlanBenchはタスクドメインと特定の計画機能の両方に十分な多様性を提供します。
  論文  参考訳（メタデータ） (2022-06-21T16:15:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。