論文の概要: Exploring and Benchmarking the Planning Capabilities of Large Language Models

• arxiv url: http://arxiv.org/abs/2406.13094v1
• Date: Tue, 18 Jun 2024 22:57:06 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-21 23:58:20.477766
• Title: Exploring and Benchmarking the Planning Capabilities of Large Language Models
• Title（参考訳）: 大規模言語モデルの計画能力の探索とベンチマーク
• Authors: Bernd Bohnet, Azade Nova, Aaron T Parisi, Kevin Swersky, Katayoon Goshvadi, Hanjun Dai, Dale Schuurmans, Noah Fiedel, Hanie Sedghi,
• Abstract要約: 古典的計画領域と自然言語シナリオの両方を含むベンチマークスイートを構築した。 第2に、LLM計画の強化にICL(In-context Learning)を用いることについて検討し、文脈長の増大と計画性能の向上の直接的な関係について検討する。 第3に、最適計画パスに対する微調整LDMの正の効果と、モデル駆動探索手法の導入の有効性を実証する。
• 参考スコア（独自算出の注目度）: 57.23454975238014
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We seek to elevate the planning capabilities of Large Language Models (LLMs)investigating four main directions. First, we construct a comprehensive benchmark suite encompassing both classical planning domains and natural language scenarios. This suite includes algorithms to generate instances with varying levels of difficulty, allowing for rigorous and systematic evaluation of LLM performance. Second, we investigate the use of in-context learning (ICL) to enhance LLM planning, exploring the direct relationship between increased context length and improved planning performance. Third, we demonstrate the positive impact of fine-tuning LLMs on optimal planning paths, as well as the effectiveness of incorporating model-driven search procedures. Finally, we investigate the performance of the proposed methods in out-of-distribution scenarios, assessing the ability to generalize to novel and unseen planning challenges.
• Abstract（参考訳）: 我々は,大規模言語モデル(LLM)の計画能力を高めるために,4つの主要な方向を探索する。 まず、古典的な計画領域と自然言語シナリオの両方を含む包括的なベンチマークスイートを構築する。 このスイートには、様々なレベルの難易度を持つインスタンスを生成するアルゴリズムが含まれており、LLM性能の厳密で体系的な評価を可能にする。 第2に、LLM計画の強化にICL(In-context Learning)を用いることについて検討し、文脈長の増大と計画性能の向上の直接的な関係について検討する。 第3に、最適計画パスに対する微調整LDMの正の効果と、モデル駆動探索手法の導入の有効性を実証する。 最後に,提案手法の配布外シナリオにおける性能について検討し,新規で目に見えない計画課題に一般化する能力を評価する。

関連論文リスト

• Embodied AI in Mobile Robots: Coverage Path Planning with Large Language Models [6.860460230412773]
  移動体エージェントのためのLLM方式の経路計画フレームワークを提案する。 提案する多層アーキテクチャは,経路計画段階におけるLPMを用いて,移動エージェントの低レベルアクチュエータと統合する。 本実験により,LLMの2次元平面推論能力と完全カバレッジパス計画タスクを改善することができることが示された。
  論文  参考訳（メタデータ） (2024-07-02T12:38:46Z)
• Learning to Plan for Retrieval-Augmented Large Language Models from Knowledge Graphs [59.76268575344119]
  知識グラフ(KG)から得られた計画データを用いて,大規模言語モデル(LLM)計画能力を向上するための新しいフレームワークを提案する。 KGデータで微調整されたLLMは、計画能力を向上し、検索を含む複雑なQAタスクを処理するのがより適している。
  論文  参考訳（メタデータ） (2024-06-20T13:07:38Z)
• Unleashing the Potential of Large Language Models as Prompt Optimizers: An Analogical Analysis with Gradient-based Model Optimizers [108.72225067368592]
  本稿では,大規模言語モデル(LLM)に基づくプロンプトの設計について検討する。 モデルパラメータ学習における2つの重要な要素を同定する。 特に、勾配に基づく最適化から理論的な枠組みや学習手法を借用し、改良された戦略を設計する。
  論文  参考訳（メタデータ） (2024-02-27T15:05:32Z)
• What's the Plan? Evaluating and Developing Planning-Aware Techniques for Language Models [7.216683826556268]
  大きな言語モデル(LLM)は、計画機能を必要とするアプリケーションにますます使われています。 我々は,新しいハイブリッド・メソドであるSimPlanを紹介し,その性能を新たな挑戦的な設定で評価する。
  論文  参考訳（メタデータ） (2024-02-18T07:42:49Z)
• Understanding the planning of LLM agents: A survey [98.82513390811148]
  本調査では, LLMをベースとしたエージェント計画の体系的考察を行い, 計画能力の向上を目的とした最近の成果について報告する。 各方向について総合的な分析を行い、研究分野におけるさらなる課題について論じる。
  論文  参考訳（メタデータ） (2024-02-05T04:25:24Z)
• LLM-Assist: Enhancing Closed-Loop Planning with Language-Based Reasoning [65.86754998249224]
  従来のルールベースプランナとLCMベースのプランナを併用した,新しいハイブリッドプランナを開発した。 当社のアプローチでは,既存のプランナが苦労する複雑なシナリオをナビゲートし,合理的なアウトプットを生成すると同時に,ルールベースのアプローチと連携して作業する。
  論文  参考訳（メタデータ） (2023-12-30T02:53:45Z)
• LLM-SAP: Large Language Models Situational Awareness Based Planning [0.0]
  我々は、潜在的なリスクを予測し、積極的に軽減する方法論を開発するために、マルチエージェント推論フレームワークを使用します。 提案手法は,人間中心のインタラクションの複雑さを計画プロセスに組み込むことによって,従来のオートマトン理論から分岐する。
  論文  参考訳（メタデータ） (2023-12-26T17:19:09Z)
• ISR-LLM: Iterative Self-Refined Large Language Model for Long-Horizon Sequential Task Planning [7.701407633867452]
  大規模言語モデル(LLM)は、タスクに依存しないプランナとして一般化性を高める可能性を提供する。 ISR-LLMは,反復的な自己複製プロセスを通じてLCMに基づく計画を改善する新しいフレームワークである。 ISR-LLM は現状の LLM ベースのプランナに比べてタスク達成率を大幅に向上できることを示す。
  論文  参考訳（メタデータ） (2023-08-26T01:31:35Z)
• Understanding the Capabilities of Large Language Models for Automated Planning [24.37599752610625]
  この研究は、複雑な計画問題の解決におけるLLMの能力に光を当てようとしている。 この文脈で LLM を使用するための最も効果的なアプローチに関する洞察を提供する。
  論文  参考訳（メタデータ） (2023-05-25T15:21:09Z)
• Divide-and-Conquer Monte Carlo Tree Search For Goal-Directed Planning [78.65083326918351]
  暗黙的な逐次計画の仮定に代わるものを検討する。 本稿では,最適計画の近似を行うため,Divide-and-Conquer Monte Carlo Tree Search (DC-MCTS)を提案する。 計画順序に対するこのアルゴリズム的柔軟性は,グリッドワールドにおけるナビゲーションタスクの改善に繋がることを示す。
  論文  参考訳（メタデータ） (2020-04-23T18:08:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。