論文の概要: NATURAL PLAN: Benchmarking LLMs on Natural Language Planning

• arxiv url: http://arxiv.org/abs/2406.04520v1
• Date: Thu, 6 Jun 2024 21:27:35 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-10 17:57:38.795969
• Title: NATURAL PLAN: Benchmarking LLMs on Natural Language Planning
• Title（参考訳）: 自然言語プランニングにおけるLLMのベンチマーク
• Authors: Huaixiu Steven Zheng, Swaroop Mishra, Hugh Zhang, Xinyun Chen, Minmin Chen, Azade Nova, Le Hou, Heng-Tze Cheng, Quoc V. Le, Ed H. Chi, Denny Zhou,
• Abstract要約: 本稿では,3つのタスク – トリップ計画,ミーティング計画,カレンダースケジューリング – を含む,自然言語の現実的な計画ベンチマークであるNATURAL PLANを紹介する。 我々は、Google Flights、Google Maps、Google Calendarなどのツールからの出力を、モデルに対するコンテキストとして提供することによって、タスクに関する完全な情報を備えたLCMの計画能力に焦点をあてる。
• 参考スコア（独自算出の注目度）: 109.73382347588417
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce NATURAL PLAN, a realistic planning benchmark in natural language containing 3 key tasks: Trip Planning, Meeting Planning, and Calendar Scheduling. We focus our evaluation on the planning capabilities of LLMs with full information on the task, by providing outputs from tools such as Google Flights, Google Maps, and Google Calendar as contexts to the models. This eliminates the need for a tool-use environment for evaluating LLMs on Planning. We observe that NATURAL PLAN is a challenging benchmark for state of the art models. For example, in Trip Planning, GPT-4 and Gemini 1.5 Pro could only achieve 31.1% and 34.8% solve rate respectively. We find that model performance drops drastically as the complexity of the problem increases: all models perform below 5% when there are 10 cities, highlighting a significant gap in planning in natural language for SoTA LLMs. We also conduct extensive ablation studies on NATURAL PLAN to further shed light on the (in)effectiveness of approaches such as self-correction, few-shot generalization, and in-context planning with long-contexts on improving LLM planning.
• Abstract（参考訳）: 本稿では,3つのタスク – トリップ計画,ミーティング計画,カレンダースケジューリング – を含む,自然言語の現実的な計画ベンチマークであるNATURAL PLANを紹介する。 我々は、Google Flights、Google Maps、Google Calendarなどのツールからの出力を、モデルに対するコンテキストとして提供することによって、タスクに関する完全な情報を備えたLCMの計画能力に焦点をあてる。 これにより、計画上のLLMを評価するためのツール使用環境が不要になる。 NATURAL PLANは最先端モデルの挑戦的なベンチマークである。 例えば、Trip Planningでは、GPT-4とGemini 1.5 Proはそれぞれ31.1%と34.8%しか解けなかった。 問題の複雑さが増大するにつれて、モデルの性能は劇的に低下し、すべてのモデルが10の都市で5%以下で実行され、SoTA LLMの自然言語における計画における大きなギャップが浮かび上がっています。 また、NATURAL PLANについて広範囲にわたるアブレーション研究を行い、自己補正、少数ショットの一般化、LLM計画の改善のための長期コンテキストによるインコンテクスト計画といったアプローチの有効性をさらに強調した。

関連論文リスト

• Smart Language Agents in Real-World Planning [0.0]
  大規模言語モデル(LLM)の旅行計画能力の向上を目指す。 LLM自動プロンプトと「Human-in-the-loop」を組み合わせた半自動プロンプト生成フレームワークを提案する。 以上の結果から,LLM自動プロンプトには制限があり,"Human-in-the-loop"は1回のイテレーションで139%の大幅な性能向上を実現している。
  論文  参考訳（メタデータ） (2024-07-29T03:00:30Z)
• Learning to Plan for Retrieval-Augmented Large Language Models from Knowledge Graphs [59.76268575344119]
  知識グラフ(KG)から得られた計画データを用いて,大規模言語モデル(LLM)計画能力を向上するための新しいフレームワークを提案する。 KGデータで微調整されたLLMは、計画能力を向上し、検索を含む複雑なQAタスクを処理するのがより適している。
  論文  参考訳（メタデータ） (2024-06-20T13:07:38Z)
• Exploring and Benchmarking the Planning Capabilities of Large Language Models [57.23454975238014]
  この研究は、大規模言語モデル(LLM)の計画能力を改善するための基礎を築いた。 我々は、古典的な計画ベンチマークと自然言語シナリオの両方を含む包括的なベンチマークスイートを構築した。 本研究は,LLM計画の強化を目的としたマルチショットインコンテキスト学習について検討し,文脈長の増大と計画性能の向上の関係について検討する。
  論文  参考訳（メタデータ） (2024-06-18T22:57:06Z)
• Robust Planning with LLM-Modulo Framework: Case Study in Travel Planning [19.79128776490271]
  本稿では,大規模言語モデルの多種多様な計画・推論活動への統合を促進する枠組みを提案する。 我々は,OSU NLPグループによる旅行計画ベンチマークを用いて,有効な旅程作成におけるLLMの性能評価を行う。 LLM-Modulo framework for TravelPlanning Domainの運用により、GPT4-Turboの4.6倍、GPT3.5-Turboのような古いモデルでは0%から5%のベースライン性能が向上した。
  論文  参考訳（メタデータ） (2024-05-31T05:23:35Z)
• AutoPlanBench: Automatically generating benchmarks for LLM planners from PDDL [52.005042190810116]
  PDDLで書かれたベンチマークをテキスト記述に変換する新しい手法であるAutoPlanBenchを提案する。 優れたLCMプランナーは計画タスクをうまくこなすが、他のプランナーは現在の手法には及ばない。
  論文  参考訳（メタデータ） (2023-11-16T11:55:27Z)
• Tree-Planner: Efficient Close-loop Task Planning with Large Language Models [63.06270302774049]
  Tree-Plannerは、大きな言語モデルでタスクプランニングを3つの異なるフェーズに再構成する。 Tree-Plannerは高い効率を維持しながら最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2023-10-12T17:59:50Z)
• AdaPlanner: Adaptive Planning from Feedback with Language Models [56.367020818139665]
  大規模言語モデル(LLM)は、最近、シーケンシャルな意思決定タスクの自律的エージェントとして機能する可能性を実証している。 本研究では,LLMエージェントが環境フィードバックに応じて自己生成計画を適応的に改善することのできるクローズドループアプローチであるAdaPlannerを提案する。 幻覚を緩和するために,様々なタスク,環境,エージェント機能にまたがる計画生成を容易にするコードスタイルのLCMプロンプト構造を開発した。
  論文  参考訳（メタデータ） (2023-05-26T05:52:27Z)
• Understanding the Capabilities of Large Language Models for Automated Planning [24.37599752610625]
  この研究は、複雑な計画問題の解決におけるLLMの能力に光を当てようとしている。 この文脈で LLM を使用するための最も効果的なアプローチに関する洞察を提供する。
  論文  参考訳（メタデータ） (2023-05-25T15:21:09Z)
• LLM-Planner: Few-Shot Grounded Planning for Embodied Agents with Large Language Models [27.318186938382233]
  本研究では,大規模言語モデル(LLM)を具体化エージェントのプランナーとして用いることに焦点を当てた。 そこで本研究では,大規模言語モデルのパワーを活かして少数ショットプランニングを行う新しい手法 LLM-Planner を提案する。
  論文  参考訳（メタデータ） (2022-12-08T05:46:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。