論文の概要: Large Language Models Can Solve Real-World Planning Rigorously with Formal Verification Tools
- arxiv url: http://arxiv.org/abs/2404.11891v2
- Date: Tue, 15 Oct 2024 23:18:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-17 13:39:37.336819
- Title: Large Language Models Can Solve Real-World Planning Rigorously with Formal Verification Tools
- Title(参考訳): 大規模言語モデルでは,形式検証ツールで実世界の計画を厳格に解決できる
- Authors: Yilun Hao, Yongchao Chen, Yang Zhang, Chuchu Fan,
- Abstract要約: 大規模言語モデル(LLM)は、複雑なマルチ制約計画問題に対して、直接的に正しい計画を生成するのに苦慮している。
制約付き満足度問題として複雑なマルチ制約計画問題を定式化し,解決する LLM ベースの計画フレームワークを提案する。
我々のフレームワークは、2つのデータセットから、平均81.6%と91.7%の満足できないクエリを修正および解決できることを示します。
- 参考スコア(独自算出の注目度): 12.875270710153021
- License:
- Abstract: Despite their recent advancements, Large Language Models (LLMs) still struggle to directly generate correct plans for complex multi-constraint planning problems, even with self-verification and self-critique. For example, a U.S. domestic travel planning benchmark TravelPlanner was proposed in Xie et al. (2024), where the best LLM OpenAI o1-preview can only find travel plans that satisfy user requirements with a 10% success rate given all needed information. In this work, we tackle this difficult problem by proposing an LLM-based planning framework that formalizes and solves complex multi-constraint planning problems as constrained satisfiability problems, which are further consumed by sound and complete satisfiability solvers. We start with TravelPlanner as the primary use case and achieve a success rate of 93.9%. We demonstrate our framework's robustness by showing its effectiveness in diverse paraphrased prompts. More importantly, our framework has strong zero-shot generalizability: It can successfully handle unseen constraints in a completely unseen international travel dataset we created, and it can even generalize well to new domains such as routing and task allocation problems in a zero-shot manner. Moreover, when user input queries are infeasible, our framework can identify the unsatisfiable core, provide failure reasons, and offers personalized modification suggestions to users according to diverse human preferences. We show that our framework can modify and solve for an average of 81.6% and 91.7% unsatisfiable queries from two datasets and prove with ablations that all key components of our framework are effective and necessary.
- Abstract(参考訳): 最近の進歩にもかかわらず、Large Language Models (LLMs) は、自己検証や自己批判でさえも、複雑なマルチ制約計画問題の正しい計画を生成するのに苦慮している。
例えば、米国国内旅行計画ベンチマークTravelPlannerがXie et al (2024)で提案され、最高のLLM OpenAI o1-previewは、すべての必要な情報から10%の成功率でユーザー要求を満たす旅行計画を見つけることができる。
本研究では,LLMをベースとした複雑な多制約計画問題の定式化と解決を,音と完全満足度問題によってさらに消費される制約付き満足度問題として提案することで,この問題に対処する。
主要なユースケースはTravelPlannerから始まり、93.9%の成功率を達成した。
多様な言い換えのプロンプトでその有効性を示すことによって,フレームワークの堅牢性を実証する。
さらに重要なことは、当社のフレームワークは、ゼロショットの強い一般化性を持っています。これは、私たちが作成した完全に見えない国際旅行データセットにおいて、目に見えない制約をうまく処理することができ、ゼロショットの方法でルーティングやタスク割り当て問題といった新しいドメインにうまく一般化することができます。
さらに、ユーザ入力クエリが実現不可能な場合、我々のフレームワークは、不満足なコアを識別し、失敗理由を提供し、多様な人間の好みに応じてユーザーに対してパーソナライズされた修正提案を提供する。
我々のフレームワークは、2つのデータセットからの満足できないクエリを平均81.6%と91.7%で修正し、解決できることを示し、我々のフレームワークのすべての主要なコンポーネントが効果的で必要であることを示す。
関連論文リスト
- Learning to Plan for Retrieval-Augmented Large Language Models from Knowledge Graphs [59.76268575344119]
知識グラフ(KG)から得られた計画データを用いて,大規模言語モデル(LLM)計画能力を向上するための新しいフレームワークを提案する。
KGデータで微調整されたLLMは、計画能力を向上し、検索を含む複雑なQAタスクを処理するのがより適している。
論文 参考訳(メタデータ) (2024-06-20T13:07:38Z) - TRIP-PAL: Travel Planning with Guarantees by Combining Large Language Models and Automated Planners [6.378824981027464]
伝統的なアプローチは、与えられた形式言語における問題定式化に依存している。
最近のLarge Language Model (LLM) ベースのアプローチは、言語を使用してユーザリクエストから計画を直接出力する。
LLMと自動プランナの強度を組み合わせたハイブリッド手法TRIP-PALを提案する。
論文 参考訳(メタデータ) (2024-06-14T17:31:16Z) - NATURAL PLAN: Benchmarking LLMs on Natural Language Planning [109.73382347588417]
本稿では,3つのタスク – トリップ計画,ミーティング計画,カレンダースケジューリング – を含む,自然言語の現実的な計画ベンチマークであるNATURAL PLANを紹介する。
我々は、Google Flights、Google Maps、Google Calendarなどのツールからの出力を、モデルに対するコンテキストとして提供することによって、タスクに関する完全な情報を備えたLCMの計画能力に焦点をあてる。
論文 参考訳(メタデータ) (2024-06-06T21:27:35Z) - Towards Efficient LLM Grounding for Embodied Multi-Agent Collaboration [70.09561665520043]
本稿では,多エージェント協調のための新しいフレームワークを提案する。これは,効率的な自己調整のための強化アドバンテージフィードバック(Reinforced Advantage feedback, ReAd)を導入する。
強化学習における重み付き回帰を多エージェントシステムに拡張して理論的解析を行う。
Over-AIと難解なRoCoBenchの実験は、ReAdが成功率のベースラインを超え、エージェントの相互作用ステップを著しく減少させることを示している。
論文 参考訳(メタデータ) (2024-05-23T08:33:19Z) - TravelPlanner: A Benchmark for Real-World Planning with Language Agents [63.199454024966506]
我々は,旅行計画に焦点を当てた新しい計画ベンチマークであるTravelPlannerを提案する。
豊富なサンドボックス環境、400万近いデータレコードにアクセスするためのさまざまなツール、計画意図とリファレンスプランを慎重にキュレートした1,225のツールを提供する。
包括的評価では、現在の言語エージェントがそのような複雑な計画タスクを処理できないことが示されており、GPT-4でさえ0.6%の成功率しか達成できない。
論文 参考訳(メタデータ) (2024-02-02T18:39:51Z) - LLM-Assist: Enhancing Closed-Loop Planning with Language-Based Reasoning [65.86754998249224]
従来のルールベースプランナとLCMベースのプランナを併用した,新しいハイブリッドプランナを開発した。
当社のアプローチでは,既存のプランナが苦労する複雑なシナリオをナビゲートし,合理的なアウトプットを生成すると同時に,ルールベースのアプローチと連携して作業する。
論文 参考訳(メタデータ) (2023-12-30T02:53:45Z) - Simultaneous Machine Translation with Large Language Models [51.470478122113356]
我々は,SimulMTタスクに大規模言語モデルを適用する可能性を検討する。
MUST-Cデータセットと異なる9言語でtextttLlama2-7b-chatモデルを用いて実験を行った。
その結果,LLM は BLEU と LAAL の指標で専用MT モデルよりも優れていた。
論文 参考訳(メタデータ) (2023-09-13T04:06:47Z) - Understanding the Capabilities of Large Language Models for Automated
Planning [24.37599752610625]
この研究は、複雑な計画問題の解決におけるLLMの能力に光を当てようとしている。
この文脈で LLM を使用するための最も効果的なアプローチに関する洞察を提供する。
論文 参考訳(メタデータ) (2023-05-25T15:21:09Z) - AutoPlan: Automatic Planning of Interactive Decision-Making Tasks With
Large Language Models [11.895111124804503]
AutoPlanは、LCMベースのエージェントをガイドして、対話的な意思決定タスクを実現するアプローチである。
実験の結果,AutoPlanはベースラインと同等の成功率を達成した。
論文 参考訳(メタデータ) (2023-05-24T11:52:23Z) - Plansformer: Generating Symbolic Plans using Transformers [24.375997526106246]
大規模言語モデル(LLM)は、自然言語処理(NLP)分野を著しく進歩させ、活発な研究対象となっている。
プランフォーマーは計画上の問題に微調整され、知識工学の努力を減らし、正確さと長さの点で良好な行動で計画を生成することができる。
Plansformerの1つの構成では、97%の有効なプランが達成されます。
論文 参考訳(メタデータ) (2022-12-16T19:06:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。