Fugu-MT 論文翻訳(概要): Large Language Models Can Solve Real-World Planning Rigorously with Formal Verification Tools

論文の概要: Large Language Models Can Solve Real-World Planning Rigorously with Formal Verification Tools

arxiv url: http://arxiv.org/abs/2404.11891v3
Date: Wed, 29 Jan 2025 17:24:03 GMT
ステータス: 翻訳完了
システム内更新日: 2025-01-30 15:52:19.315948
Title: Large Language Models Can Solve Real-World Planning Rigorously with Formal Verification Tools
Title（参考訳）: 大規模言語モデルでは,形式検証ツールで実世界の計画を厳格に解決できる
Authors: Yilun Hao, Yongchao Chen, Yang Zhang, Chuchu Fan,
Abstract要約: 大規模言語モデル(LLM)は、複雑なマルチ制約計画問題に対して、直接的に正しい計画を生成するのに苦労する。複雑な多制約計画問題を形式化し,解決する LLM ベースの計画フレームワークを提案する。我々のフレームワークは93.9%の成功率を達成し、多様なパラフレーズのプロンプトで有効である。
参考スコア（独自算出の注目度）: 12.875270710153021
License:
Abstract: Large Language Models (LLMs) struggle to directly generate correct plans for complex multi-constraint planning problems, even with self-verification and self-critique. For example, a U.S. domestic travel planning benchmark TravelPlanner was proposed in Xie et al. (2024), where the best LLM OpenAI o1-preview can only find viable travel plans with a 10% success rate given all needed information. In this work, we tackle this by proposing an LLM-based planning framework that formalizes and solves complex multi-constraint planning problems as constrained satisfiability problems, which are further consumed by sound and complete satisfiability solvers. We start with TravelPlanner as the primary use case and show that our framework achieves a success rate of 93.9% and is effective with diverse paraphrased prompts. More importantly, our framework has strong zero-shot generalizability, successfully handling unseen constraints in our newly created unseen international travel dataset and generalizing well to new fundamentally different domains. Moreover, when user input queries are infeasible, our framework can identify the unsatisfiable core, provide failure reasons, and offers personalized modification suggestions. We show that our framework can modify and solve for an average of 81.6% and 91.7% unsatisfiable queries from two datasets and prove with ablations that all key components of our framework are effective and necessary. Project page: https://sites.google.com/view/llm-rwplanning.
Abstract（参考訳）: 大規模言語モデル(LLM)は、自己検証や自己批判でさえも、複雑なマルチ制約計画問題の正しい計画を生成するのに苦労する。例えば、米国国内旅行計画ベンチマークTravelPlannerがXie et al (2024)で提案され、最高のLLM OpenAI o1-previewは必要なすべての情報から10%の成功率で実行可能な旅行計画しか見つからない。本研究では,LLMをベースとした複雑な多制約計画問題の定式化と解決を,音と完全満足度問題によってさらに消費される制約付き満足度問題として提案することで,この問題に対処する。主要なユースケースはTravelPlannerから始まり、我々のフレームワークが93.9%の成功率に達し、多様なパラフレーズのプロンプトで有効であることを示す。さらに重要なことは、我々のフレームワークはゼロショットの強い一般化性を持ち、新しく作成された国際旅行データセットにおける目に見えない制約をうまく処理し、新しい基本的な異なるドメインにうまく一般化する。さらに、ユーザ入力クエリが実現不可能な場合、我々のフレームワークは、満足できないコアを識別し、失敗理由を提供し、パーソナライズされた修正提案を提供する。我々のフレームワークは、2つのデータセットからの満足できないクエリを平均81.6%と91.7%で修正し、解決できることを示し、我々のフレームワークのすべての主要なコンポーネントが効果的で必要であることを示す。プロジェクトページ: https://sites.google.com/view/llm-rwplanning

関連論文リスト

ChinaTravel: A Real-World Benchmark for Language Agents in Chinese Travel Planning [50.7898120693695]
ChinaTravelは、中国の旅行計画シナリオに特化して設計されたベンチマークである。質問紙から旅行要求を収集し,構成的に一般化可能なドメイン特化言語を提案する。実証研究により、旅行計画における神経象徴薬の可能性を明らかにし、27.9%の制約満足度を達成した。我々は、オープン言語推論や未確認概念構成など、現実世界の旅行計画展開における重要な課題を特定します。
論文参考訳（メタデータ） (2024-12-18T10:10:12Z)
EgoPlan-Bench2: A Benchmark for Multimodal Large Language Model Planning in Real-World Scenarios [53.26658545922884]
EgoPlan-Bench2は,MLLMの計画能力を評価するためのベンチマークである。我々は,21の競争的MLLMを評価し,その限界を詳細に分析した結果,実世界の計画において大きな課題に直面していることが明らかとなった。 EgoPlan-Bench2におけるGPT-4Vの10.24倍の性能向上を図る。
論文参考訳（メタデータ） (2024-12-05T18:57:23Z)
Planning Anything with Rigor: General-Purpose Zero-Shot Planning with LLM-based Formalized Programming [13.246017517159043]
大規模言語モデル(LLM)は近年,計画問題の解決に強い可能性を示している。 LLpreview は LLM を利用して,計画上の問題から重要な情報を抽出し,それらをスクラッチから最適化するフレームワークである。 GPToとClaude 3.5 Sonnetの9つのタスクに対して,LLが平均83.7%,86.8%の最適速度で達成できることを実証した。
論文参考訳（メタデータ） (2024-10-15T23:20:54Z)
On The Planning Abilities of OpenAI's o1 Models: Feasibility, Optimality, and Generalizability [59.72892401927283]
さまざまなベンチマークタスクでOpenAIのo1モデルの計画能力を評価する。その結果,o1-preview は GPT-4 よりもタスク制約に順応していることがわかった。
論文参考訳（メタデータ） (2024-09-30T03:58:43Z)
Unlocking Large Language Model's Planning Capabilities with Maximum Diversity Fine-tuning [10.704716790096498]
大規模言語モデル(LLM)は、技術やシステム設計の推進によって達成された、目覚ましいタスク解決能力を示している。本稿では,LLMの計画能力に及ぼす微調整の影響について検討する。計画領域におけるファインチューニングのサンプル効率を向上させるために,MDFT(Maximum Diversity Fine-Tuning)戦略を提案する。
論文参考訳（メタデータ） (2024-06-15T03:06:14Z)
TRIP-PAL: Travel Planning with Guarantees by Combining Large Language Models and Automated Planners [6.378824981027464]
伝統的なアプローチは、与えられた形式言語における問題定式化に依存している。最近のLarge Language Model (LLM) ベースのアプローチは、言語を使用してユーザリクエストから計画を直接出力する。 LLMと自動プランナの強度を組み合わせたハイブリッド手法TRIP-PALを提案する。
論文参考訳（メタデータ） (2024-06-14T17:31:16Z)
TravelPlanner: A Benchmark for Real-World Planning with Language Agents [63.199454024966506]
我々は,旅行計画に焦点を当てた新しい計画ベンチマークであるTravelPlannerを提案する。豊富なサンドボックス環境、400万近いデータレコードにアクセスするためのさまざまなツール、計画意図とリファレンスプランを慎重にキュレートした1,225のツールを提供する。包括的評価では、現在の言語エージェントがそのような複雑な計画タスクを処理できないことが示されており、GPT-4でさえ0.6%の成功率しか達成できない。
論文参考訳（メタデータ） (2024-02-02T18:39:51Z)
LLM-Assist: Enhancing Closed-Loop Planning with Language-Based Reasoning [65.86754998249224]
従来のルールベースプランナとLCMベースのプランナを併用した,新しいハイブリッドプランナを開発した。当社のアプローチでは,既存のプランナが苦労する複雑なシナリオをナビゲートし,合理的なアウトプットを生成すると同時に,ルールベースのアプローチと連携して作業する。
論文参考訳（メタデータ） (2023-12-30T02:53:45Z)
AdaPlanner: Adaptive Planning from Feedback with Language Models [56.367020818139665]
大規模言語モデル(LLM)は、最近、シーケンシャルな意思決定タスクの自律的エージェントとして機能する可能性を実証している。本研究では,LLMエージェントが環境フィードバックに応じて自己生成計画を適応的に改善することのできるクローズドループアプローチであるAdaPlannerを提案する。幻覚を緩和するために,様々なタスク,環境,エージェント機能にまたがる計画生成を容易にするコードスタイルのLCMプロンプト構造を開発した。
論文参考訳（メタデータ） (2023-05-26T05:52:27Z)
A Framework for Neurosymbolic Robot Action Planning using Large Language Models [3.0501524254444767]
本稿では,象徴的タスク計画と機械学習アプローチのギャップを埋めることを目的としたフレームワークを提案する。大規模言語モデル(LLM)を計画ドメイン定義言語(PDDL)と互換性のあるニューロシンボリックタスクプランナーに訓練する根拠選択されたドメインにおける予備的な結果から, (i) テストデータセットの95.5%の問題を1,000個のサンプルで解決し, (ii) 従来のシンボルプランナーよりも最大13.5%短いプランを作成し, (iii) 計画の可利用性の平均待ち時間を61.4%まで削減する。
論文参考訳（メタデータ） (2023-03-01T11:54:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。