Fugu-MT 論文翻訳(概要): Large Language Models Can Plan Your Travels Rigorously with Formal Verification Tools

論文の概要: Large Language Models Can Plan Your Travels Rigorously with Formal Verification Tools

arxiv url: http://arxiv.org/abs/2404.11891v1
Date: Thu, 18 Apr 2024 04:36:37 GMT
ステータス: 処理完了
システム内更新日: 2024-04-19 13:11:02.788512
Title: Large Language Models Can Plan Your Travels Rigorously with Formal Verification Tools
Title（参考訳）: 大規模言語モデルでは、形式検証ツールで旅行を厳格に計画できる
Authors: Yilun Hao, Yongchao Chen, Yang Zhang, Chuchu Fan,
Abstract要約: 大規模言語モデル(LLM)は、複雑な最適化問題を正確に解くことができない。本研究では, LLM を満足度変調理論 (SMT) 問題として, 旅行計画問題の定式化と解決を可能にする枠組みを提案する。我々のフレームワークは、データセットの平均成功率は78.6%、TravelPlannerは85.0%の有効なプランを生成することができる。
参考スコア（独自算出の注目度）: 12.875270710153021
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The recent advancements of Large Language Models (LLMs), with their abundant world knowledge and capabilities of tool-using and reasoning, fostered many LLM planning algorithms. However, LLMs have not shown to be able to accurately solve complex combinatorial optimization problems. In Xie et al. (2024), the authors proposed TravelPlanner, a U.S. domestic travel planning benchmark, and showed that LLMs themselves cannot make travel plans that satisfy user requirements with a best success rate of 0.6%. In this work, we propose a framework that enables LLMs to formally formulate and solve the travel planning problem as a satisfiability modulo theory (SMT) problem and use SMT solvers interactively and automatically solve the combinatorial search problem. The SMT solvers guarantee the satisfiable of input constraints and the LLMs can enable a language-based interaction with our framework. When the input constraints cannot be satisfiable, our LLM-based framework will interactively offer suggestions to users to modify their travel requirements via automatic reasoning using the SMT solvers. We evaluate our framework with TravelPlanner and achieve a success rate of 97%. We also create a separate dataset that contain international travel benchmarks and use both dataset to evaluate the effectiveness of our interactive planning framework when the initial user queries cannot be satisfied. Our framework could generate valid plans with an average success rate of 78.6% for our dataset and 85.0% for TravelPlanner according to diverse humans preferences.
Abstract（参考訳）: 近年のLarge Language Models (LLM) の進歩は、豊富な世界知識とツールの使用と推論能力によって、多くのLLM計画アルゴリズムを育成した。しかし、LLMは複雑な組合せ最適化問題を正確に解くことができない。 Xie et al (2024) において、著者らは米国国内旅行計画ベンチマークであるTravelPlannerを提案し、LSM自体がユーザー要求を満たす旅行計画を作成することができないことを示した。本研究では,LSMをSMT問題として形式的に定式化し,旅行計画問題の解決を可能にするフレームワークを提案し,SMTソルバを対話的に使用し,組合せ探索問題を自動解決する。 SMTソルバは入力制約を満たすことを保証し、LLMは我々のフレームワークとの言語ベースの対話を可能にする。入力制約が満足できない場合、私たちのLLMベースのフレームワークは、SMTソルバを用いた自動推論により、ユーザに対して、旅行要求を変更するための提案を対話的に提供します。当社のフレームワークをTravelPlannerで評価し,97%の成功率を達成した。また、国際旅行ベンチマークを含む別のデータセットを作成し、両方のデータセットを使用して、初期ユーザクエリが満足できない場合に、インタラクティブな計画フレームワークの有効性を評価する。我々のフレームワークは、データセットの平均成功率は78.6%、TravelPlannerは85.0%の有効なプランを生成することができる。

関連論文リスト

Optimizing Large Language Models for Dynamic Constraints through Human-in-the-Loop Discriminators [0.0]
大規模言語モデル(LLM)は、最近、様々な現実世界のアプリケーションにまたがる印象的な機能を実証した。本稿では,LLMがシステムインターフェースと相互作用し,制約概念を要約し,性能指標を継続的に最適化するフレキシブルなフレームワークを提案する。我々のフレームワークは、人間の識別器で7.78%のパスレート、LSMベースの識別器で6.11%のパスレートを達成した。
論文参考訳（メタデータ） (2024-10-19T17:27:38Z)
Planning Anything with Rigor: General-Purpose Zero-Shot Planning with LLM-based Formalized Programming [13.246017517159043]
大規模言語モデル(LLM)は近年,計画問題の解決に強い可能性を示している。 LLpreview は LLM を利用して,計画上の問題から重要な情報を抽出し,それらをスクラッチから最適化するフレームワークである。 GPToとClaude 3.5 Sonnetの9つのタスクに対して,LLpreviewが平均83.7%,86.8%の最適率で達成できることを実証した。
論文参考訳（メタデータ） (2024-10-15T23:20:54Z)
On The Planning Abilities of OpenAI's o1 Models: Feasibility, Optimality, and Generalizability [59.72892401927283]
さまざまなベンチマークタスクでOpenAIのo1モデルの計画能力を評価する。その結果,o1-preview は GPT-4 よりもタスク制約に順応していることがわかった。
論文参考訳（メタデータ） (2024-09-30T03:58:43Z)
Unlocking Reasoning Potential in Large Langauge Models by Scaling Code-form Planning [94.76546523689113]
CodePlanは、テキストコード形式の計画を生成し、追跡するフレームワークで、高いレベルの構造化された推論プロセスの概要を擬似コードで示します。 CodePlanは、洗練された推論タスク固有のリッチなセマンティクスと制御フローを効果的にキャプチャする。反応を直接生成するのに比べて25.1%の相対的な改善が達成されている。
論文参考訳（メタデータ） (2024-09-19T04:13:58Z)
Multi-agent Planning using Visual Language Models [2.2369578015657954]
大規模言語モデル(LLM)とビジュアル言語モデル(VLM)は、様々なドメインやタスクにわたるパフォーマンスとアプリケーションの改善により、関心を集めている。 LLMとVLMは、特に問題領域の深い理解が必要な場合、誤った結果をもたらす。本稿では,特定のデータ構造を入力として必要とせずに動作可能なマルチエージェント型タスクプランニングアーキテクチャを提案する。
論文参考訳（メタデータ） (2024-08-10T08:10:17Z)
TRIP-PAL: Travel Planning with Guarantees by Combining Large Language Models and Automated Planners [6.378824981027464]
伝統的なアプローチは、与えられた形式言語における問題定式化に依存している。最近のLarge Language Model (LLM) ベースのアプローチは、言語を使用してユーザリクエストから計画を直接出力する。 LLMと自動プランナの強度を組み合わせたハイブリッド手法TRIP-PALを提案する。
論文参考訳（メタデータ） (2024-06-14T17:31:16Z)
Scalable Language Model with Generalized Continual Learning [58.700439919096155]
The Joint Adaptive Re-ization (JARe) is integrated with Dynamic Task-related Knowledge Retrieval (DTKR) to enable adapt adjust of language model based on specific downstream task。提案手法は,様々なバックボーンやベンチマーク上での最先端性能を実証し,最小限の忘れを伴い,フルセットおよび少数ショットのシナリオにおいて効果的な連続学習を実現する。
論文参考訳（メタデータ） (2024-04-11T04:22:15Z)
TravelPlanner: A Benchmark for Real-World Planning with Language Agents [63.199454024966506]
我々は,旅行計画に焦点を当てた新しい計画ベンチマークであるTravelPlannerを提案する。豊富なサンドボックス環境、400万近いデータレコードにアクセスするためのさまざまなツール、計画意図とリファレンスプランを慎重にキュレートした1,225のツールを提供する。包括的評価では、現在の言語エージェントがそのような複雑な計画タスクを処理できないことが示されており、GPT-4でさえ0.6%の成功率しか達成できない。
論文参考訳（メタデータ） (2024-02-02T18:39:51Z)
Guiding Language Model Reasoning with Planning Tokens [122.43639723387516]
大規模言語モデル(LLM)は、最近、複雑な推論タスクを実行する能力に対して、かなりの関心を集めている。より構造的なチェーン・オブ・シークレット・ステップの創出を促す階層的な生成手法を提案する。提案手法では、トレーニング可能なパラメータ(0.001%)の無視可能な増加が必要であり、完全な微調整か、よりパラメータ効率の良いスキームで適用することができる。
論文参考訳（メタデータ） (2023-10-09T13:29:37Z)
AdaPlanner: Adaptive Planning from Feedback with Language Models [56.367020818139665]
大規模言語モデル(LLM)は、最近、シーケンシャルな意思決定タスクの自律的エージェントとして機能する可能性を実証している。本研究では,LLMエージェントが環境フィードバックに応じて自己生成計画を適応的に改善することのできるクローズドループアプローチであるAdaPlannerを提案する。幻覚を緩和するために,様々なタスク,環境,エージェント機能にまたがる計画生成を容易にするコードスタイルのLCMプロンプト構造を開発した。
論文参考訳（メタデータ） (2023-05-26T05:52:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。