論文の概要: FLAP: Flow Adhering Planning with Constrained Decoding in LLMs
- arxiv url: http://arxiv.org/abs/2403.05766v1
- Date: Sat, 9 Mar 2024 02:27:45 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-13 12:32:26.003305
- Title: FLAP: Flow Adhering Planning with Constrained Decoding in LLMs
- Title(参考訳): FLAP: LLMにおける制約付きデコーディングによるフローアヒーリング計画
- Authors: Shamik Roy, Sailik Sengupta, Daniele Bonadiman, Saab Mansour, Arshit
Gupta
- Abstract要約: タスク指向対話(TOD)におけるエージェントにとって,計画は重要なタスクである
タスク指向対話(TOD)におけるエージェントにとって,計画は重要なタスクである
- 参考スコア(独自算出の注目度): 7.518650142159299
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Planning is a crucial task for agents in task oriented dialogs (TODs). Human
agents typically resolve user issues by following predefined workflows,
decomposing workflow steps into actionable items, and performing actions by
executing APIs in order; all of which require reasoning and planning. With the
recent advances in LLMs, there have been increasing attempts to use LLMs for
task planning and API usage. However, the faithfulness of the plans to
predefined workflows and API dependencies, is not guaranteed with LLMs because
of their bias towards pretraining data. Moreover, in real life, workflows are
custom-defined and prone to change, hence, quickly adapting agents to the
changes is desirable. In this paper, we study faithful planning in TODs to
resolve user intents by following predefined flows and preserving API
dependencies. We propose a constrained decoding algorithm based on lookahead
heuristic for faithful planning. Our algorithm alleviates the need for
finetuning LLMs using domain specific data, outperforms other decoding and
prompting-based baselines, and applying our algorithm on smaller LLMs (7B) we
achieve comparable performance to larger LLMs (30B-40B).
- Abstract(参考訳): プランニングはタスク指向ダイアログ(tod)のエージェントにとって重要なタスクである。
ヒューマンエージェントは通常、事前に定義されたワークフローに従い、ワークフローステップを実行可能なアイテムに分解し、APIを順番に実行するアクションを実行することで、ユーザの問題を解決します。
LLMの最近の進歩により、タスク計画やAPI利用にLLMを使用する試みが増えている。
しかしながら、事前定義されたワークフローとAPI依存関係に対する計画の忠実さは、事前トレーニングへのバイアスのため、LLMでは保証されていない。
さらに、現実では、ワークフローはカスタム定義され、変更する傾向があるため、変更にエージェントを迅速に適応することが望ましい。
本稿では,TODの忠実な計画について検討し,事前定義されたフローに従ってAPI依存を保ち,ユーザの意図を解消する。
忠実な計画のためのルックアヘッドヒューリスティックに基づく制約付き復号アルゴリズムを提案する。
提案アルゴリズムは,ドメイン固有データを用いたLLMの微調整の必要性を軽減し,他のデコードやプロンプトベースラインよりも優れ,より小さなLLM(7B)に適用することにより,より大きなLLM(30B-40B)に匹敵する性能を実現する。
関連論文リスト
- Sub-goal Distillation: A Method to Improve Small Language Agents [21.815417165548187]
大規模言語モデル(LLM)は対話型タスクにおけるエージェントとして大きな可能性を証明している。
数十億のパラメータを持つLLMの性能を、はるかに小さな言語モデルに転送する手法を提案する。
困難かつマルチタスクな対話型テキスト環境であるScienceWorldでは,基本動作のみに基づく標準的な模倣学習を16.7%超えている。
論文 参考訳(メタデータ) (2024-05-04T20:34:06Z) - LLM3:Large Language Model-based Task and Motion Planning with Motion Failure Reasoning [78.2390460278551]
従来のタスク・アンド・モーション・プランニング(TAMP)アプローチは、シンボル的タスク・プランニングと連続的なモーション・ジェネレーションを結びつける手作業によるインタフェースに依存している。
本稿では,ドメインに依存しないインターフェースを備えたLarge Language Model (LLM) ベースの TAMP フレームワーク LLM3 を提案する。
具体的には、事前学習したLLMの強力な推論と計画能力を活用して、シンボル的なアクションシーケンスを提案し、動作計画のための連続的なアクションパラメータを選択する。
論文 参考訳(メタデータ) (2024-03-18T08:03:47Z) - TIC: Translate-Infer-Compile for accurate 'text to plan' using LLMs and
logical intermediate representations [0.0]
本研究では,自然言語計画タスク要求の計画作成の問題について検討する。
本手法は, 自然言語タスク記述の解釈可能な中間表現を生成するためにのみ LLM を用いること, (b) 推論, (b) 論理推論器を用いて中間表現から追加の論理依存情報を導出すること, (c) 対象タスクPDDL をベースから生成すること, 推定情報から生成すること, (c) コンパイルすることからなる。
論文 参考訳(メタデータ) (2024-02-09T18:39:13Z) - AutoPlanBench: Automatically generating benchmarks for LLM planners from
PDDL [52.005042190810116]
PDDLで書かれたベンチマークをテキスト記述に変換する新しい手法であるAutoPlanBenchを提案する。
優れたLCMプランナーは計画タスクをうまくこなすが、他のプランナーは現在の手法には及ばない。
論文 参考訳(メタデータ) (2023-11-16T11:55:27Z) - ADaPT: As-Needed Decomposition and Planning with Language Models [131.063805299796]
As-Needed Decomposition and Planning for Complex Tasks (ADaPT)について紹介する。
ADaPTは、Large Language Modelsがそれらを実行できない場合、複雑なサブタスクを明示的に計画し、分解する。
以上の結果から,ADaPTは強いベースラインを確立した。
論文 参考訳(メタデータ) (2023-11-08T17:59:15Z) - LgTS: Dynamic Task Sampling using LLM-generated sub-goals for
Reinforcement Learning Agents [10.936460061405157]
LgTS (LLM-Guided Teacher-Student Learning) を提案する。
提案手法では,提案したサブゴールを達成するための事前訓練されたポリシーも必要としない。
論文 参考訳(メタデータ) (2023-10-14T00:07:03Z) - FederatedScope-LLM: A Comprehensive Package for Fine-tuning Large
Language Models in Federated Learning [70.38817963253034]
本稿では, ファインチューニング LLM のこれらの課題について論じ, 本パッケージ FS-LLM を主な貢献として紹介する。
我々は、FLシナリオにおける将来の拡張のために、包括的フェデレーションパラメータ効率の良い微調整アルゴリズムの実装と汎用プログラミングインタフェースを提供する。
本研究では, FS-LLM の有効性を検証し, FL 設定におけるパラメータ効率の高いパラメータ調整アルゴリズムを用いて, 高度な LLM のベンチマークを行う。
論文 参考訳(メタデータ) (2023-09-01T09:40:36Z) - Dynamic Planning with a LLM [15.430182858130884]
大言語モデル(LLM)はゼロショット設定で多くのNLPタスクを解くことができるが、具体化エージェントを含むアプリケーションは依然として問題である。
LLM動的プランナー(LLM-DP)は,LLMが従来のプランナーと手動で作業し,具体的課題を解決する,神経象徴的な枠組みである。
論文 参考訳(メタデータ) (2023-08-11T21:17:13Z) - Understanding the Capabilities of Large Language Models for Automated
Planning [24.37599752610625]
この研究は、複雑な計画問題の解決におけるLLMの能力に光を当てようとしている。
この文脈で LLM を使用するための最も効果的なアプローチに関する洞察を提供する。
論文 参考訳(メタデータ) (2023-05-25T15:21:09Z) - Plan, Eliminate, and Track -- Language Models are Good Teachers for
Embodied Agents [99.17668730578586]
事前訓練された大言語モデル(LLM)は、世界に関する手続き的な知識をキャプチャする。
Plan, Eliminate, and Track (PET)フレームワークはタスク記述をハイレベルなサブタスクのリストに変換する。
PETフレームワークは、人間の目標仕様への一般化のために、SOTAよりも15%改善されている。
論文 参考訳(メタデータ) (2023-05-03T20:11:22Z) - Learning to Plan with Natural Language [111.76828049344839]
大規模言語モデル(LLM)は、様々な基本自然言語タスクにおいて顕著な性能を示している。
複雑なタスクを完了するためには、ステップごとに特定のソリューションを生成するためにLCMをガイドするタスクの計画が必要です。
本研究では,(1)第1学習課題計画フェーズにおいて,LCMが学習エラーフィードバックから導出するように促した新たなステップバイステップのソリューションと行動指示を用いてタスク計画を反復的に更新する,という2つの段階を含む学習計画手法を提案する。
論文 参考訳(メタデータ) (2023-04-20T17:09:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。