論文の概要: Improving Multi-turn Task Completion in Task-Oriented Dialog Systems via Prompt Chaining and Fine-Grained Feedback

• arxiv url: http://arxiv.org/abs/2502.13298v1
• Date: Tue, 18 Feb 2025 21:36:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-20 14:00:28.168194
• Title: Improving Multi-turn Task Completion in Task-Oriented Dialog Systems via Prompt Chaining and Fine-Grained Feedback
• Title（参考訳）: Prompt ChainingとFin-Grained Feedbackによるタスク指向対話システムにおけるマルチターンタスク補完の改善
• Authors: Moghis Fereidouni, Md Sajid Ahmed, Adib Mosharrof, A. B. Siddique,
• Abstract要約: タスク指向ダイアログ(TOD)システムは、自然言語による複雑なマルチターンタスクの達成を容易にする。 LLMはマルチターンタスク補完を確実に扱うのに苦労する。 本稿では,TODシステムを強化する新しいフレームワークであるRealTODを提案する。
• 参考スコア（独自算出の注目度）: 2.246166820363412
• License:
• Abstract: Task-oriented dialog (TOD) systems facilitate users in accomplishing complex, multi-turn tasks through natural language. While traditional approaches rely on extensive fine-tuning and annotated data for each domain, instruction-tuned large language models (LLMs) offer a more flexible alternative. However, LLMs struggle to reliably handle multi-turn task completion, particularly with accurately generating API calls and adapting to new domains without explicit demonstrations. To address these challenges, we propose RealTOD, a novel framework that enhances TOD systems through prompt chaining and fine-grained feedback mechanisms. Prompt chaining enables zero-shot domain adaptation via a two-stage prompting strategy, eliminating the need for human-curated demonstrations. Meanwhile, the fine-grained feedback mechanism improves task completion by verifying API calls against domain schemas and providing precise corrective feedback when errors are detected. We conduct extensive experiments on the SGD and BiTOD benchmarks using four LLMs. RealTOD improves API accuracy, surpassing AutoTOD by 37.74% on SGD and SimpleTOD by 11.26% on BiTOD. Human evaluations further confirm that LLMs integrated with RealTOD achieve superior task completion, fluency, and informativeness compared to existing methods.
• Abstract（参考訳）: タスク指向ダイアログ(TOD)システムは、自然言語による複雑なマルチターンタスクの達成を容易にする。 従来のアプローチでは、各ドメインに対する広範囲な微調整と注釈付きデータに依存していたが、命令調整型大規模言語モデル(LLM)の方が、より柔軟な代替手段を提供する。 しかし、LLMは、特にAPI呼び出しを正確に生成し、明示的なデモなしで新しいドメインに適応する、マルチターンタスク補完を確実に扱うのに苦労している。 これらの課題に対処するため,我々は,迅速な連鎖ときめ細かいフィードバック機構を通じてTODシステムを強化する新しいフレームワークであるRealTODを提案する。 プロンプトチェインにより、2段階のプロンプト戦略によるゼロショットドメイン適応が可能となり、人為的なデモの必要性がなくなる。 一方、きめ細かいフィードバック機構は、ドメインスキーマに対するAPI呼び出しを検証することでタスク完了を改善し、エラー検出時に正確な修正フィードバックを提供する。 4つのLSMを用いてSGDとBiTODのベンチマーク実験を行った。 RealTODはAPIの精度を改善し、AutoTODを37.74%、SimpleTODを11.26%上回る。 人間の評価により、LLMがRealTODと統合され、既存の手法に比べてタスク補完、流布、情報提供性が優れていることが確認される。

関連論文リスト

• Evaluating and Enhancing Out-of-Domain Generalization of Task-Oriented Dialog Systems for Task Completion without Turn-level Dialog Annotations [2.453775887722866]
  本研究は,大規模言語モデル(LLM)を自然言語ダイアログのみに微調整してToDタスクを実行できるかどうかを,このようなアノテーションを必要とせずに検討する。 ターンレベルのアノテーションを使わずに微調整されたモデルでは、一貫性のある適切な応答が生成される。 提案するZeroToDは,API呼び出し精度と全体的なタスク完了率を向上させるために,スキーマ拡張機構を組み込んだフレームワークである。
  論文  参考訳（メタデータ） (2025-02-18T22:10:51Z)
• Scaling Autonomous Agents via Automatic Reward Modeling And Planning [52.39395405893965]
  大規模言語モデル(LLM)は、様々なタスクにまたがる顕著な機能を示している。 しかし、彼らは多段階の意思決定と環境フィードバックを必要とする問題に苦戦している。 人間のアノテーションを使わずに環境から報酬モデルを自動的に学習できるフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-17T18:49:25Z)
• AutoML-Agent: A Multi-Agent LLM Framework for Full-Pipeline AutoML [56.565200973244146]
  自動機械学習(Automated Machine Learning, ML)は、開発パイプライン内のタスクを自動化することによって、AI開発を加速する。 近年の作業では,そのような負担を軽減するために,大規模言語モデル(LLM)の利用が始まっている。 本稿では,フルパイプのAutoMLに適した新しいマルチエージェントフレームワークであるAutoML-Agentを提案する。
  論文  参考訳（メタデータ） (2024-10-03T20:01:09Z)
• Task-Distributionally Robust Data-Free Meta-Learning [99.56612787882334]
  Data-Free Meta-Learning (DFML)は、複数の事前学習モデルを活用することで、独自のトレーニングデータを必要とせずに、新しいタスクを効率的に学習することを目的としている。 TDS(Task-Distribution Shift)とTDC(Task-Distribution Corruption)の2つの大きな課題を初めて明らかにした。
  論文  参考訳（メタデータ） (2023-11-23T15:46:54Z)
• InstructTODS: Large Language Models for End-to-End Task-Oriented Dialogue Systems [60.53276524369498]
  大規模言語モデル(LLM)は自然言語処理(NLP)における多様なタスクに使用されている。 InstructTODSは、ゼロショットのタスク指向対話システムのための新しいフレームワークである。 InstructTODSは、ユーザの意図を動的クエリにシームレスに翻訳するプロキシの信念状態を生成する。
  論文  参考訳（メタデータ） (2023-10-13T06:36:26Z)
• OverPrompt: Enhancing ChatGPT through Efficient In-Context Learning [49.38867353135258]
  複数のタスク入力を処理するために,LLMのコンテキスト内学習機能を活用したOverPromptを提案する。 本実験により,OverPromptはタスク性能を著しく損なうことなく,コスト効率の良いゼロショット分類を実現することができることがわかった。
  論文  参考訳（メタデータ） (2023-05-24T10:08:04Z)
• Task-Optimized Adapters for an End-to-End Task-Oriented Dialogue System [0.0]
  本稿では,タスク毎に個別に学習し,事前学習したネットワークの固定層に少数のパラメータを追加するタスク・ド・アダプタを用いたエンドツーエンドTODシステムを提案する。 提案手法はモデルに依存しない手法であり,プロンプトを使わずに入力データのみをプロンプトチューニングする必要がない。
  論文  参考訳（メタデータ） (2023-05-04T00:17:49Z)
• Making Pre-trained Language Models End-to-end Few-shot Learners with Contrastive Prompt Tuning [41.15017636192417]
  CP-Tuning(CP-Tuning)は、言語モデルのための最初のエンドツーエンドのPrompt Tuningフレームワークである。 完全にトレーニング可能なプロンプトパラメータを持つタスク不変の連続プロンプトエンコーディング技術と統合されている。 IRシステムや異なるPLMで使用される様々な言語理解タスクの実験は、CP-Tuningが最先端の手法より優れていることを示している。
  論文  参考訳（メタデータ） (2022-04-01T02:24:24Z)
• CINS: Comprehensive Instruction for Few-shot Learning in Task-oriented Dialog Systems [56.302581679816775]
  本稿では,タスク固有の命令でPLMを利用する包括的インストラクション(CINS)を提案する。 命令のスキーマ(定義、制約、プロンプト)と、ToDの3つの重要な下流タスクに対するカスタマイズされた実現を設計する。 これらのToDタスクに対して,小さな検証データを用いた現実的な数ショット学習シナリオで実験を行った。
  論文  参考訳（メタデータ） (2021-09-10T03:23:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。