論文の概要: Improving Multi-turn Task Completion in Task-Oriented Dialog Systems via Prompt Chaining and Fine-Grained Feedback

• arxiv url: http://arxiv.org/abs/2502.13298v1
• Date: Tue, 18 Feb 2025 21:36:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-20 20:12:09.790064
• Title: Improving Multi-turn Task Completion in Task-Oriented Dialog Systems via Prompt Chaining and Fine-Grained Feedback
• Title（参考訳）: Prompt ChainingとFin-Grained Feedbackによるタスク指向対話システムにおけるマルチターンタスク補完の改善
• Authors: Moghis Fereidouni, Md Sajid Ahmed, Adib Mosharrof, A. B. Siddique,
• Abstract要約: タスク指向ダイアログ(TOD)システムは、自然言語による複雑なマルチターンタスクの達成を容易にする。 LLMはマルチターンタスク補完を確実に扱うのに苦労する。 本稿では,TODシステムを強化する新しいフレームワークであるRealTODを提案する。
• 参考スコア（独自算出の注目度）: 2.246166820363412
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Task-oriented dialog (TOD) systems facilitate users in accomplishing complex, multi-turn tasks through natural language. While traditional approaches rely on extensive fine-tuning and annotated data for each domain, instruction-tuned large language models (LLMs) offer a more flexible alternative. However, LLMs struggle to reliably handle multi-turn task completion, particularly with accurately generating API calls and adapting to new domains without explicit demonstrations. To address these challenges, we propose RealTOD, a novel framework that enhances TOD systems through prompt chaining and fine-grained feedback mechanisms. Prompt chaining enables zero-shot domain adaptation via a two-stage prompting strategy, eliminating the need for human-curated demonstrations. Meanwhile, the fine-grained feedback mechanism improves task completion by verifying API calls against domain schemas and providing precise corrective feedback when errors are detected. We conduct extensive experiments on the SGD and BiTOD benchmarks using four LLMs. RealTOD improves API accuracy, surpassing AutoTOD by 37.74% on SGD and SimpleTOD by 11.26% on BiTOD. Human evaluations further confirm that LLMs integrated with RealTOD achieve superior task completion, fluency, and informativeness compared to existing methods.
• Abstract（参考訳）: タスク指向ダイアログ(TOD)システムは、自然言語による複雑なマルチターンタスクの達成を容易にする。 従来のアプローチでは、各ドメインに対する広範囲な微調整と注釈付きデータに依存していたが、命令調整型大規模言語モデル(LLM)の方が、より柔軟な代替手段を提供する。 しかし、LLMは、特にAPI呼び出しを正確に生成し、明示的なデモなしで新しいドメインに適応する、マルチターンタスク補完を確実に扱うのに苦労している。 これらの課題に対処するため,我々は,迅速な連鎖ときめ細かいフィードバック機構を通じてTODシステムを強化する新しいフレームワークであるRealTODを提案する。 プロンプトチェインにより、2段階のプロンプト戦略によるゼロショットドメイン適応が可能となり、人為的なデモの必要性がなくなる。 一方、きめ細かいフィードバック機構は、ドメインスキーマに対するAPI呼び出しを検証することでタスク完了を改善し、エラー検出時に正確な修正フィードバックを提供する。 4つのLSMを用いてSGDとBiTODのベンチマーク実験を行った。 RealTODはAPIの精度を改善し、AutoTODを37.74%、SimpleTODを11.26%上回る。 人間の評価により、LLMがRealTODと統合され、既存の手法に比べてタスク補完、流布、情報提供性が優れていることが確認される。

関連論文リスト

• DetectAnyLLM: Towards Generalizable and Robust Detection of Machine-Generated Text Across Domains and Models [60.713908578319256]
  タスク指向の知識で検出器を最適化するために,DDL(Direct Discrepancy Learning)を提案する。 そこで本研究では,最新のMGTD性能を実現する統合検出フレームワークであるTectAnyLLMを紹介する。 MIRAGEは5つのテキストドメインにまたがる10のコーパスから人書きテキストをサンプリングし、17個の最先端のLLMを使用して再生成または修正する。
  論文  参考訳（メタデータ） (2025-09-15T10:59:57Z)
• Plan Verification for LLM-Based Embodied Task Completion Agents [10.439882851477162]
  大規模言語モデル(LLM)に基づくタスク計画とそれに対応するAIの人間による実演は騒々しいかもしれない。 審査員が行動系列を批判し、プランナーLLMが修正を適用する反復検証フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-09-02T19:06:56Z)
• ToolACE-MT: Non-Autoregressive Generation for Agentic Multi-Turn Interaction [84.90394416593624]
  大規模言語モデル(LLM)によるエージェント的タスク解決には,多ターン・マルチステップインタラクションが必要である。 既存のシミュレーションベースのデータ生成手法は、複数のエージェント間のコストのかかる自己回帰的相互作用に大きく依存している。 本稿では,高品質なマルチターンエージェント対話を構築するための非自己回帰反復生成フレームワークであるToolACE-MTを提案する。
  論文  参考訳（メタデータ） (2025-08-18T07:38:23Z)
• SUTA-LM: Bridging Test-Time Adaptation and Language Model Rescoring for Robust ASR [58.31068047426522]
  テスト時間適応(TTA)は、推論中にモデルを調整することで緩和することを目的としている。 最近の研究は、ビーム探索再構成や生成誤り訂正といった手法を用いて、TTAと外部言語モデルの組み合わせについて検討している。 本稿では,SUTAの簡易かつ効果的な拡張であるSUTA-LMを提案する。 18種類のASRデータセットの実験により、SUTA-LMは幅広い領域で堅牢な結果が得られることが示された。
  論文  参考訳（メタデータ） (2025-06-10T02:50:20Z)
• CoDial: Interpretable Task-Oriented Dialogue Systems Through Dialogue Flow Alignment [14.098358830189959]
  本稿では,TODタスクスキーマをNVIDIAのColangなどのプログラム的なガードレールコードに変換する新しいフレームワークであるCoDialを紹介する。 CoDialは広く使用されているSTARデータセット上での最先端(SOTA)パフォーマンスを実現し、MultiWOZデータセットでのSOTAと同等である。
  論文  参考訳（メタデータ） (2025-06-02T21:12:27Z)
• MLE-Dojo: Interactive Environments for Empowering LLM Agents in Machine Learning Engineering [57.156093929365255]
  自律型大規模言語モデル(LLM)エージェントを体系的に強化し、評価し、改善するためのガイムスタイルのフレームワーク。 MLE-Dojoは、現実的なエンジニアリングシナリオを反映した、多様でオープンなMLEタスクを慎重にキュレートする。 完全に実行可能な環境は、教師付き微調整と強化学習の両方を通して包括的なエージェントトレーニングをサポートする。
  論文  参考訳（メタデータ） (2025-05-12T17:35:43Z)
• EMMOE: A Comprehensive Benchmark for Embodied Mobile Manipulation in Open Environments [11.97783742296183]
  Embodied Mobile Manipulation in Open Environmentsは、エージェントがユーザーの指示を解釈し、連続した空間で長時間の日常的なタスクを実行する必要があるベンチマークである。 Open EnvironmentsにおけるEmbodied Mobile Manipulationは、より多様な評価のための3つの新しいメトリクスとともに、ハイレベルで低レベルな実施タスクを統一されたフレームワークにシームレスに統合します。 We design model, a sophisticated agent system, a LLM with Direct Preference Optimization (DPO), light weighted navigation and operation model, and multiple error detection mechanism。
  論文  参考訳（メタデータ） (2025-03-11T16:42:36Z)
• Evaluating and Enhancing Out-of-Domain Generalization of Task-Oriented Dialog Systems for Task Completion without Turn-level Dialog Annotations [2.453775887722866]
  本研究は,大規模言語モデル(LLM)を自然言語ダイアログのみに微調整してToDタスクを実行できるかどうかを,このようなアノテーションを必要とせずに検討する。 ターンレベルのアノテーションを使わずに微調整されたモデルでは、一貫性のある適切な応答が生成される。 提案するZeroToDは,API呼び出し精度と全体的なタスク完了率を向上させるために,スキーマ拡張機構を組み込んだフレームワークである。
  論文  参考訳（メタデータ） (2025-02-18T22:10:51Z)
• Scaling Autonomous Agents via Automatic Reward Modeling And Planning [52.39395405893965]
  大規模言語モデル(LLM)は、様々なタスクにまたがる顕著な機能を示している。 しかし、彼らは多段階の意思決定と環境フィードバックを必要とする問題に苦戦している。 人間のアノテーションを使わずに環境から報酬モデルを自動的に学習できるフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-17T18:49:25Z)
• AutoML-Agent: A Multi-Agent LLM Framework for Full-Pipeline AutoML [56.565200973244146]
  自動機械学習(Automated Machine Learning, ML)は、開発パイプライン内のタスクを自動化することによって、AI開発を加速する。 近年の作業では,そのような負担を軽減するために,大規模言語モデル(LLM)の利用が始まっている。 本稿では,フルパイプのAutoMLに適した新しいマルチエージェントフレームワークであるAutoML-Agentを提案する。
  論文  参考訳（メタデータ） (2024-10-03T20:01:09Z)
• Task-Distributionally Robust Data-Free Meta-Learning [99.56612787882334]
  Data-Free Meta-Learning (DFML)は、複数の事前学習モデルを活用することで、独自のトレーニングデータを必要とせずに、新しいタスクを効率的に学習することを目的としている。 TDS(Task-Distribution Shift)とTDC(Task-Distribution Corruption)の2つの大きな課題を初めて明らかにした。
  論文  参考訳（メタデータ） (2023-11-23T15:46:54Z)
• InstructTODS: Large Language Models for End-to-End Task-Oriented Dialogue Systems [60.53276524369498]
  大規模言語モデル(LLM)は自然言語処理(NLP)における多様なタスクに使用されている。 InstructTODSは、ゼロショットのタスク指向対話システムのための新しいフレームワークである。 InstructTODSは、ユーザの意図を動的クエリにシームレスに翻訳するプロキシの信念状態を生成する。
  論文  参考訳（メタデータ） (2023-10-13T06:36:26Z)
• OverPrompt: Enhancing ChatGPT through Efficient In-Context Learning [49.38867353135258]
  複数のタスク入力を処理するために,LLMのコンテキスト内学習機能を活用したOverPromptを提案する。 本実験により,OverPromptはタスク性能を著しく損なうことなく,コスト効率の良いゼロショット分類を実現することができることがわかった。
  論文  参考訳（メタデータ） (2023-05-24T10:08:04Z)
• Task-Optimized Adapters for an End-to-End Task-Oriented Dialogue System [0.0]
  本稿では,タスク毎に個別に学習し,事前学習したネットワークの固定層に少数のパラメータを追加するタスク・ド・アダプタを用いたエンドツーエンドTODシステムを提案する。 提案手法はモデルに依存しない手法であり,プロンプトを使わずに入力データのみをプロンプトチューニングする必要がない。
  論文  参考訳（メタデータ） (2023-05-04T00:17:49Z)
• Making Pre-trained Language Models End-to-end Few-shot Learners with Contrastive Prompt Tuning [41.15017636192417]
  CP-Tuning(CP-Tuning)は、言語モデルのための最初のエンドツーエンドのPrompt Tuningフレームワークである。 完全にトレーニング可能なプロンプトパラメータを持つタスク不変の連続プロンプトエンコーディング技術と統合されている。 IRシステムや異なるPLMで使用される様々な言語理解タスクの実験は、CP-Tuningが最先端の手法より優れていることを示している。
  論文  参考訳（メタデータ） (2022-04-01T02:24:24Z)
• CINS: Comprehensive Instruction for Few-shot Learning in Task-oriented Dialog Systems [56.302581679816775]
  本稿では,タスク固有の命令でPLMを利用する包括的インストラクション(CINS)を提案する。 命令のスキーマ(定義、制約、プロンプト)と、ToDの3つの重要な下流タスクに対するカスタマイズされた実現を設計する。 これらのToDタスクに対して,小さな検証データを用いた現実的な数ショット学習シナリオで実験を行った。
  論文  参考訳（メタデータ） (2021-09-10T03:23:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。