論文の概要: ESAinsTOD: A Unified End-to-End Schema-Aware Instruction-Tuning Framework for Task-Oriented Dialog Modeling
- arxiv url: http://arxiv.org/abs/2603.09691v1
- Date: Tue, 10 Mar 2026 13:59:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-11 15:25:24.355642
- Title: ESAinsTOD: A Unified End-to-End Schema-Aware Instruction-Tuning Framework for Task-Oriented Dialog Modeling
- Title(参考訳): ESAinsTOD:タスク指向ダイアログモデリングのための統合エンドツーエンドスキーマ認識インストラクションチューニングフレームワーク
- Authors: Dechuan Teng, Chunlin Lu, Libo Qin, Wanxiang Che,
- Abstract要約: タスク指向ダイアログモデリングのためのエンド・ツー・エンド・エンド・エンド・インストラクション・チューニング・フレームワークであるESAinsTODを提案する。
LLM(Large Language Models)を微調整するだけでなく、さまざまな対話タスクフローやスキーマへの柔軟な適応を可能にします。
ESAinsTODは、エンドツーエンドのタスク指向ダイアログモデリングベンチマークにおいて、最先端モデルよりも優れていることを示す。
- 参考スコア(独自算出の注目度): 44.73279314406119
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Existing end-to-end modeling methods for modular task-oriented dialog systems are typically tailored to specific datasets, making it challenging to adapt to new dialog scenarios. In this work, we propose ESAinsTOD, a unified End-to-end Schema-Aware Instruction-tuning framework for general Task-Oriented Dialog modeling. This framework introduces a structured methodology to go beyond simply fine-tuning Large Language Models (LLMs), enabling flexible adaptation to various dialogue task flows and schemas. Specifically, we leverage full-parameter fine-tuning of LLMs and introduce two alignment mechanisms to make the resulting system both instruction-aware and schema-aware: (i) instruction alignment, which ensures that the system faithfully follows task instructions to complete various task flows from heterogeneous TOD datasets; and (ii) schema alignment, which encourages the system to make predictions adhering to the specified schema. In addition, we employ session-level end-to-end modeling, which allows the system to access the results of previously executed task flows within the dialogue history, to bridge the gap between the instruction-tuning paradigm and the real-world application of TOD systems. Empirical results show that while a fine-tuned LLM serves as a strong baseline, our structured approach provides significant additional benefits. In particular, our findings indicate that: (i) ESAinsTOD outperforms state-of-the-art models by a significant margin on end-to-end task-oriented dialog modeling benchmarks: CamRest676, In-Car and MultiWOZ; (ii) more importantly, it exhibits superior generalization capabilities across various low-resource settings, with the proposed alignment mechanisms significantly enhancing zero-shot performance; and (iii) our instruction-tuning paradigm substantially improves the model's robustness against data noise and cascading errors.
- Abstract(参考訳): モジュラータスク指向のダイアログシステムのための既存のエンドツーエンドモデリング手法は、通常、特定のデータセットに合わせて設計されているため、新しいダイアログシナリオに適応することは困難である。
本研究では,汎用タスク指向ダイアログモデリングのためのエンド・ツー・エンド・エンドのスキーマ・アウェア・インストラクション・チューニング・フレームワークであるESAinsTODを提案する。
このフレームワークは、単に微調整された大規模言語モデル(LLM)を超えて、様々な対話タスクフローやスキーマへの柔軟な適応を可能にする構造化された方法論を導入する。
具体的には、LLMのフルパラメータ微調整を活用し、2つのアライメント機構を導入し、命令認識とスキーマ認識の両方を実現させる。
一 不均質なTODデータセットから様々なタスクフローを完了させるためのタスク命令を忠実に従うことを保証する命令アライメント。
(ii)スキーマアライメントは、特定のスキーマに付着した予測をシステムに促す。
さらに、セッションレベルのエンドツーエンドモデリングを用いて、対話履歴内で以前に実行されたタスクフローの結果にアクセスし、命令チューニングパラダイムとTODシステムの現実的応用とのギャップを埋める。
実験の結果, 微調整LDMは強力なベースラインとして機能するが, 構造的アプローチは大きなメリットをもたらすことがわかった。
特に,本研究の成果は以下のとおりである。
(i)ESAinsTODは、CamRest676、In-Car、MultiWOZといったエンドツーエンドのタスク指向ダイアログモデリングベンチマークにおいて、最先端モデルよりも優れた性能を発揮する。
(II)より重要なのは,提案したアライメント機構がゼロショット性能を大幅に向上させ,様々な低リソース設定にまたがる優れた一般化能力を示すことである。
3)命令チューニングのパラダイムは,データノイズやカスケードエラーに対するモデルの堅牢性を大幅に向上させる。
関連論文リスト
- AR-MOT: Autoregressive Multi-object Tracking [56.09738000988466]
本稿では,大規模言語モデル(LLM)フレームワーク内のシーケンス生成タスクとしてMOTを定式化する,新しい自己回帰パラダイムを提案する。
この設計により、タスク固有のヘッドを必要とせずに、フレキシブルなシーケンス構成によって構造化された結果を出力できる。
地域レベルの視覚知覚を高めるために,事前訓練された検出器に基づくオブジェクト・トケナイザを導入する。
論文 参考訳(メタデータ) (2026-01-05T09:17:28Z) - Evaluating and Enhancing Out-of-Domain Generalization of Task-Oriented Dialog Systems for Task Completion without Turn-level Dialog Annotations [2.453775887722866]
本研究は,大規模言語モデル(LLM)を自然言語ダイアログのみに微調整してToDタスクを実行できるかどうかを,このようなアノテーションを必要とせずに検討する。
ターンレベルのアノテーションを使わずに微調整されたモデルでは、一貫性のある適切な応答が生成される。
提案するZeroToDは,API呼び出し精度と全体的なタスク完了率を向上させるために,スキーマ拡張機構を組み込んだフレームワークである。
論文 参考訳(メタデータ) (2025-02-18T22:10:51Z) - InstructERC: Reforming Emotion Recognition in Conversation with Multi-task Retrieval-Augmented Large Language Models [9.611864685207056]
本稿では,識別的枠組みから大規模言語モデル(LLM)に基づく生成的枠組みへ,感情認識タスクを再構築するための新しいアプローチであるインストラクタCを提案する。
InstructERCは、3つの重要な貢献をしている:(1)モデルがマルチグラニュラリティ対話監視情報を明示的に統合するのに役立つ単純で効果的なテンプレートモジュール、(2)話者識別と感情予測タスクという2つの追加の感情アライメントタスクを導入し、会話における対話の役割の関係と将来の感情傾向を暗黙的にモデル化する。
論文 参考訳(メタデータ) (2023-09-21T09:22:07Z) - Zero-Shot Generalizable End-to-End Task-Oriented Dialog System using
Context Summarization and Domain Schema [2.7178968279054936]
タスク指向対話システムにおける最先端のアプローチは、条件付きシーケンス生成タスクとして問題を定式化する。
これは、新しいドメインまたはタスクごとにラベル付きトレーニングデータを必要とする。
本稿では,ZS-ToDという,Zero-Shotの汎用的なエンドツーエンドタスク指向ダイアログシステムについて紹介する。
論文 参考訳(メタデータ) (2023-03-28T18:56:31Z) - A Multi-Task BERT Model for Schema-Guided Dialogue State Tracking [78.2700757742992]
タスク指向対話システムは対話状態追跡器(DST)を用いて会話を完了させる。
最近の最先端のDST実装は、モデルの堅牢性を改善するために様々なサービスのスキーマに依存している。
本稿では,意図予測,要求スロット予測,スロットフィリングの3つのDSTタスクを協調的に解決する単一マルチタスクBERTモデルを提案する。
論文 参考訳(メタデータ) (2022-07-02T13:27:59Z) - CINS: Comprehensive Instruction for Few-shot Learning in Task-oriented
Dialog Systems [56.302581679816775]
本稿では,タスク固有の命令でPLMを利用する包括的インストラクション(CINS)を提案する。
命令のスキーマ(定義、制約、プロンプト)と、ToDの3つの重要な下流タスクに対するカスタマイズされた実現を設計する。
これらのToDタスクに対して,小さな検証データを用いた現実的な数ショット学習シナリオで実験を行った。
論文 参考訳(メタデータ) (2021-09-10T03:23:06Z) - RADDLE: An Evaluation Benchmark and Analysis Platform for Robust
Task-oriented Dialog Systems [75.87418236410296]
我々はraddleベンチマーク、コーパスのコレクション、および様々なドメインのモデルのパフォーマンスを評価するためのツールを紹介します。
RADDLEは強力な一般化能力を持つモデルを好んで奨励するように設計されている。
先行学習と微調整に基づく最近の最先端システムの評価を行い,異種ダイアログコーパスに基づく基礎的な事前学習が,ドメインごとの個別モデルをトレーニングするよりも優れていることを示す。
論文 参考訳(メタデータ) (2020-12-29T08:58:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。