論文の概要: DivTOD: Unleashing the Power of LLMs for Diversifying Task-Oriented Dialogue Representations

• arxiv url: http://arxiv.org/abs/2404.00557v1
• Date: Sun, 31 Mar 2024 04:36:57 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-04 03:00:38.380922
• Title: DivTOD: Unleashing the Power of LLMs for Diversifying Task-Oriented Dialogue Representations
• Title（参考訳）: DivTOD:タスク指向の対話表現を多様化するLLMのパワーを開放する
• Authors: Weihao Zeng, Dayuan Fu, Keqing He, Yejie Wang, Yukai Xu, Weiran Xu,
• Abstract要約: 汎用テキストで事前訓練された言語モデルは、様々な分野において印象的な成果を上げている。 しかし、タスク指向対話(TOD)の言語的特徴と一般的なテキストとの比較は、既存の言語モデルの実用性を制限している。 本研究では,多様なタスク指向の対話表現を学習するために,LLMと協調して対話事前学習モデルDivTODを提案する。
• 参考スコア（独自算出の注目度）: 21.814490079113323
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Language models pre-trained on general text have achieved impressive results in diverse fields. Yet, the distinct linguistic characteristics of task-oriented dialogues (TOD) compared to general text limit the practical utility of existing language models. Current task-oriented dialogue pre-training methods overlook the one-to-many property of conversations, where multiple responses can be appropriate given the same conversation context. In this paper, we propose a novel dialogue pre-training model called DivTOD, which collaborates with LLMs to learn diverse task-oriented dialogue representations. DivTOD guides LLMs in transferring diverse knowledge to smaller models while removing domain knowledge that contradicts task-oriented dialogues. Experiments show that our model outperforms strong TOD baselines on various downstream dialogue tasks and learns the intrinsic diversity of task-oriented dialogues.
• Abstract（参考訳）: 汎用テキストで事前訓練された言語モデルは、様々な分野において印象的な成果を上げている。 しかし、タスク指向対話(TOD)の言語的特徴と一般的なテキストとの比較は、既存の言語モデルの実用性を制限している。 現在のタスク指向の対話事前学習手法は、会話の1対多性を見落としている。 本稿では,LLMと協調して多様なタスク指向対話表現を学習するDivTODという対話事前学習モデルを提案する。 DivTODは、タスク指向の対話に矛盾するドメイン知識を取り除きながら、多様な知識をより小さなモデルに転送する。 実験の結果,本モデルは様々な下流対話課題において強いTODベースラインを上回り,タスク指向対話の本質的な多様性を学習することがわかった。

関連論文リスト

• Self-Explanation Prompting Improves Dialogue Understanding in Large Language Models [52.24756457516834]
  大規模言語モデル(LLM)の理解能力を高めるための新たな「自己説明(Self-Explanation)」を提案する。 このタスクに依存しないアプローチでは、タスク実行前の各対話発話を分析し、様々な対話中心のタスクのパフォーマンスを向上させる必要がある。 6つのベンチマークデータセットによる実験結果から,本手法は他のゼロショットプロンプトよりも一貫して優れており,数ショットプロンプトの有効性を超えていることが明らかとなった。
  論文  参考訳（メタデータ） (2023-09-22T15:41:34Z)
• Frugal Prompting for Dialog Models [17.048111072193933]
  本研究では,大規模言語モデル(LLM)を用いた対話システム構築のための異なるアプローチについて検討する。 即時チューニングの一環として、インストラクション、例題、現在のクエリ、追加のコンテキストを提供する様々な方法を試行する。 この研究は、最適な使用情報密度を持つダイアログ履歴の表現も分析する。
  論文  参考訳（メタデータ） (2023-05-24T09:06:49Z)
• STRUDEL: Structured Dialogue Summarization for Dialogue Comprehension [42.57581945778631]
  抽象的な対話要約は、自然言語処理における重要なスタンドアロンタスクとみなされてきた。 本稿では,新たな対話要約タスクであるSTRUctured DiaLoguE Summarizationを提案する。 変換器エンコーダ言語モデルの対話理解性能を大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2022-12-24T04:39:54Z)
• Improving Zero and Few-shot Generalization in Dialogue through Instruction Tuning [27.92734269206744]
  InstructDialは対話のための命令チューニングフレームワークである。 48の多様な対話タスクからなるリポジトリからなり、59のオープンな対話データセットから作成されるテキストとテキストの統一フォーマットである。 分析の結果,InstructDialは未知のデータセットや対話評価や意図検出などのタスクに対して良好なゼロショット性能を実現し,数ショット設定でさらに優れたパフォーマンスを実現していることがわかった。
  論文  参考訳（メタデータ） (2022-05-25T11:37:06Z)
• Back to the Future: Bidirectional Information Decoupling Network for Multi-turn Dialogue Modeling [80.51094098799736]
  ユニバーサル対話エンコーダとして双方向情報デカップリングネットワーク(BiDeN)を提案する。 BiDeNは過去と将来の両方のコンテキストを明示的に取り入れており、幅広い対話関連のタスクに一般化することができる。 異なる下流タスクのデータセットに対する実験結果は、我々のBiDeNの普遍性と有効性を示している。
  論文  参考訳（メタデータ） (2022-04-18T03:51:46Z)
• Dialogue-oriented Pre-training [70.03028879331339]
  一般的なプレーンテキスト上での会話特徴をシミュレートする3つの手法を提案する。 Dialog-PrLMは3つの公開マルチターン対話データセットに基づいて微調整される。
  論文  参考訳（メタデータ） (2021-06-01T12:02:46Z)
• Advances in Multi-turn Dialogue Comprehension: A Survey [51.215629336320305]
  対話モデリングの観点から,従来の手法を検討した。 対話理解タスクで広く使用されている対話モデリングの3つの典型的なパターンについて議論します。
  論文  参考訳（メタデータ） (2021-03-04T15:50:17Z)
• TOD-BERT: Pre-trained Natural Language Understanding for Task-Oriented Dialogue [113.45485470103762]
  本研究では,言語モデリングのためのタスク指向対話データセットを,人間とマルチターンの9つに統合する。 事前学習時の対話動作をモデル化するために,ユーザトークンとシステムトークンをマスク付き言語モデルに組み込む。
  論文  参考訳（メタデータ） (2020-04-15T04:09:05Z)
• Masking Orchestration: Multi-task Pretraining for Multi-role Dialogue Representation Learning [50.5572111079898]
  マルチロール対話理解は、質問応答、行動分類、対話要約など、幅広い多様なタスクを含む。 対話コーパスは豊富に利用可能であるが、特定の学習タスクのためのラベル付きデータは非常に不足しており、高価である。 本研究では,教師なし事前学習タスクを用いた対話文脈表現学習について検討する。
  論文  参考訳（メタデータ） (2020-02-27T04:36:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。