論文の概要: BootTOD: Bootstrap Task-oriented Dialogue Representations by Aligning Diverse Responses

• arxiv url: http://arxiv.org/abs/2403.01163v1
• Date: Sat, 2 Mar 2024 10:34:11 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-05 14:58:23.744506
• Title: BootTOD: Bootstrap Task-oriented Dialogue Representations by Aligning Diverse Responses
• Title（参考訳）: BootTOD: 多様な応答の調整によるタスク指向対話表現
• Authors: Weihao Zeng, Keqing He, Yejie Wang, Dayuan Fu, Weiran Xu
• Abstract要約: 本稿では,BootTODと呼ばれる対話事前学習モデルを提案する。 セルフブートストラッピングフレームワークを通じてタスク指向の対話表現を学習する。 BootTODは、さまざまなダウンストリーム対話タスクにおいて、強力なTODベースラインを上回ります。
• 参考スコア（独自算出の注目度）: 24.79881150845294
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pre-trained language models have been successful in many scenarios. However, their usefulness in task-oriented dialogues is limited due to the intrinsic linguistic differences between general text and task-oriented dialogues. Current task-oriented dialogue pre-training methods rely on a contrastive framework, which faces challenges such as selecting true positives and hard negatives, as well as lacking diversity. In this paper, we propose a novel dialogue pre-training model called BootTOD. It learns task-oriented dialogue representations via a self-bootstrapping framework. Unlike contrastive counterparts, BootTOD aligns context and context+response representations and dismisses the requirements of contrastive pairs. BootTOD also uses multiple appropriate response targets to model the intrinsic one-to-many diversity of human conversations. Experimental results show that BootTOD outperforms strong TOD baselines on diverse downstream dialogue tasks.
• Abstract（参考訳）: 事前訓練された言語モデルは、多くのシナリオで成功している。 しかしながら、タスク指向対話におけるそれらの有用性は、一般的なテキストとタスク指向対話の言語的違いによって制限されている。 現在のタスク指向の対話事前学習手法は、真のポジティブとハードネガティブの選択や多様性の欠如といった課題に直面している対照的なフレームワークに依存している。 本稿では,BootTODと呼ばれる対話事前学習モデルを提案する。 セルフブートストラッピングフレームワークを通じてタスク指向の対話表現を学習する。 対照的な表現とは異なり、boottodはコンテキストとコンテキスト+レスポンスの表現を調整し、コントラストペアの要件を無視する。 BootTODはまた、人間の会話の固有の1対多の多様性をモデル化するために、複数の適切な応答ターゲットを使用する。 実験の結果,BootTODは多様な下流対話タスクにおいて,強いTODベースラインよりも優れていた。

関連論文リスト

• DivTOD: Unleashing the Power of LLMs for Diversifying Task-Oriented Dialogue Representations [21.814490079113323]
  汎用テキストで事前訓練された言語モデルは、様々な分野において印象的な成果を上げている。 しかし、タスク指向対話(TOD)の言語的特徴と一般的なテキストとの比較は、既存の言語モデルの実用性を制限している。 本研究では,多様なタスク指向の対話表現を学習するために,LLMと協調して対話事前学習モデルDivTODを提案する。
  論文  参考訳（メタデータ） (2024-03-31T04:36:57Z)
• Self-Explanation Prompting Improves Dialogue Understanding in Large Language Models [52.24756457516834]
  大規模言語モデル(LLM)の理解能力を高めるための新たな「自己説明(Self-Explanation)」を提案する。 このタスクに依存しないアプローチでは、タスク実行前の各対話発話を分析し、様々な対話中心のタスクのパフォーマンスを向上させる必要がある。 6つのベンチマークデータセットによる実験結果から,本手法は他のゼロショットプロンプトよりも一貫して優れており,数ショットプロンプトの有効性を超えていることが明らかとなった。
  論文  参考訳（メタデータ） (2023-09-22T15:41:34Z)
• JoTR: A Joint Transformer and Reinforcement Learning Framework for Dialog Policy Learning [53.83063435640911]
  対話政策学習(DPL)は対話モデリングの重要な構成要素である。 フレキシブルな対話行動を生成するための新しいフレームワークであるJoTRを導入する。 従来の方法とは異なり、JoTRはよりダイナミックで適応可能な対話アクション生成を可能にするワードレベルのポリシーを定式化している。
  論文  参考訳（メタデータ） (2023-09-01T03:19:53Z)
• DiactTOD: Learning Generalizable Latent Dialogue Acts for Controllable Task-Oriented Dialogue Systems [15.087619144902776]
  本稿では,潜在空間における対話行動を表現する対話行動モデル(DiactTOD)を提案する。 大規模なコーパスで事前トレーニングを行うと、DiactTODは対話を予測し制御し、制御可能な応答を生成する。
  論文  参考訳（メタデータ） (2023-08-01T23:29:16Z)
• FutureTOD: Teaching Future Knowledge to Pre-trained Language Model for Task-Oriented Dialogue [20.79359173822053]
  本稿では,対話前学習モデルFutureTODを提案する。 我々の直感は、良い対話表現はどちらも局所的な文脈情報を学び、将来の情報を予測することである。
  論文  参考訳（メタデータ） (2023-06-17T10:40:07Z)
• Pre-training Multi-party Dialogue Models with Latent Discourse Inference [85.9683181507206]
  我々は、多人数対話の会話構造、すなわち、各発話が応答する相手を理解するモデルを事前訓練する。 ラベル付きデータを完全に活用するために,談話構造を潜在変数として扱い,それらを共同で推論し,談話認識モデルを事前学習することを提案する。
  論文  参考訳（メタデータ） (2023-05-24T14:06:27Z)
• TOD-DA: Towards Boosting the Robustness of Task-oriented Dialogue Modeling on Spoken Conversations [24.245354500835465]
  本稿では,音声対話におけるタスク指向対話モデリングの堅牢性を高めるために,新しいモデルに依存しないデータ拡張パラダイムを提案する。 本手法は,音声対話におけるタスク指向対話モデリングのベンチマークであるDSTC10 Track2の両タスクにおいて,第1位となった。
  論文  参考訳（メタデータ） (2021-12-23T10:04:25Z)
• UniDS: A Unified Dialogue System for Chit-Chat and Task-oriented Dialogues [59.499965460525694]
  上記の2つのスキルを備えた統合対話システム(UniDS)を提案する。 我々は、チャットとタスク指向の対話の両方に対応可能な統合対話データスキーマを設計する。 我々は、事前訓練されたチャット対話モデルから混合対話データでUniDSを訓練する。
  論文  参考訳（メタデータ） (2021-10-15T11:56:47Z)
• TOD-BERT: Pre-trained Natural Language Understanding for Task-Oriented Dialogue [113.45485470103762]
  本研究では,言語モデリングのためのタスク指向対話データセットを,人間とマルチターンの9つに統合する。 事前学習時の対話動作をモデル化するために,ユーザトークンとシステムトークンをマスク付き言語モデルに組み込む。
  論文  参考訳（メタデータ） (2020-04-15T04:09:05Z)
• Masking Orchestration: Multi-task Pretraining for Multi-role Dialogue Representation Learning [50.5572111079898]
  マルチロール対話理解は、質問応答、行動分類、対話要約など、幅広い多様なタスクを含む。 対話コーパスは豊富に利用可能であるが、特定の学習タスクのためのラベル付きデータは非常に不足しており、高価である。 本研究では,教師なし事前学習タスクを用いた対話文脈表現学習について検討する。
  論文  参考訳（メタデータ） (2020-02-27T04:36:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。