論文の概要: Masking Orchestration: Multi-task Pretraining for Multi-role Dialogue Representation Learning

• arxiv url: http://arxiv.org/abs/2003.04994v1
• Date: Thu, 27 Feb 2020 04:36:52 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-28 07:11:14.375483
• Title: Masking Orchestration: Multi-task Pretraining for Multi-role Dialogue Representation Learning
• Title（参考訳）: マスキングオーケストレーション:マルチロール対話表現学習のためのマルチタスク事前学習
• Authors: Tianyi Wang, Yating Zhang, Xiaozhong Liu, Changlong Sun, Qiong Zhang
• Abstract要約: マルチロール対話理解は、質問応答、行動分類、対話要約など、幅広い多様なタスクを含む。 対話コーパスは豊富に利用可能であるが、特定の学習タスクのためのラベル付きデータは非常に不足しており、高価である。 本研究では,教師なし事前学習タスクを用いた対話文脈表現学習について検討する。
• 参考スコア（独自算出の注目度）: 50.5572111079898
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-role dialogue understanding comprises a wide range of diverse tasks such as question answering, act classification, dialogue summarization etc. While dialogue corpora are abundantly available, labeled data, for specific learning tasks, can be highly scarce and expensive. In this work, we investigate dialogue context representation learning with various types unsupervised pretraining tasks where the training objectives are given naturally according to the nature of the utterance and the structure of the multi-role conversation. Meanwhile, in order to locate essential information for dialogue summarization/extraction, the pretraining process enables external knowledge integration. The proposed fine-tuned pretraining mechanism is comprehensively evaluated via three different dialogue datasets along with a number of downstream dialogue-mining tasks. Result shows that the proposed pretraining mechanism significantly contributes to all the downstream tasks without discrimination to different encoders.
• Abstract（参考訳）: マルチロール対話理解は、質問応答、行動分類、対話要約など、幅広い多様なタスクを含む。 対話コーパスは豊富に利用できるが、特定の学習タスクのためのラベル付きデータは非常に少なく高価である。 本研究では,発話の性質やマルチロール会話の構造に応じて,訓練対象が自然に与えられるような,教師なし事前学習タスクの多種多様な対話文脈表現学習について検討する。 一方、対話要約/抽出に不可欠な情報を見つけるために、事前学習プロセスは外部知識の統合を可能にする。 提案する微調整事前学習機構は、3つの異なる対話データセットと多数の下流対話マイニングタスクによって包括的に評価される。 その結果,提案するプリトレーニング機構は,エンコーダの識別を伴わずに下流タスクのすべてに著しく寄与することがわかった。

関連論文リスト

• Self-Explanation Prompting Improves Dialogue Understanding in Large Language Models [52.24756457516834]
  大規模言語モデル(LLM)の理解能力を高めるための新たな「自己説明(Self-Explanation)」を提案する。 このタスクに依存しないアプローチでは、タスク実行前の各対話発話を分析し、様々な対話中心のタスクのパフォーマンスを向上させる必要がある。 6つのベンチマークデータセットによる実験結果から,本手法は他のゼロショットプロンプトよりも一貫して優れており,数ショットプロンプトの有効性を超えていることが明らかとなった。
  論文  参考訳（メタデータ） (2023-09-22T15:41:34Z)
• Revisiting Conversation Discourse for Dialogue Disentanglement [88.3386821205896]
  本稿では,対話談話特性を最大限に活用し,対話の絡み合いを高めることを提案する。 我々は,会話の意味的文脈をより良くモデル化するために,リッチな構造的特徴を統合する構造認識フレームワークを開発した。 我々の研究は、より広範なマルチスレッド対話アプリケーションを促進する大きな可能性を秘めている。
  論文  参考訳（メタデータ） (2023-06-06T19:17:47Z)
• PaCE: Unified Multi-modal Dialogue Pre-training with Progressive and Compositional Experts [45.69829921539995]
  本稿では,構造化された多モーダル対話事前学習フレームワークである textbfPaCE を提案する。 複数の対話関連タスクに対応するために、いくつかの基本的な専門家を組み合わせており、限られた対話と広範な非対話マルチモーダルデータを用いて事前訓練することができる。 実験の結果,PaCEは8つのマルチモーダルダイアログベンチマークで最先端の結果を得ることができた。
  論文  参考訳（メタデータ） (2023-05-24T07:43:29Z)
• Advances in Multi-turn Dialogue Comprehension: A Survey [51.215629336320305]
  自然言語を理解し、人間と対話するための訓練機械は、人工知能の解明と本質的なタスクである。 本稿では,対話理解タスクにおける対話モデリングの技術的視点から,過去の手法を概観する。 さらに,対話シナリオにおけるPrLMの強化に使用される対話関連事前学習手法を分類する。
  論文  参考訳（メタデータ） (2021-10-11T03:52:37Z)
• Dialogue-oriented Pre-training [70.03028879331339]
  一般的なプレーンテキスト上での会話特徴をシミュレートする3つの手法を提案する。 Dialog-PrLMは3つの公開マルチターン対話データセットに基づいて微調整される。
  論文  参考訳（メタデータ） (2021-06-01T12:02:46Z)
• Advances in Multi-turn Dialogue Comprehension: A Survey [51.215629336320305]
  対話モデリングの観点から,従来の手法を検討した。 対話理解タスクで広く使用されている対話モデリングの3つの典型的なパターンについて議論します。
  論文  参考訳（メタデータ） (2021-03-04T15:50:17Z)
• MultiTalk: A Highly-Branching Dialog Testbed for Diverse Conversations [39.81965687032923]
  会話対話文のコーパスであるMultiTalkデータセットについて述べる。 高分岐環境におけるダイアログ生成の研究に複数の貢献をしている。 我々の達成課題は心の問題の挑戦的理論であり、制御可能な生成課題である。
  論文  参考訳（メタデータ） (2021-02-02T02:29:40Z)
• Utterance-level Dialogue Understanding: An Empirical Study [43.35258958775454]
  本稿では,対話の異なる側面における文脈の役割を探求し,定量化する。 具体的には、与えられた発話の文脈を歪ませるために様々な摂動を用いる。 これにより、対話の異なる側面の基本的な文脈的制御要因に関する洞察が得られます。
  論文  参考訳（メタデータ） (2020-09-29T09:50:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。