論文の概要: Channel-aware Decoupling Network for Multi-turn Dialogue Comprehension
- arxiv url: http://arxiv.org/abs/2301.03953v2
- Date: Wed, 11 Jan 2023 02:21:04 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-12 11:52:13.598051
- Title: Channel-aware Decoupling Network for Multi-turn Dialogue Comprehension
- Title(参考訳): マルチターン対話理解のためのチャネル対応デカップリングネットワーク
- Authors: Zhuosheng Zhang, Hai Zhao, Longxiang Liu
- Abstract要約: 本稿では,PrLMの逐次文脈化を超えて,発話間の包括的相互作用のための合成学習を提案する。
私たちは、モデルが対話ドメインに適応するのを助けるために、ドメイン適応型トレーニング戦略を採用しています。
実験の結果,提案手法は4つの公開ベンチマークデータセットにおいて,強力なPrLMベースラインを著しく向上させることがわかった。
- 参考スコア(独自算出の注目度): 81.47133615169203
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Training machines to understand natural language and interact with humans is
one of the major goals of artificial intelligence. Recent years have witnessed
an evolution from matching networks to pre-trained language models (PrLMs). In
contrast to the plain-text modeling as the focus of the PrLMs, dialogue texts
involve multiple speakers and reflect special characteristics such as topic
transitions and structure dependencies between distant utterances. However, the
related PrLM models commonly represent dialogues sequentially by processing the
pairwise dialogue history as a whole. Thus the hierarchical information on
either utterance interrelation or speaker roles coupled in such representations
is not well addressed. In this work, we propose compositional learning for
holistic interaction across the utterances beyond the sequential
contextualization from PrLMs, in order to capture the utterance-aware and
speaker-aware representations entailed in a dialogue history. We decouple the
contextualized word representations by masking mechanisms in Transformer-based
PrLM, making each word only focus on the words in current utterance, other
utterances, and two speaker roles (i.e., utterances of sender and utterances of
the receiver), respectively. In addition, we employ domain-adaptive training
strategies to help the model adapt to the dialogue domains. Experimental
results show that our method substantially boosts the strong PrLM baselines in
four public benchmark datasets, achieving new state-of-the-art performance over
previous methods.
- Abstract(参考訳): 自然言語を理解し、人間と対話するための訓練機械は、人工知能の主要な目標の1つである。
近年では、マッチングネットワークから事前訓練言語モデル(PrLM)への進化が見られる。
prlmの焦点としてのプレーンテキストモデリングとは対照的に、対話テキストは複数の話者を巻き込み、トピック遷移や遠隔発話間の構造依存性といった特別な特徴を反映している。
しかし,関連するprlmモデルでは,対話履歴全体を処理して対話を逐次表現することが一般的である。
したがって、これらの表現に結合された発話相互関係または話者役割の階層的な情報にはよく対応できない。
本研究では,対話履歴に係わる発話認識および話者認識表現を捉えるために,PrLMからの逐次的文脈化を超えた発話間の包括的相互作用のための合成学習を提案する。
本研究では,Transformer ベースの PrLM のマスキング機構により,各単語が現在発話中の単語,他の発話,および2つの話者役割(受信者の発話,受信者の発話)にのみ焦点をあてることにより,文脈化された単語表現を分離する。
さらに、モデルの対話領域への適応を支援するために、ドメイン適応型トレーニング戦略を採用する。
実験の結果,4つのベンチマークデータセットにおけるprlmのベースラインが大幅に向上し,従来の手法よりも新たな性能が得られた。
関連論文リスト
- SPECTRUM: Speaker-Enhanced Pre-Training for Long Dialogue Summarization [48.284512017469524]
マルチターン対話は、その長さとターンテイクな会話の存在によって特徴づけられる。
伝統的な言語モデルは、しばしばそれらの対話の特徴を通常のテキストとして扱うことによって見落としている。
長文対話要約のための話者強化事前学習手法を提案する。
論文 参考訳(メタデータ) (2024-01-31T04:50:00Z) - Revisiting Conversation Discourse for Dialogue Disentanglement [88.3386821205896]
本稿では,対話談話特性を最大限に活用し,対話の絡み合いを高めることを提案する。
我々は,会話の意味的文脈をより良くモデル化するために,リッチな構造的特徴を統合する構造認識フレームワークを開発した。
我々の研究は、より広範なマルチスレッド対話アプリケーションを促進する大きな可能性を秘めている。
論文 参考訳(メタデータ) (2023-06-06T19:17:47Z) - Back to the Future: Bidirectional Information Decoupling Network for
Multi-turn Dialogue Modeling [80.51094098799736]
ユニバーサル対話エンコーダとして双方向情報デカップリングネットワーク(BiDeN)を提案する。
BiDeNは過去と将来の両方のコンテキストを明示的に取り入れており、幅広い対話関連のタスクに一般化することができる。
異なる下流タスクのデータセットに対する実験結果は、我々のBiDeNの普遍性と有効性を示している。
論文 参考訳(メタデータ) (2022-04-18T03:51:46Z) - Advances in Multi-turn Dialogue Comprehension: A Survey [51.215629336320305]
自然言語を理解し、人間と対話するための訓練機械は、人工知能の解明と本質的なタスクである。
本稿では,対話理解タスクにおける対話モデリングの技術的視点から,過去の手法を概観する。
さらに,対話シナリオにおけるPrLMの強化に使用される対話関連事前学習手法を分類する。
論文 参考訳(メタデータ) (2021-10-11T03:52:37Z) - Structural Pre-training for Dialogue Comprehension [51.215629336320305]
本稿では,SPIDER, Structure Pre-trained DialoguE Readerについて述べる。
対話のような特徴をシミュレートするために,元のLM目的に加えて,2つの訓練目標を提案する。
広く使われている対話ベンチマークの実験結果から,新たに導入した自己教師型タスクの有効性が検証された。
論文 参考訳(メタデータ) (2021-05-23T15:16:54Z) - Filling the Gap of Utterance-aware and Speaker-aware Representation for
Multi-turn Dialogue [76.88174667929665]
マルチターン対話は、2つ以上の異なる話者の役割から複数の発話からなる。
既存の検索に基づくマルチターン対話モデルでは、事前訓練された言語モデル(PrLM)をエンコーダとして、対話を粗く表現する。
本稿では,対話履歴に係わる効果的な発話認識表現と話者認識表現をモデル化することにより,そのようなギャップを埋める新しいモデルを提案する。
論文 参考訳(メタデータ) (2020-09-14T15:07:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。