論文の概要: Filling the Gap of Utterance-aware and Speaker-aware Representation for Multi-turn Dialogue

• arxiv url: http://arxiv.org/abs/2009.06504v2
• Date: Sat, 12 Dec 2020 19:01:56 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-18 11:13:34.996066
• Title: Filling the Gap of Utterance-aware and Speaker-aware Representation for Multi-turn Dialogue
• Title（参考訳）: マルチターン対話のための発話認識と話者認識表現のギャップを埋める
• Authors: Longxiang Liu, Zhuosheng Zhang, Hai Zhao, Xi Zhou, Xiang Zhou
• Abstract要約: マルチターン対話は、2つ以上の異なる話者の役割から複数の発話からなる。 既存の検索に基づくマルチターン対話モデルでは、事前訓練された言語モデル(PrLM)をエンコーダとして、対話を粗く表現する。 本稿では,対話履歴に係わる効果的な発話認識表現と話者認識表現をモデル化することにより,そのようなギャップを埋める新しいモデルを提案する。
• 参考スコア（独自算出の注目度）: 76.88174667929665
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A multi-turn dialogue is composed of multiple utterances from two or more different speaker roles. Thus utterance- and speaker-aware clues are supposed to be well captured in models. However, in the existing retrieval-based multi-turn dialogue modeling, the pre-trained language models (PrLMs) as encoder represent the dialogues coarsely by taking the pairwise dialogue history and candidate response as a whole, the hierarchical information on either utterance interrelation or speaker roles coupled in such representations is not well addressed. In this work, we propose a novel model to fill such a gap by modeling the effective utterance-aware and speaker-aware representations entailed in a dialogue history. In detail, we decouple the contextualized word representations by masking mechanisms in Transformer-based PrLM, making each word only focus on the words in current utterance, other utterances, two speaker roles (i.e., utterances of sender and utterances of receiver), respectively. Experimental results show that our method boosts the strong ELECTRA baseline substantially in four public benchmark datasets, and achieves various new state-of-the-art performance over previous methods. A series of ablation studies are conducted to demonstrate the effectiveness of our method.
• Abstract（参考訳）: マルチターン対話は、2つ以上の異なる話者の役割から複数の発話からなる。 したがって、発話と話者認識の手がかりはモデルでよく捉えられるはずである。 しかし,既存の検索ベースマルチターン対話モデルでは,コーダとしての事前学習言語モデル (PrLM) は,一対の対話履歴と候補応答を全体として捉えて粗い対話を表現しており,このような表現に組み合わされた発話相互関係や話者の役割に関する階層的情報はうまく対応していない。 本研究では,対話履歴に含まれる効果的な発話認識と話者認識表現をモデル化し,そのギャップを埋める新しいモデルを提案する。 本稿では,Transformer ベースの PrLM におけるマスキング機構により,文脈化された単語表現を分離し,各単語が現在発話中の単語のみに焦点を合わせ,他の発話,話者の役割(送信者の発話と受信者の発話)を2つに分けた。 実験結果から,本手法は4つのベンチマークデータセットにおいて,強エレクトラベースラインを実質的に向上させ,従来手法よりも様々な性能向上を実現する。 本手法の有効性を示すため,一連のアブレーション研究を行った。

関連論文リスト

• WavChat: A Survey of Spoken Dialogue Models [66.82775211793547]
  GPT-4oのようなシステムで実証された音声対話モデルの最近の進歩は、音声領域において大きな注目を集めている。 これらの高度な音声対話モデルは、音声、音楽、その他の音声関連の特徴を理解するだけでなく、音声のスタイリスティックな特徴や音節的な特徴も捉える。 音声対話システムの進歩にもかかわらず、これらのシステムを体系的に組織化し分析する包括的調査が欠如している。
  論文  参考訳（メタデータ） (2024-11-15T04:16:45Z)
• SPECTRUM: Speaker-Enhanced Pre-Training for Long Dialogue Summarization [48.284512017469524]
  マルチターン対話は、その長さとターンテイクな会話の存在によって特徴づけられる。 伝統的な言語モデルは、しばしばそれらの対話の特徴を通常のテキストとして扱うことによって見落としている。 長文対話要約のための話者強化事前学習手法を提案する。
  論文  参考訳（メタデータ） (2024-01-31T04:50:00Z)
• Pre-training Multi-party Dialogue Models with Latent Discourse Inference [85.9683181507206]
  我々は、多人数対話の会話構造、すなわち、各発話が応答する相手を理解するモデルを事前訓練する。 ラベル付きデータを完全に活用するために,談話構造を潜在変数として扱い,それらを共同で推論し,談話認識モデルを事前学習することを提案する。
  論文  参考訳（メタデータ） (2023-05-24T14:06:27Z)
• Channel-aware Decoupling Network for Multi-turn Dialogue Comprehension [81.47133615169203]
  本稿では,PrLMの逐次文脈化を超えて,発話間の包括的相互作用のための合成学習を提案する。 私たちは、モデルが対話ドメインに適応するのを助けるために、ドメイン適応型トレーニング戦略を採用しています。 実験の結果,提案手法は4つの公開ベンチマークデータセットにおいて,強力なPrLMベースラインを著しく向上させることがわかった。
  論文  参考訳（メタデータ） (2023-01-10T13:18:25Z)
• Who says like a style of Vitamin: Towards Syntax-Aware DialogueSummarization using Multi-task Learning [2.251583286448503]
  個々の話者からの発声と独特の統語構造との関係に焦点をあてる。 話者は、音声プリントのような言語情報を含むことができる独自のテキストスタイルを持つ。 構文認識情報と対話要約の両方をマルチタスクで学習する。
  論文  参考訳（メタデータ） (2021-09-29T05:30:39Z)
• Enhanced Speaker-aware Multi-party Multi-turn Dialogue Comprehension [43.352833140317486]
  マルチパーティ・マルチターン・ダイアログの理解は前例のない課題をもたらす。 既存のほとんどのメソッドは、会話コンテキストをプレーンテキストとして扱う。 マスキングアテンションと異種グラフネットワークを用いた話者認識モデルを提案する。
  論文  参考訳（メタデータ） (2021-09-09T07:12:22Z)
• Self- and Pseudo-self-supervised Prediction of Speaker and Key-utterance for Multi-party Dialogue Reading Comprehension [46.69961067676279]
  マルチパーティ対話機械読解(MRC)は,複数の話者が対話を行うため,大きな課題をもたらす。 従来のモデルは、複雑なグラフベースのモジュールを使用して話者情報フローを組み込む方法に重点を置いていた。 本稿では、話者情報の流れを暗黙的にモデル化するために、話者とキー発話における2つの労働自由自助的・疑似自己監督型予測タスクを設計する。
  論文  参考訳（メタデータ） (2021-09-08T16:51:41Z)
• Dialogue-Based Relation Extraction [53.2896545819799]
  本稿では,人間による対話型関係抽出(RE)データセットDialogREを提案する。 我々は,対話型タスクと従来のREタスクの類似点と相違点の分析に基づいて,提案課題において話者関連情報が重要な役割を担っていると論じる。 実験結果から,ベストパフォーマンスモデルにおける話者認識の拡張が,標準設定と会話評価設定の両方において向上することが示された。
  論文  参考訳（メタデータ） (2020-04-17T03:51:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。