論文の概要: DialAug: Mixing up Dialogue Contexts in Contrastive Learning for Robust Conversational Modeling

• arxiv url: http://arxiv.org/abs/2204.07679v1
• Date: Fri, 15 Apr 2022 23:39:41 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-21 02:30:02.909141
• Title: DialAug: Mixing up Dialogue Contexts in Contrastive Learning for Robust Conversational Modeling
• Title（参考訳）: DialAug:ロバスト会話モデリングのためのコントラスト学習における対話コンテキストの混合
• Authors: Lahari Poddar, Peiyao Wang, Julia Reinspach
• Abstract要約: 本稿では,対話コンテキストの拡張バージョンを学習目的に組み込むフレームワークを提案する。 提案手法は,従来のデータ拡張手法よりも優れていることを示す。
• 参考スコア（独自算出の注目度）: 3.3578533367912025
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Retrieval-based conversational systems learn to rank response candidates for a given dialogue context by computing the similarity between their vector representations. However, training on a single textual form of the multi-turn context limits the ability of a model to learn representations that generalize to natural perturbations seen during inference. In this paper we propose a framework that incorporates augmented versions of a dialogue context into the learning objective. We utilize contrastive learning as an auxiliary objective to learn robust dialogue context representations that are invariant to perturbations injected through the augmentation method. We experiment with four benchmark dialogue datasets and demonstrate that our framework combines well with existing augmentation methods and can significantly improve over baseline BERT-based ranking architectures. Furthermore, we propose a novel data augmentation method, ConMix, that adds token level perturbations through stochastic mixing of tokens from other contexts in the batch. We show that our proposed augmentation method outperforms previous data augmentation approaches, and provides dialogue representations that are more robust to common perturbations seen during inference.
• Abstract（参考訳）: 検索に基づく会話システムは、ベクトル表現間の類似性を計算することにより、与えられた対話コンテキストに対する応答候補のランク付けを学ぶ。 しかしながら、マルチターンコンテキストの単一のテキスト形式のトレーニングは、推論中に見られる自然摂動に一般化した表現をモデルが学習する能力を制限する。 本稿では,対話コンテキストの拡張バージョンを学習目標に組み込むフレームワークを提案する。 比較学習を補助的目的として活用し,拡張法により注入される摂動に不変な頑健な対話文脈表現を学習する。 4つのベンチマークダイアログデータセットを実験し,既存の拡張手法と組み合わせることで,BERTベースのランキングアーキテクチャを大幅に改善できることを実証した。 さらに,バッチ内の他のコンテキストからのトークンの確率的混合によるトークンレベルの摂動を付加する新しいデータ拡張手法であるConMixを提案する。 提案手法は,従来のデータ拡張手法よりも優れており,推論中に見られる共通の摂動に対してより堅牢な対話表現を提供する。

関連論文リスト

• SPECTRUM: Speaker-Enhanced Pre-Training for Long Dialogue Summarization [48.284512017469524]
  マルチターン対話は、その長さとターンテイクな会話の存在によって特徴づけられる。 伝統的な言語モデルは、しばしばそれらの対話の特徴を通常のテキストとして扱うことによって見落としている。 長文対話要約のための話者強化事前学習手法を提案する。
  論文  参考訳（メタデータ） (2024-01-31T04:50:00Z)
• Pre-training Multi-party Dialogue Models with Latent Discourse Inference [85.9683181507206]
  我々は、多人数対話の会話構造、すなわち、各発話が応答する相手を理解するモデルを事前訓練する。 ラベル付きデータを完全に活用するために,談話構造を潜在変数として扱い,それらを共同で推論し,談話認識モデルを事前学習することを提案する。
  論文  参考訳（メタデータ） (2023-05-24T14:06:27Z)
• Channel-aware Decoupling Network for Multi-turn Dialogue Comprehension [81.47133615169203]
  本稿では,PrLMの逐次文脈化を超えて,発話間の包括的相互作用のための合成学習を提案する。 私たちは、モデルが対話ドメインに適応するのを助けるために、ドメイン適応型トレーニング戦略を採用しています。 実験の結果,提案手法は4つの公開ベンチマークデータセットにおいて,強力なPrLMベースラインを著しく向上させることがわかった。
  論文  参考訳（メタデータ） (2023-01-10T13:18:25Z)
• Utterance Rewriting with Contrastive Learning in Multi-turn Dialogue [22.103162555263143]
  比較学習とマルチタスク学習を導入し、問題を共同でモデル化する。 提案手法は,複数の公開データセット上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-03-22T10:13:27Z)
• Towards Robust Online Dialogue Response Generation [62.99904593650087]
  これは、トレーニングと実世界のテストの相違によって引き起こされる可能性がある、と私たちは主張する。 本稿では, 発話レベルサンプリングと半発話レベルサンプリングの両方からなる階層的サンプリング手法を提案する。
  論文  参考訳（メタデータ） (2022-03-07T06:51:41Z)
• $C^3$: Compositional Counterfactual Contrastive Learning for Video-grounded Dialogues [97.25466640240619]
  映像対話システムの目的は、映像理解と対話理解を統合し、対話と映像コンテキストの両方に関連する応答を生成することである。 既存のアプローチのほとんどはディープラーニングモデルを採用しており、比較的小さなデータセットが利用可能であることを考えると、優れたパフォーマンスを実現している。 本稿では,映像対話における実例と反実例の対比学習を開発するために,合成対実的コントラスト学習の新たなアプローチを提案する。
  論文  参考訳（メタデータ） (2021-06-16T16:05:27Z)
• Learning from Perturbations: Diverse and Informative Dialogue Generation with Inverse Adversarial Training [10.17868476063421]
  Inverse Adversarial Training (IAT) アルゴリズムを提案する。 IATはモデルに対話履歴の摂動に敏感であり、従って摂動から学ぶことを奨励する。 提案手法は対話履歴をモデル化し,より多様で一貫した応答を生成する。
  論文  参考訳（メタデータ） (2021-05-31T17:28:37Z)
• DialogBERT: Discourse-Aware Response Generation via Learning to Recover and Rank Utterances [18.199473005335093]
  本稿では,従来の PLM に基づく対話モデルを強化した対話応答生成モデルである DialogBERT を提案する。 発話間の談話レベルのコヒーレンスを効果的に把握するために,マスク付き発話回帰を含む2つの訓練目標を提案する。 3つのマルチターン会話データセットの実験により、我々のアプローチがベースラインを著しく上回ることを示した。
  論文  参考訳（メタデータ） (2020-12-03T09:06:23Z)
• Enhancing Dialogue Generation via Multi-Level Contrastive Learning [57.005432249952406]
  質問に対する応答のきめ細かい品質をモデル化するマルチレベルコントラスト学習パラダイムを提案する。 Rank-aware (RC) ネットワークはマルチレベルコントラスト最適化の目的を構築するために設計されている。 本研究では,知識推論(KI)コンポーネントを構築し,学習中の参照からキーワードの知識を抽出し,そのような情報を活用して情報的単語の生成を促す。
  論文  参考訳（メタデータ） (2020-09-19T02:41:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。