論文の概要: Conversations Are Not Flat: Modeling the Dynamic Information Flow across Dialogue Utterances

• arxiv url: http://arxiv.org/abs/2106.02227v1
• Date: Fri, 4 Jun 2021 03:04:06 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-07 15:23:34.259538
• Title: Conversations Are Not Flat: Modeling the Dynamic Information Flow across Dialogue Utterances
• Title（参考訳）: 会話はフラットではない:対話発話における動的情報フローのモデル化
• Authors: Zekang Li, Jinchao Zhang, Zhengcong Fei, Yang Feng, Jie Zhou
• Abstract要約: オープンドメイン対話モデルは、歴史的文脈に応じて許容可能な応答を生成することができる。 本稿では,コンテキストフローをモデル化する動的フロー機構を導入するダイアロフローモデルを提案する。 コードと事前訓練されたモデルは公開されます。
• 参考スコア（独自算出の注目度）: 28.255324166852535
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Nowadays, open-domain dialogue models can generate acceptable responses according to the historical context based on the large-scale pre-trained language models. However, they generally concatenate the dialogue history directly as the model input to predict the response, which we named as the flat pattern and ignores the dynamic information flow across dialogue utterances. In this work, we propose the DialoFlow model, in which we introduce a dynamic flow mechanism to model the context flow, and design three training objectives to capture the information dynamics across dialogue utterances by addressing the semantic influence brought about by each utterance in large-scale pre-training. Experiments on the multi-reference Reddit Dataset and DailyDialog Dataset demonstrate that our DialoFlow significantly outperforms the DialoGPT on the dialogue generation task. Besides, we propose the Flow score, an effective automatic metric for evaluating interactive human-bot conversation quality based on the pre-trained DialoFlow, which presents high chatbot-level correlation ($r=0.9$) with human ratings among 11 chatbots. Code and pre-trained models will be public. \footnote{\url{https://github.com/ictnlp/DialoFlow}}
• Abstract（参考訳）: 現在、オープンドメイン対話モデルは、大規模な事前学習言語モデルに基づいて、歴史的文脈に応じて許容可能な応答を生成することができる。 しかし、一般に、対話履歴をモデル入力として直接結合して応答を予測し、それをフラットパターンと呼び、対話発話間の動的情報の流れを無視する。 本研究では,コンテキストフローをモデル化する動的フロー機構を導入するダイアロフローモデルを提案し,大規模事前学習における各発話がもたらした意味的影響に対処し,対話発話間の情報ダイナミクスを捉えるための3つの学習目標を考案する。 マルチリファレンスredditデータセットとdailydialogデータセットの実験では、ダイアログフローが対話生成タスクのダイアログを大幅に上回っています。 また,11種類のチャットボットにおいて,チャットボットレベルの相関度が高い(r=0.9$)という,事前学習されたダイアロフローに基づいて対話型ボット対話品質を評価するための効果的な自動測定指標であるフロースコアを提案する。 コードと事前訓練されたモデルは公開されます。 \footnote{\url{https://github.com/ictnlp/DialoFlow}}

関連論文リスト

• TOD-Flow: Modeling the Structure of Task-Oriented Dialogues [77.15457469745364]
  ダイアログを付加した対話データからTOD-Flowグラフを推定する手法を提案する。 推定されたTOD-Flowグラフは、任意の対話モデルと容易に統合することができ、予測性能、透明性、制御性を改善することができる。
  論文  参考訳（メタデータ） (2023-12-07T20:06:23Z)
• Pre-training Multi-party Dialogue Models with Latent Discourse Inference [85.9683181507206]
  我々は、多人数対話の会話構造、すなわち、各発話が応答する相手を理解するモデルを事前訓練する。 ラベル付きデータを完全に活用するために,談話構造を潜在変数として扱い,それらを共同で推論し,談話認識モデルを事前学習することを提案する。
  論文  参考訳（メタデータ） (2023-05-24T14:06:27Z)
• Weakly Supervised Data Augmentation Through Prompting for Dialogue Understanding [103.94325597273316]
  本稿では,弱教師付きフィルタを適用して拡張品質を反復する手法を提案する。 我々は、デイリーダイアログにおける感情と行動の分類タスクと、Facebook Multilingual Task-Oriented Dialogueにおける意図の分類タスクについて評価した。 特にDailyDialogでは、真理データの10%を使用して、100%のデータを使用する現在の最先端モデルよりも優れています。
  論文  参考訳（メタデータ） (2022-10-25T17:01:30Z)
• GODEL: Large-Scale Pre-Training for Goal-Directed Dialog [119.1397031992088]
  ダイアログのための大規模事前学習言語モデルであるGODELを紹介する。 GODELは、数ショットの微調整設定で、最先端の事前訓練ダイアログモデルより優れていることを示す。 評価手法の新たな特徴は,応答の有用性を評価するユーティリティの概念の導入である。
  論文  参考訳（メタデータ） (2022-06-22T18:19:32Z)
• Precognition in Task-oriented Dialogue Understanding: Posterior Regularization by Future Context [8.59600111891194]
  本稿では,後続正則化手法を用いて,歴史的・将来の情報を共同でモデル化することを提案する。 これらの間のKL距離を最適化し、トレーニング中にモデルを正規化します。 2つの対話データセットの実験により,提案手法の有効性が検証された。
  論文  参考訳（メタデータ） (2022-03-07T09:58:50Z)
• Multi-Referenced Training for Dialogue Response Generation [36.24321477524634]
  実世界の確率分布と単一参照データの確率分布とのギャップは,モデルが1対多の関係を効率的に学習することを妨げることを示す。 我々は、実世界の分布をよりよく近似するマルチ参照データを構築するために、強力な事前学習モデルから多様な擬似参照を生成する。
  論文  参考訳（メタデータ） (2020-09-15T14:17:53Z)
• Learning an Unreferenced Metric for Online Dialogue Evaluation [53.38078951628143]
  本稿では,大規模な事前学習言語モデルを用いて発話の潜在表現を抽出する非参照自動評価指標を提案する。 提案手法は,オンライン環境でのアノテーションと高い相関性を実現すると同時に,推論時に比較に真の応答を必要としないことを示す。
  論文  参考訳（メタデータ） (2020-05-01T20:01:39Z)
• An Empirical Investigation of Pre-Trained Transformer Language Models for Open-Domain Dialogue Generation [23.343006562849126]
  本稿では,オープンドメイン対話生成作業のための事前学習型トランスフォーマーに基づく自動回帰言語モデルについて実験的に検討する。 事前訓練と微調整の訓練パラダイムは、学習を行うために使用される。 実験は、Weibo、Douban、Reddit、DailyDialog、Persona-Chatといった典型的なシングルターンとマルチターンの対話コーパスで行われる。
  論文  参考訳（メタデータ） (2020-03-09T15:20:21Z)
• Variational Hierarchical Dialog Autoencoder for Dialog State Tracking Data Augmentation [59.174903564894954]
  本研究では,この手法を,ゴール指向対話のための対話状態追跡タスクに拡張する。 目的指向ダイアログの完全な側面をモデル化するための変分階層型ダイアログオートエンコーダ(VHDA)を提案する。 各種ダイアログデータセットを用いた実験により、生成データ拡張による下流ダイアログトラッカーのロバスト性の向上が示された。
  論文  参考訳（メタデータ） (2020-01-23T15:34:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。