論文の概要: Evaluating and Improving Context Attention Distribution on Multi-Turn Response Generation using Self-Contained Distractions

• arxiv url: http://arxiv.org/abs/2211.04943v1
• Date: Wed, 9 Nov 2022 15:12:20 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-10 16:46:45.924983
• Title: Evaluating and Improving Context Attention Distribution on Multi-Turn Response Generation using Self-Contained Distractions
• Title（参考訳）: 自己完結型ディストラクションを用いたマルチTurn応答生成における文脈注意分布の評価と改善
• Authors: Yujie Xing and Jon Atle Gulla
• Abstract要約: 我々は,マルチターン生成に基づく会話エージェントの本質的構成要素であるコンテキストアテンション分布に着目した。 このコンポーネントの性能向上のために,自己完結型散逸を利用した最適化戦略を提案する。 Ubuntuのチャットログデータセットを用いた実験により,コンテクストアテンション分布において,同等のパープレキシティを持つモデルを識別できることが判明した。
• 参考スコア（独自算出の注目度）: 0.18275108630751835
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite the rapid progress of open-domain generation-based conversational agents, most deployed systems treat dialogue contexts as single-turns, while systems dealing with multi-turn contexts are less studied. There is a lack of a reliable metric for evaluating multi-turn modelling, as well as an effective solution for improving it. In this paper, we focus on an essential component of multi-turn generation-based conversational agents: context attention distribution, i.e. how systems distribute their attention on dialogue's context. For evaluation of this component, We introduce a novel attention-mechanism-based metric: DAS ratio. To improve performance on this component, we propose an optimization strategy that employs self-contained distractions. Our experiments on the Ubuntu chatlogs dataset show that models with comparable perplexity can be distinguished by their ability on context attention distribution. Our proposed optimization strategy improves both non-hierarchical and hierarchical models on the proposed metric by about 10% from baselines.
• Abstract（参考訳）: オープンドメイン生成に基づく会話エージェントの急速な進歩にもかかわらず、ほとんどのデプロイされたシステムは対話コンテキストをシングルターンとして扱う。 マルチターンモデリングを評価するための信頼できるメトリクスや、それを改善するための効果的なソリューションが欠如している。 本稿では,マルチターン生成型対話エージェントの本質的構成要素であるコンテキストアテンション分布,すなわち,システムが対話のコンテキストにどのように注意を分散させるかに焦点を当てる。 本稿では,この要素を評価するために,新しい注意機構に基づく計量:DAS比を導入する。 このコンポーネントの性能向上のために,自己完結型分散を用いた最適化戦略を提案する。 ubuntu chatlogsデータセットを用いた実験では,コンテクストアテンション分布の能力によって,同等のパープレキシティを持つモデルを見分けることができた。 提案手法は,提案指標の非階層モデルと階層モデルの両方をベースラインから約10%改善する。

関連論文リスト

• Boosting CNN-based Handwriting Recognition Systems with Learnable Relaxation Labeling [48.78361527873024]
  本稿では,2つの異なる手法の強みを組み込んだ手書き文字認識手法を提案する。 本稿では,アルゴリズムの収束を加速し,システム全体の性能を向上させるスペーシフィケーション手法を提案する。
  論文  参考訳（メタデータ） (2024-09-09T15:12:28Z)
• Thread Detection and Response Generation using Transformers with Prompt Optimisation [5.335657953493376]
  本稿では,スレッドを識別し,その重要度に基づいて応答生成を優先するエンドツーエンドモデルを開発する。 モデルは最大10倍の速度向上を実現し、既存のモデルに比べて一貫性のある結果を生成する。
  論文  参考訳（メタデータ） (2024-03-09T14:50:20Z)
• Enhancing End-to-End Multi-Task Dialogue Systems: A Study on Intrinsic Motivation Reinforcement Learning Algorithms for Improved Training and Adaptability [1.0985060632689174]
  本研究の目的は,本研究の本質的な動機づけ強化学習アルゴリズムを検討することである。 我々は,ランダムなネットワーク蒸留と好奇心駆動型強化学習に適応して,国家訪問頻度を測定する。 不均質なデータセットであるMultiWOZの実験結果は、本質的なモチベーションに基づく議論システムは、外生的なインセンティブに依存する政策より優れていることを示している。
  論文  参考訳（メタデータ） (2024-01-31T18:03:39Z)
• Promptformer: Prompted Conformer Transducer for ASR [40.88399609719793]
  注意機構の音響表現とテキストコンテキストを融合させるために,ハイパープロンプティングにインスパイアされた新しいメカニズムを導入する。 提案手法は, 高いベースライン上での相対単語誤り率(rWERR)を5.9%低減することを示す。
  論文  参考訳（メタデータ） (2024-01-14T20:14:35Z)
• DialAug: Mixing up Dialogue Contexts in Contrastive Learning for Robust Conversational Modeling [3.3578533367912025]
  本稿では,対話コンテキストの拡張バージョンを学習目的に組み込むフレームワークを提案する。 提案手法は,従来のデータ拡張手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-04-15T23:39:41Z)
• Utterance Rewriting with Contrastive Learning in Multi-turn Dialogue [22.103162555263143]
  比較学習とマルチタスク学習を導入し、問題を共同でモデル化する。 提案手法は,複数の公開データセット上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-03-22T10:13:27Z)
• Assessing Dialogue Systems with Distribution Distances [48.61159795472962]
  そこで本研究では,対話と実世界の会話の分散的距離を計算し,対話システムの性能を計測する。 複数の対話コーパスを用いた実験により,提案手法は既存の指標よりも人間の判断によく相関することが示された。
  論文  参考訳（メタデータ） (2021-05-06T10:30:13Z)
• Bayesian Attention Modules [65.52970388117923]
  実装や最適化が容易な,スケーラブルな注目バージョンを提案する。 本実験は,提案手法が対応するベースラインに対して一貫した改善をもたらすことを示す。
  論文  参考訳（メタデータ） (2020-10-20T20:30:55Z)
• Semantic Role Labeling Guided Multi-turn Dialogue ReWriter [63.07073750355096]
  意味的役割ラベル付け(SRL)を用いて、誰が誰に何をしたかのコアセマンティック情報を強調することを提案する。 実験の結果、この情報は従来の最先端システムよりも優れていたRoBERTaベースのモデルを大幅に改善することが示された。
  論文  参考訳（メタデータ） (2020-10-03T19:50:04Z)
• Enhancing Dialogue Generation via Multi-Level Contrastive Learning [57.005432249952406]
  質問に対する応答のきめ細かい品質をモデル化するマルチレベルコントラスト学習パラダイムを提案する。 Rank-aware (RC) ネットワークはマルチレベルコントラスト最適化の目的を構築するために設計されている。 本研究では,知識推論(KI)コンポーネントを構築し,学習中の参照からキーワードの知識を抽出し,そのような情報を活用して情報的単語の生成を促す。
  論文  参考訳（メタデータ） (2020-09-19T02:41:04Z)
• Learning an Effective Context-Response Matching Model with Self-Supervised Tasks for Retrieval-based Dialogues [88.73739515457116]
  我々は,次のセッション予測,発話復元,不整合検出,一貫性判定を含む4つの自己教師型タスクを導入する。 我々はPLMに基づく応答選択モデルとこれらの補助タスクをマルチタスク方式で共同で訓練する。 実験結果から,提案した補助的自己教師型タスクは,多ターン応答選択において大きな改善をもたらすことが示された。
  論文  参考訳（メタデータ） (2020-09-14T08:44:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。