論文の概要: Focus-Constrained Attention Mechanism for CVAE-based Response Generation
- arxiv url: http://arxiv.org/abs/2009.12102v1
- Date: Fri, 25 Sep 2020 09:38:59 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-14 22:48:27.575140
- Title: Focus-Constrained Attention Mechanism for CVAE-based Response Generation
- Title(参考訳): CVAEを用いた応答生成のための焦点拘束型注意機構
- Authors: Zhi Cui, Yanran Li, Jiayi Zhang, Jianwei Cui, Chen Wei, Bin Wang
- Abstract要約: 潜伏変数は、談話レベルの情報をキャプチャし、ターゲット応答の通知性を促進する。
粗粒度談話レベル情報を細粒度語レベル情報に変換する。
我々のモデルは、いくつかの最先端モデルと比較して、より多様で情報的な応答を生成することができる。
- 参考スコア(独自算出の注目度): 27.701626908931267
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: To model diverse responses for a given post, one promising way is to
introduce a latent variable into Seq2Seq models. The latent variable is
supposed to capture the discourse-level information and encourage the
informativeness of target responses. However, such discourse-level information
is often too coarse for the decoder to be utilized. To tackle it, our idea is
to transform the coarse-grained discourse-level information into fine-grained
word-level information. Specifically, we firstly measure the semantic
concentration of corresponding target response on the post words by introducing
a fine-grained focus signal. Then, we propose a focus-constrained attention
mechanism to take full advantage of focus in well aligning the input to the
target response. The experimental results demonstrate that by exploiting the
fine-grained signal, our model can generate more diverse and informative
responses compared with several state-of-the-art models.
- Abstract(参考訳): ある投稿に対する多様な応答をモデル化するには、seq2seqモデルに潜在変数を導入することが有望である。
潜在変数は、談話レベルの情報をキャプチャし、ターゲット応答のインフォメーション性を促進する。
しかし、そのような談話レベルの情報はデコーダが利用するには粗いことが多い。
そこで本手法では,粗粒度情報から細粒度語レベル情報へ変換する。
具体的には、まず、細粒度焦点信号を導入することで、ポストワードに対する対応するターゲット応答の意味的集中度を測定する。
そこで,本研究では,目標応答に対する入力の整合性を十分に活用する集中拘束型注意機構を提案する。
実験結果から, より微細な信号を利用することにより, 複数の最先端モデルと比較して, より多種多様な応答を生成できることがわかった。
関連論文リスト
- Mitigating Reward Hacking via Information-Theoretic Reward Modeling [70.26019860948114]
本稿では,報酬モデリングのための汎用的で堅牢なフレームワークであるInfoRMを提案する。
我々は,潜伏空間における過最適化と外れ値の相関を同定し,報酬過最適化を検出するための有望なツールとしてInfoRMを確立した。
論文 参考訳(メタデータ) (2024-02-14T17:49:07Z) - Integrating Self-supervised Speech Model with Pseudo Word-level Targets
from Visually-grounded Speech Model [57.78191634042409]
擬似単語レベルのターゲットを学習プロセスに統合するフレームワークであるPseudo-Word HuBERT(PW-HuBERT)を提案する。
4つの音声言語理解(SLU)ベンチマークによる実験結果から,意味情報の収集におけるモデルの有用性が示唆された。
論文 参考訳(メタデータ) (2024-02-08T16:55:21Z) - Robust Saliency-Aware Distillation for Few-shot Fine-grained Visual
Recognition [57.08108545219043]
サンプルが少ない新しいサブカテゴリを認識することは、コンピュータビジョンにおいて不可欠で挑戦的な研究課題である。
既存の文献は、ローカルベースの表現アプローチを採用することでこの問題に対処している。
本稿では,ロバスト・サリエンシ・アウェア蒸留法(RSaD)を提案する。
論文 参考訳(メタデータ) (2023-05-12T00:13:17Z) - Incorporating Casual Analysis into Diversified and Logical Response
Generation [14.4586344491264]
条件変分オートエンコーダ(CVAE)モデルは、従来のSeq2Seqモデルよりも多様な応答を生成することができる。
本稿では,メディエータが関連する情報を保持することを予測し,メディエータを自動回帰的に生成プロセスに組み込むことを提案する。
論文 参考訳(メタデータ) (2022-09-20T05:51:11Z) - Improving Speech Emotion Recognition Through Focus and Calibration
Attention Mechanisms [0.5994412766684842]
既存のマルチヘッド自己注意における注意と信号振幅の相違を同定する。
そこで本研究では,マルチヘッド・セルフアテンションと組み合わせて,フォーカス・アテンション(FA)機構とノベル・アテンション(CA)機構を提案する。
CA機構を利用することで、異なる重みをそれぞれのアテンションヘッドに割り当てることで、情報フローを変調し、周囲のコンテキストの利用を改善することができる。
論文 参考訳(メタデータ) (2022-08-21T08:04:22Z) - Advanced Conditional Variational Autoencoders (A-CVAE): Towards
interpreting open-domain conversation generation via disentangling latent
feature representation [15.742077523458995]
本稿では,メソスコピックスケールの特徴的絡み合いを伴う認知的アプローチを通じて,先行知識による生成モデルを活用することを提案する。
本稿では,潜在空間分布の解釈可能性を客観的に評価できるオープンドメイン対話のための新しい指標を提案する。
論文 参考訳(メタデータ) (2022-07-26T07:39:36Z) - Bayesian Attention Belief Networks [59.183311769616466]
注意に基づくニューラルネットワークは、幅広いタスクにおいて最先端の結果を得た。
本稿では,非正規化注意重みをモデル化してデコーダネットワークを構築するベイズ的注意信念ネットワークについて紹介する。
提案手法は, 精度, 不確実性推定, ドメイン間の一般化, 敵攻撃において, 決定論的注意と最先端の注意よりも優れていることを示す。
論文 参考訳(メタデータ) (2021-06-09T17:46:22Z) - DGA-Net Dynamic Gaussian Attention Network for Sentence Semantic
Matching [52.661387170698255]
本稿では,注意機構を改善するための新しい動的ガウス注意ネットワーク(DGA-Net)を提案する。
まず、事前学習された言語モデルを用いて、入力文を符号化し、大域的な視点から意味表現を構築する。
最後に,DGA(Dynamic Gaussian Attention)を開発し,重要な部分と対応するローカルコンテキストを詳細な視点から動的に捉える。
論文 参考訳(メタデータ) (2021-06-09T08:43:04Z) - Improve the Interpretability of Attention: A Fast, Accurate, and
Interpretable High-Resolution Attention Model [6.906621279967867]
そこで本稿では,タスク関連情報を取り込むための,非線形代表非パラメトリックアテンション(BR-NPA)戦略を提案する。
提案したモデルは、分類が関与する様々な近代的な深層モデルに容易に適応できる。
また、通常のニューラルアテンションモジュールよりも正確で高速で、メモリフットプリントも小さい。
論文 参考訳(メタデータ) (2021-06-04T15:57:37Z) - Enhancing Dialogue Generation via Multi-Level Contrastive Learning [57.005432249952406]
質問に対する応答のきめ細かい品質をモデル化するマルチレベルコントラスト学習パラダイムを提案する。
Rank-aware (RC) ネットワークはマルチレベルコントラスト最適化の目的を構築するために設計されている。
本研究では,知識推論(KI)コンポーネントを構築し,学習中の参照からキーワードの知識を抽出し,そのような情報を活用して情報的単語の生成を促す。
論文 参考訳(メタデータ) (2020-09-19T02:41:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。