論文の概要: Focus-Constrained Attention Mechanism for CVAE-based Response Generation

• arxiv url: http://arxiv.org/abs/2009.12102v1
• Date: Fri, 25 Sep 2020 09:38:59 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-14 22:48:27.575140
• Title: Focus-Constrained Attention Mechanism for CVAE-based Response Generation
• Title（参考訳）: CVAEを用いた応答生成のための焦点拘束型注意機構
• Authors: Zhi Cui, Yanran Li, Jiayi Zhang, Jianwei Cui, Chen Wei, Bin Wang
• Abstract要約: 潜伏変数は、談話レベルの情報をキャプチャし、ターゲット応答の通知性を促進する。 粗粒度談話レベル情報を細粒度語レベル情報に変換する。 我々のモデルは、いくつかの最先端モデルと比較して、より多様で情報的な応答を生成することができる。
• 参考スコア（独自算出の注目度）: 27.701626908931267
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: To model diverse responses for a given post, one promising way is to introduce a latent variable into Seq2Seq models. The latent variable is supposed to capture the discourse-level information and encourage the informativeness of target responses. However, such discourse-level information is often too coarse for the decoder to be utilized. To tackle it, our idea is to transform the coarse-grained discourse-level information into fine-grained word-level information. Specifically, we firstly measure the semantic concentration of corresponding target response on the post words by introducing a fine-grained focus signal. Then, we propose a focus-constrained attention mechanism to take full advantage of focus in well aligning the input to the target response. The experimental results demonstrate that by exploiting the fine-grained signal, our model can generate more diverse and informative responses compared with several state-of-the-art models.
• Abstract（参考訳）: ある投稿に対する多様な応答をモデル化するには、seq2seqモデルに潜在変数を導入することが有望である。 潜在変数は、談話レベルの情報をキャプチャし、ターゲット応答のインフォメーション性を促進する。 しかし、そのような談話レベルの情報はデコーダが利用するには粗いことが多い。 そこで本手法では,粗粒度情報から細粒度語レベル情報へ変換する。 具体的には、まず、細粒度焦点信号を導入することで、ポストワードに対する対応するターゲット応答の意味的集中度を測定する。 そこで,本研究では,目標応答に対する入力の整合性を十分に活用する集中拘束型注意機構を提案する。 実験結果から, より微細な信号を利用することにより, 複数の最先端モデルと比較して, より多種多様な応答を生成できることがわかった。

関連論文リスト

• Towards Interpreting Language Models: A Case Study in Multi-Hop Reasoning [0.0]
  言語モデル(LM)は、一貫してマルチホップ推論を行うのに苦労する。 本稿では,LMアテンションヘッド上のターゲットメモリ注入によるマルチホップ推論障害をピンポイントし,修正する手法を提案する。
  論文  参考訳（メタデータ） (2024-11-06T16:30:26Z)
• Investigating Disentanglement in a Phoneme-level Speech Codec for Prosody Modeling [39.80957479349776]
  本稿では,RVQ-VAEモデルの離散空間の韻律モデリング機能について検討し,音素レベルでの操作を可能とした。 音素レベルの離散潜在表現は, 頑健かつ伝達可能な微細な韻律情報を捕捉し, 高いアンタングル化を実現することを示す。
  論文  参考訳（メタデータ） (2024-09-13T09:27:05Z)
• iSeg: An Iterative Refinement-based Framework for Training-free Segmentation [85.58324416386375]
  本稿では,自己注意マップを用いた横断注意マップの繰り返し精錬に関する実験的検討を行った。 トレーニング不要セグメンテーションのための効果的な反復改良フレームワークiSegを提案する。 提案したiSegは,mIoUの3.8%の絶対ゲインを達成している。
  論文  参考訳（メタデータ） (2024-09-05T03:07:26Z)
• Towards Better Text-to-Image Generation Alignment via Attention Modulation [16.020834525343997]
  本研究では,拡散モデルに対する注意の変調による学習自由な位相ワイズ機構である属性焦点機構を提案する。 クロスアテンションモジュールには、オブジェクト指向マスキングスキームと位相ワイドダイナミックウェイトコントロール機構が組み込まれている。 様々なアライメントシナリオにおける実験結果から,我々のモデルは最小の計算コストでより優れた画像テキストアライメントを実現することができた。
  論文  参考訳（メタデータ） (2024-04-22T06:18:37Z)
• Integrating Self-supervised Speech Model with Pseudo Word-level Targets from Visually-grounded Speech Model [57.78191634042409]
  擬似単語レベルのターゲットを学習プロセスに統合するフレームワークであるPseudo-Word HuBERT(PW-HuBERT)を提案する。 4つの音声言語理解(SLU)ベンチマークによる実験結果から,意味情報の収集におけるモデルの有用性が示唆された。
  論文  参考訳（メタデータ） (2024-02-08T16:55:21Z)
• Robust Saliency-Aware Distillation for Few-shot Fine-grained Visual Recognition [57.08108545219043]
  サンプルが少ない新しいサブカテゴリを認識することは、コンピュータビジョンにおいて不可欠で挑戦的な研究課題である。 既存の文献は、ローカルベースの表現アプローチを採用することでこの問題に対処している。 本稿では,ロバスト・サリエンシ・アウェア蒸留法(RSaD)を提案する。
  論文  参考訳（メタデータ） (2023-05-12T00:13:17Z)
• Advanced Conditional Variational Autoencoders (A-CVAE): Towards interpreting open-domain conversation generation via disentangling latent feature representation [15.742077523458995]
  本稿では,メソスコピックスケールの特徴的絡み合いを伴う認知的アプローチを通じて,先行知識による生成モデルを活用することを提案する。 本稿では,潜在空間分布の解釈可能性を客観的に評価できるオープンドメイン対話のための新しい指標を提案する。
  論文  参考訳（メタデータ） (2022-07-26T07:39:36Z)
• Bayesian Attention Belief Networks [59.183311769616466]
  注意に基づくニューラルネットワークは、幅広いタスクにおいて最先端の結果を得た。 本稿では,非正規化注意重みをモデル化してデコーダネットワークを構築するベイズ的注意信念ネットワークについて紹介する。 提案手法は, 精度, 不確実性推定, ドメイン間の一般化, 敵攻撃において, 決定論的注意と最先端の注意よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-06-09T17:46:22Z)
• DGA-Net Dynamic Gaussian Attention Network for Sentence Semantic Matching [52.661387170698255]
  本稿では,注意機構を改善するための新しい動的ガウス注意ネットワーク(DGA-Net)を提案する。 まず、事前学習された言語モデルを用いて、入力文を符号化し、大域的な視点から意味表現を構築する。 最後に,DGA(Dynamic Gaussian Attention)を開発し,重要な部分と対応するローカルコンテキストを詳細な視点から動的に捉える。
  論文  参考訳（メタデータ） (2021-06-09T08:43:04Z)
• Enhancing Dialogue Generation via Multi-Level Contrastive Learning [57.005432249952406]
  質問に対する応答のきめ細かい品質をモデル化するマルチレベルコントラスト学習パラダイムを提案する。 Rank-aware (RC) ネットワークはマルチレベルコントラスト最適化の目的を構築するために設計されている。 本研究では,知識推論(KI)コンポーネントを構築し,学習中の参照からキーワードの知識を抽出し,そのような情報を活用して情報的単語の生成を促す。
  論文  参考訳（メタデータ） (2020-09-19T02:41:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。