論文の概要: Towards Multimodal Response Generation with Exemplar Augmentation and Curriculum Optimization

• arxiv url: http://arxiv.org/abs/2004.12429v1
• Date: Sun, 26 Apr 2020 16:29:06 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-09 13:27:11.689896
• Title: Towards Multimodal Response Generation with Exemplar Augmentation and Curriculum Optimization
• Title（参考訳）: 模範強化とカリキュラム最適化によるマルチモーダル応答生成に向けて
• Authors: Zeyang Lei, Zekang Li, Jinchao Zhang, Fandong Meng, Yang Feng, Yujiu Yang, Cheng Niu, Jie Zhou
• Abstract要約: 本稿では,高度化とカリキュラム最適化を併用した,新しいマルチモーダル応答生成フレームワークを提案する。 我々のモデルは多様性と妥当性の点で強いベースラインに比べて大幅に改善されている。
• 参考スコア（独自算出の注目度）: 73.45742420178196
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, variational auto-encoder (VAE) based approaches have made impressive progress on improving the diversity of generated responses. However, these methods usually suffer the cost of decreased relevance accompanied by diversity improvements. In this paper, we propose a novel multimodal response generation framework with exemplar augmentation and curriculum optimization to enhance relevance and diversity of generated responses. First, unlike existing VAE-based models that usually approximate a simple Gaussian posterior distribution, we present a Gaussian mixture posterior distribution (i.e, multimodal) to further boost response diversity, which helps capture complex semantics of responses. Then, to ensure that relevance does not decrease while diversity increases, we fully exploit similar examples (exemplars) retrieved from the training data into posterior distribution modeling to augment response relevance. Furthermore, to facilitate the convergence of Gaussian mixture prior and posterior distributions, we devise a curriculum optimization strategy to progressively train the model under multiple training criteria from easy to hard. Experimental results on widely used SwitchBoard and DailyDialog datasets demonstrate that our model achieves significant improvements compared to strong baselines in terms of diversity and relevance.
• Abstract（参考訳）: 近年, 可変オートエンコーダ (VAE) を用いたアプローチは, 応答の多様性向上に顕著な進展をもたらした。 しかし、これらの方法は通常、多様性の向上に伴う関連性の低下のコストを被る。 本稿では,生成した応答の妥当性と多様性を高めるために,exemplar additionation と curriculum optimization を用いたマルチモーダル応答生成フレームワークを提案する。 まず、通常単純なガウスの後方分布を近似する既存のVAEベースのモデルとは異なり、応答の多様性をさらに高めるためにガウス混合後続分布(つまりマルチモーダル)を提示し、応答の複雑な意味論を捉えるのに役立つ。 そして、多様性が増す間、妥当性が低下しないよう、トレーニングデータから得られた類似の例(例)を後続分布モデルに完全活用し、応答の妥当性を高める。 さらに, ガウス混合の事前分布と後方分布の収束を容易にするため, 複数の学習条件下でモデルを段階的に訓練するカリキュラム最適化戦略を考案した。 広範に使用されているswitchboardおよびdailydialogデータセットにおける実験結果から,このモデルは,多様性と関連性の観点から,強力なベースラインと比較して大きな改善を達成していることが示された。

関連論文リスト

• Preference Optimization with Multi-Sample Comparisons [53.02717574375549]
  本稿では,マルチサンプル比較を含むポストトレーニングの拡張手法を提案する。 これらのアプローチは、生成的多様性やバイアスといった重要な特徴を捉えられない。 マルチサンプル比較はシングルサンプル比較よりも集団特性の最適化に有効であることを示す。
  論文  参考訳（メタデータ） (2024-10-16T00:59:19Z)
• Variational Learning of Gaussian Process Latent Variable Models through Stochastic Gradient Annealed Importance Sampling [22.256068524699472]
  本研究では,これらの問題に対処するために,Annealed Importance Smpling (AIS)アプローチを提案する。 シークエンシャルモンテカルロサンプリング器とVIの強度を組み合わせることで、より広い範囲の後方分布を探索し、徐々にターゲット分布に接近する。 実験結果から,本手法はより厳密な変動境界,高い対数類似度,より堅牢な収束率で最先端の手法より優れていることが示された。
  論文  参考訳（メタデータ） (2024-08-13T08:09:05Z)
• Making Substitute Models More Bayesian Can Enhance Transferability of Adversarial Examples [89.85593878754571]
  ディープニューラルネットワークにおける敵の例の転送可能性は多くのブラックボックス攻撃の欠如である。 我々は、望ましい転送可能性を達成するためにベイズモデルを攻撃することを提唱する。 我々の手法は近年の最先端を大きなマージンで上回る。
  論文  参考訳（メタデータ） (2023-02-10T07:08:13Z)
• Adaptive Contrastive Learning on Multimodal Transformer for Review Helpfulness Predictions [40.70793282367128]
  本稿では,MRHP(Multimodal Review Helpfulness Prediction)問題に対するマルチモーダルコントラスト学習を提案する。 さらに,コントラスト学習における適応重み付け方式を提案する。 最後に,マルチモーダルデータの不整合性に対処するマルチモーダルインタラクションモジュールを提案する。
  論文  参考訳（メタデータ） (2022-11-07T13:05:56Z)
• Trustworthy Multimodal Regression with Mixture of Normal-inverse Gamma Distributions [91.63716984911278]
  このアルゴリズムは、異なるモードの適応的統合の原理における不確かさを効率的に推定し、信頼できる回帰結果を生成する。 実世界のデータと実世界のデータの両方に対する実験結果から,多モード回帰タスクにおける本手法の有効性と信頼性が示された。
  論文  参考訳（メタデータ） (2021-11-11T14:28:12Z)
• Improving the Reconstruction of Disentangled Representation Learners via Multi-Stage Modeling [54.94763543386523]
  現在の自己エンコーダに基づく非絡み合い表現学習法は、(集合体)後部をペナルティ化し、潜伏因子の統計的独立を促進することで、非絡み合いを実現する。 本稿では,不整合因子をペナルティに基づく不整合表現学習法を用いて学習する,新しい多段階モデリング手法を提案する。 次に、低品質な再構成を、欠落した関連潜伏変数をモデル化するために訓練された別の深層生成モデルで改善する。
  論文  参考訳（メタデータ） (2020-10-25T18:51:15Z)
• Neural Mixture Distributional Regression [0.9023847175654603]
  フレキシブルな加法予測器によって定義される分布回帰の有限混合を推定する包括的枠組みを提案する。 我々のフレームワークは、高次元の設定において、潜在的に異なる分布の多くの混合を処理できる。
  論文  参考訳（メタデータ） (2020-10-14T09:00:16Z)
• Learning more expressive joint distributions in multimodal variational methods [0.17188280334580194]
  正規化フローを用いたマルチモーダル変分法の表現能力を向上させる手法を提案する。 このモデルは,様々なコンピュータビジョンタスクの変動推論に基づいて,最先端のマルチモーダル手法を改善することを実証する。 また, より強力な近似関節分布の学習により, 生成した試料の品質が向上することを示した。
  論文  参考訳（メタデータ） (2020-09-08T11:45:27Z)
• Generative Data Augmentation for Commonsense Reasoning [75.26876609249197]
  G-DAUGCは、低リソース環境でより正確で堅牢な学習を実現することを目的とした、新しい生成データ拡張手法である。 G-DAUGCは、バックトランスレーションに基づく既存のデータ拡張手法を一貫して上回っている。 分析の結果,G-DAUGCは多種多様な流線型学習例を産出し,その選択と学習アプローチが性能向上に重要であることが示された。
  論文  参考訳（メタデータ） (2020-04-24T06:12:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。