論文の概要: Generating Diverse Translation from Model Distribution with Dropout

• arxiv url: http://arxiv.org/abs/2010.08178v1
• Date: Fri, 16 Oct 2020 05:50:00 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-06 20:02:21.228764
• Title: Generating Diverse Translation from Model Distribution with Dropout
• Title（参考訳）: ドロップアウトを用いたモデル分布からの多様な翻訳の生成
• Authors: Xuanfu Wu, Yang Feng, Chenze Shao
• Abstract要約: ベイジアンモデルとサンプリングモデルを用いた多種多様なモデルを推論のために導出することで、多種多様な翻訳を生成することを提案する。 本研究では,中国語・英語・ドイツ語の翻訳課題について実験を行った結果,多様性と精度のトレードオフが良好であることが確認された。
• 参考スコア（独自算出の注目度）: 13.223158914896727
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite the improvement of translation quality, neural machine translation (NMT) often suffers from the lack of diversity in its generation. In this paper, we propose to generate diverse translations by deriving a large number of possible models with Bayesian modelling and sampling models from them for inference. The possible models are obtained by applying concrete dropout to the NMT model and each of them has specific confidence for its prediction, which corresponds to a posterior model distribution under specific training data in the principle of Bayesian modeling. With variational inference, the posterior model distribution can be approximated with a variational distribution, from which the final models for inference are sampled. We conducted experiments on Chinese-English and English-German translation tasks and the results shows that our method makes a better trade-off between diversity and accuracy.
• Abstract（参考訳）: 翻訳品質の改善にもかかわらず、ニューラルマシン翻訳(NMT)はその世代における多様性の欠如に悩まされることが多い。 本稿では,ベイズモデルとサンプリングモデルを用いた多種多様なモデルを推論のために導出することで,多種多様な翻訳を生成することを提案する。 NMTモデルにコンクリートドロップアウトを適用し,それぞれが特定のトレーニングデータに基づく後部モデル分布に対応してベイジアンモデリングを原理として,その予測に具体的な信頼性を持つ。 変分推論では、後続モデル分布は変分分布と近似することができ、そこから推論の最終モデルがサンプリングされる。 本研究では,中国語・英語・ドイツ語の翻訳課題について実験を行い,本手法が多様性と精度のトレードオフを改善することを示す。

関連論文リスト

• Local Bayesian Dirichlet mixing of imperfect models [0.0]
  ベイズモデルの平均化および混合技術による核質量の採掘能力について検討した。 予測精度と不確実性定量化の両方において,グローバルモデルと局所モデルの混合が優れた性能を発揮することを示す。
  論文  参考訳（メタデータ） (2023-11-02T21:02:40Z)
• Diffusion models for probabilistic programming [56.47577824219207]
  拡散モデル変分推論(DMVI)は確率型プログラミング言語(PPL)における自動近似推論手法である DMVIは実装が容易で、例えば正規化フローを用いた変分推論の欠点を伴わずに、PPLでヘイズルフリー推論が可能であり、基礎となるニューラルネットワークモデルに制約を課さない。
  論文  参考訳（メタデータ） (2023-11-01T12:17:05Z)
• Tailoring Language Generation Models under Total Variation Distance [55.89964205594829]
  ニューラルネットワーク生成の標準パラダイムは、最適化方法として最大推定(MLE)を採用する。 言語生成に適用するための実践的境界を開発する。 本稿では,TVD推定のトレードオフのバランスをとるためのTaiLr の目標について紹介する。
  論文  参考訳（メタデータ） (2023-02-26T16:32:52Z)
• Bayesian Additive Main Effects and Multiplicative Interaction Models using Tensor Regression for Multi-environmental Trials [0.0]
  本稿では,複数の因子が表現型予測に与える影響を考慮したベイズテンソル回帰モデルを提案する。 我々は、モデルのパラメータ間で生じる可能性のある識別可能性の問題を解決するための、事前分布のセットを採用する。 我々は2010年から2019年までのアイルランドにおける小麦生産に関する実世界のデータを分析して、我々のモデルの適用性を探る。
  論文  参考訳（メタデータ） (2023-01-09T19:54:50Z)
• Siamese Neural Network with Joint Bayesian Model Structure for Speaker Verification [54.96267179988487]
  本稿では,話者検証のための新しいサイムズニューラルネットワーク(SiamNN)を提案する。 サンプルの結合分布は、JB(Joint Bayesian)に基づく生成モデルに基づいて最初に定式化される。 話者照合のための二項識別タスクとして,ペアワイズしたサンプルを用いてモデルパラメータを訓練する。
  論文  参考訳（メタデータ） (2021-04-07T09:17:29Z)
• Improving the Reconstruction of Disentangled Representation Learners via Multi-Stage Modeling [54.94763543386523]
  現在の自己エンコーダに基づく非絡み合い表現学習法は、(集合体)後部をペナルティ化し、潜伏因子の統計的独立を促進することで、非絡み合いを実現する。 本稿では,不整合因子をペナルティに基づく不整合表現学習法を用いて学習する,新しい多段階モデリング手法を提案する。 次に、低品質な再構成を、欠落した関連潜伏変数をモデル化するために訓練された別の深層生成モデルで改善する。
  論文  参考訳（メタデータ） (2020-10-25T18:51:15Z)
• Decision-Making with Auto-Encoding Variational Bayes [71.44735417472043]
  変分分布とは異なる後部近似を用いて意思決定を行うことが示唆された。 これらの理論的な結果から,最適モデルに関するいくつかの近似的提案を学習することを提案する。 おもちゃの例に加えて,単細胞RNAシークエンシングのケーススタディも紹介する。
  論文  参考訳（メタデータ） (2020-02-17T19:23:36Z)
• Parameter Space Factorization for Zero-Shot Learning across Tasks and Languages [112.65994041398481]
  本稿では,ニューラルパラメータの空間に対するベイズ生成モデルを提案する。 タスク言語の組み合わせから得られたデータに基づいて、そのような潜伏変数よりも後部を推測する。 我々のモデルは、最先端のゼロショットの言語間転送手法よりも、同等か良い結果が得られる。
  論文  参考訳（メタデータ） (2020-01-30T16:58:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。