論文の概要: Wat zei je? Detecting Out-of-Distribution Translations with Variational Transformers

• arxiv url: http://arxiv.org/abs/2006.08344v1
• Date: Mon, 8 Jun 2020 20:00:36 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-23 23:55:59.868119
• Title: Wat zei je? Detecting Out-of-Distribution Translations with Variational Transformers
• Title（参考訳）: ゼイジは? 変分変換器を用いた分布外変換の検出
• Authors: Tim Z. Xiao, Aidan N. Gomez, Yarin Gal
• Abstract要約: 我々は、離散確率変数の長い列に特化して設計された不確実性の新しい尺度を開発する。 我々は,オランダ語の原文,ドイツ語と同じ語型を用いた文が,ドイツ語ではなくモデルに付与された時期を特定することができることを示す。
• 参考スコア（独自算出の注目度）: 35.813009811407454
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We detect out-of-training-distribution sentences in Neural Machine Translation using the Bayesian Deep Learning equivalent of Transformer models. For this we develop a new measure of uncertainty designed specifically for long sequences of discrete random variables -- i.e. words in the output sentence. Our new measure of uncertainty solves a major intractability in the naive application of existing approaches on long sentences. We use our new measure on a Transformer model trained with dropout approximate inference. On the task of German-English translation using WMT13 and Europarl, we show that with dropout uncertainty our measure is able to identify when Dutch source sentences, sentences which use the same word types as German, are given to the model instead of German.
• Abstract（参考訳）: トランスフォーマーモデルと等価なベイズ深層学習を用いて,ニューラルマシン翻訳における学習・分布文の検出を行う。 このために、離散確率変数の長い列、すなわち出力文中の単語に特化して設計された不確実性の新しい尺度を開発する。 我々の新しい不確実性尺度は, 長文に対する既存のアプローチのナイーブな適用において, 大きな難解さを解消する。 我々は,ドロップアウト近似推論により学習した変圧器モデル上での新しい尺度を用いる。 WMT13とEuroparlを用いたドイツ語と英語の翻訳作業において、オランダ語の原文(ドイツ語と同じ語型を用いる文)がドイツ語ではなくモデルに付与される時期を特定することができることを示す。

関連論文リスト

• Can the Variation of Model Weights be used as a Criterion for Self-Paced Multilingual NMT? [7.330978520551704]
  トレーニングデータが不足している場合、多くの1対1のニューラルマシン翻訳システムが1対1のシステムを改善する。 本稿では,そのようなシステムを訓練する際,ミニバッチ言語を選択するための新しいアルゴリズムを設計・テストする。
  論文  参考訳（メタデータ） (2024-10-05T12:52:51Z)
• On the Efficacy of Sampling Adapters [82.5941326570812]
  サンプリングアダプタを理解するための統一的なフレームワークを提案する。 彼らが実施するシフトは、正確さとリコールの間のトレードオフと見なすことができる、と私たちは主張する。 いくつかの精度強調尺度は、サンプリングアダプタが真の分布とより整合した確率分布をもたらすことを確実に示している。
  論文  参考訳（メタデータ） (2023-07-07T17:59:12Z)
• Latent Positional Information is in the Self-Attention Variance of Transformer Language Models Without Positional Embeddings [68.61185138897312]
  凍結変圧器言語モデルでは,自己意図の分散を縮小することにより,強い位置情報を符号化する。 本研究は, 位置埋め込みを廃止する決定を正当化し, トランスフォーマー言語モデルのより効率的な事前学習を容易にすることに役立つ。
  論文  参考訳（メタデータ） (2023-05-23T01:03:40Z)
• Anticipation-free Training for Simultaneous Translation [70.85761141178597]
  同時翻訳(SimulMT)は、原文が完全に利用可能になる前に翻訳を開始することで翻訳プロセスを高速化する。 既存の手法は遅延を増大させるか、SimulMTモデルに適応的な読み書きポリシーを導入し、局所的なリオーダーを処理し、翻訳品質を改善する。 本稿では,翻訳過程をモノトニック翻訳ステップと並べ替えステップに分解する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-01-30T16:29:37Z)
• The Case for Translation-Invariant Self-Attention in Transformer-Based Language Models [11.148662334602639]
  既存の言語モデルの位置埋め込みを分析し、翻訳不変性の強い証拠を見出す。 本稿では,トークン間の相対的な位置を解釈可能な方法で記述する翻訳不変自己アテンション(TISA)を提案する。
  論文  参考訳（メタデータ） (2021-06-03T15:56:26Z)
• Investigating Failures of Automatic Translation in the Case of Unambiguous Gender [13.58884863186619]
  トランスフォーマーベースのモデルは、ニューラルマシン翻訳(NMT)のための現代の作業馬です。 我々は、名詞の性別をマークしない言語から他の名詞に翻訳することに関して、トランスフォーマーモデルによる体系的で初歩的なエラーのクラスを観察する。 トランスベースのNMTモデルがジェンダーを正しく翻訳する能力を測定するための評価スキームとデータセットをリリースします。
  論文  参考訳（メタデータ） (2021-04-16T00:57:36Z)
• Bayesian Transformer Language Models for Speech Recognition [59.235405107295655]
  トランスフォーマーで表現される最先端のニューラルネットワークモデル(LM)は非常に複雑である。 本稿では,トランスフォーマーLM推定のためのベイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-02-09T10:55:27Z)
• Parameter Space Factorization for Zero-Shot Learning across Tasks and Languages [112.65994041398481]
  本稿では,ニューラルパラメータの空間に対するベイズ生成モデルを提案する。 タスク言語の組み合わせから得られたデータに基づいて、そのような潜伏変数よりも後部を推測する。 我々のモデルは、最先端のゼロショットの言語間転送手法よりも、同等か良い結果が得られる。
  論文  参考訳（メタデータ） (2020-01-30T16:58:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。