論文の概要: Encouraging Neural Machine Translation to Satisfy Terminology Constraints

• arxiv url: http://arxiv.org/abs/2106.03730v1
• Date: Mon, 7 Jun 2021 15:46:07 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-09 01:00:43.238587
• Title: Encouraging Neural Machine Translation to Satisfy Terminology Constraints
• Title（参考訳）: 満足なターミノロジー制約に対するニューラルマシン翻訳の促進
• Authors: Melissa Ailem, Jinghsu Liu, Raheel Qader
• Abstract要約: 語彙制約を満たすためにニューラルマシン翻訳を奨励する新しいアプローチを提案する。 本手法は,トレーニング段階において動作し,推論段階における計算オーバーヘッドの増大を回避する。
• 参考スコア（独自算出の注目度）: 3.3108924994485096
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present a new approach to encourage neural machine translation to satisfy lexical constraints. Our method acts at the training step and thereby avoiding the introduction of any extra computational overhead at inference step. The proposed method combines three main ingredients. The first one consists in augmenting the training data to specify the constraints. Intuitively, this encourages the model to learn a copy behavior when it encounters constraint terms. Compared to previous work, we use a simplified augmentation strategy without source factors. The second ingredient is constraint token masking, which makes it even easier for the model to learn the copy behavior and generalize better. The third one, is a modification of the standard cross entropy loss to bias the model towards assigning high probabilities to constraint words. Empirical results show that our method improves upon related baselines in terms of both BLEU score and the percentage of generated constraint terms.
• Abstract（参考訳）: 語彙制約を満たすためにニューラルマシン翻訳を奨励する新しいアプローチを提案する。 本手法は,トレーニング段階において動作し,推論段階における計算オーバーヘッドの増大を回避する。 提案手法は3つの主成分を組み合わせたものである。 1つ目は、制約を指定するためのトレーニングデータの拡張である。 直感的には、制約項に遭遇するとモデルがコピー動作を学ぶことを奨励します。 これまでの作業と比較して,ソースファクタを使わずに拡張戦略を簡略化した。 第2の要素は制約トークンマスキングであり、モデルのコピー動作の学習と一般化がさらに容易になる。 3つめは、制約語に高い確率を割り当てるためにモデルをバイアスするために標準のクロスエントロピー損失を修正したことである。 実験の結果,提案手法はBLEUスコアと生成された制約項の比率の両方の観点から,関連するベースラインを改善した。

関連論文リスト

• Understanding the Double Descent Phenomenon in Deep Learning [49.1574468325115]
  このチュートリアルは、古典的な統計学習の枠組みを設定し、二重降下現象を導入する。 いくつかの例を見て、セクション2では、二重降下において重要な役割を果たすと思われる帰納的バイアスを導入している。 第3節は2つの線形モデルで二重降下を探索し、最近の関連する研究から他の視点を提供する。
  論文  参考訳（メタデータ） (2024-03-15T16:51:24Z)
• A Pseudo-Semantic Loss for Autoregressive Models with Logical Constraints [87.08677547257733]
  ニューロシンボリックAIは、純粋にシンボリックな学習とニューラルな学習のギャップを埋める。 本稿では,ニューラルネットワークの出力分布に対するシンボリック制約の可能性を最大化する方法を示す。 また,スドクと最短経路予測の手法を自己回帰世代として評価した。
  論文  参考訳（メタデータ） (2023-12-06T20:58:07Z)
• Negative Lexical Constraints in Neural Machine Translation [1.3124513975412255]
  負の語彙制約は、神経翻訳モデルによって生成された翻訳における特定の単語や表現を禁止するために用いられる。 復号処理やトレーニングデータの変更に基づいて,様々な手法を比較した。 この手法が制約を改善することを実証するが、多くの場合、問題は持続する。
  論文  参考訳（メタデータ） (2023-08-07T14:04:15Z)
• Confident Adaptive Language Modeling [95.45272377648773]
  CALMは、入力と生成時間ごとに異なる量の計算を動的に割り当てるフレームワークである。 ハイパフォーマンスを確実に維持しつつ、計算能力、潜在的スピードアップを最大3ドルまで削減する上で、我々のフレームワークの有効性を実証する。
  論文  参考訳（メタデータ） (2022-07-14T17:00:19Z)
• Integrated Training for Sequence-to-Sequence Models Using Non-Autoregressive Transformer [49.897891031932545]
  本稿では,非自己回帰変換器をベースとしたケースドモデルを提案する。 我々は、ピボットベースの2つの機械翻訳タスク、すなわち、フランス語-ドイツ語とドイツ語-チェコ語について評価を行う。
  論文  参考訳（メタデータ） (2021-09-27T11:04:09Z)
• On the Reproducibility of Neural Network Predictions [52.47827424679645]
  そこで本研究では, チャーン問題について検討し, 原因因子を同定し, 緩和する2つの簡単な方法を提案する。 最初に、標準的な画像分類タスクであっても、チャーンが問題であることを示す。 我々は,予測信頼度を高めるために,エントロピー正規化器を提案する。 両手法の有効性を実証的に示し, 基礎モデルの精度を向上しながら, チャーン低減効果を示す。
  論文  参考訳（メタデータ） (2021-02-05T18:51:01Z)
• A Simple but Tough-to-Beat Data Augmentation Approach for Natural Language Understanding and Generation [53.8171136907856]
  カットオフと呼ばれる、シンプルで効果的なデータ拡張戦略のセットを紹介します。 カットオフはサンプリング一貫性に依存しているため、計算オーバーヘッドが少なくなる。 cutoffは、敵のトレーニングを一貫して上回り、IWSLT2014 German- English データセットで最先端の結果を達成する。
  論文  参考訳（メタデータ） (2020-09-29T07:08:35Z)
• Lexically Constrained Neural Machine Translation with Levenshtein Transformer [8.831954614241234]
  本稿では,ニューラルネットワーク翻訳に語彙制約を組み込むための,単純かつ効果的なアルゴリズムを提案する。 提案手法は,デコード速度に影響を与えることなく,推論時に用語制約を注入する。
  論文  参考訳（メタデータ） (2020-04-27T09:59:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。