論文の概要: Lexically Constrained Neural Machine Translation with Levenshtein Transformer

• arxiv url: http://arxiv.org/abs/2004.12681v1
• Date: Mon, 27 Apr 2020 09:59:27 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-09 05:11:03.379691
• Title: Lexically Constrained Neural Machine Translation with Levenshtein Transformer
• Title（参考訳）: レベンシュテイントランスフォーマーを用いた語彙制約付きニューラルマシン翻訳
• Authors: Raymond Hendy Susanto, Shamil Chollampatt, and Liling Tan
• Abstract要約: 本稿では,ニューラルネットワーク翻訳に語彙制約を組み込むための,単純かつ効果的なアルゴリズムを提案する。 提案手法は,デコード速度に影響を与えることなく,推論時に用語制約を注入する。
• 参考スコア（独自算出の注目度）: 8.831954614241234
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper proposes a simple and effective algorithm for incorporating lexical constraints in neural machine translation. Previous work either required re-training existing models with the lexical constraints or incorporating them during beam search decoding with significantly higher computational overheads. Leveraging the flexibility and speed of a recently proposed Levenshtein Transformer model (Gu et al., 2019), our method injects terminology constraints at inference time without any impact on decoding speed. Our method does not require any modification to the training procedure and can be easily applied at runtime with custom dictionaries. Experiments on English-German WMT datasets show that our approach improves an unconstrained baseline and previous approaches.
• Abstract（参考訳）: 本稿では,ニューラルネットワーク翻訳に語彙制約を組み込むための,単純かつ効果的なアルゴリズムを提案する。 以前の作業では、既存のモデルを語彙的制約で再トレーニングするか、ビーム探索復号中にそれらを組み込むか、計算オーバーヘッドを大幅に高める必要があった。 最近提案されたLevenshtein Transformerモデル(Gu et al., 2019)の柔軟性と速度を活用して,提案手法はデコード速度に影響を与えることなく,推論時に用語制約を注入する。 本手法はトレーニング手順の変更を一切必要とせず,カスタム辞書で実行時に容易に適用することができる。 英語とドイツ語のWMTデータセットを用いた実験により,我々のアプローチは制約のないベースラインと,それ以前のアプローチを改善することが示された。

関連論文リスト

• An Analysis of BPE Vocabulary Trimming in Neural Machine Translation [56.383793805299234]
  語彙トリミング(vocabulary trimming)は、まれなサブワードをコンポーネントサブワードに置き換える後処理のステップである。 ボキャブラリトリミングは性能向上に失敗し,さらに大きな劣化を招きやすいことを示す。
  論文  参考訳（メタデータ） (2024-03-30T15:29:49Z)
• Fast Training of NMT Model with Data Sorting [0.0]
  Transformerモデルはニューラルマシン翻訳などの自然言語処理タスクに革命をもたらした。 改善の潜在的領域の1つは、Transformerが計算した空のトークンの研究に対処し、後に破棄することである。 本稿では,翻訳前の文長に基づいて文対をソートするアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-08-16T05:48:50Z)
• Downstream Task-Oriented Neural Tokenizer Optimization with Vocabulary Restriction as Post Processing [4.781986758380065]
  本稿では,すでに訓練済みの下流モデルの性能向上のために,トークン化を最適化する手法を提案する。 本手法は,語彙制限のためのトレーニングデータに基づいて,与えられた下流モデルの損失値の低いトークン化結果を生成し,トークン化結果を再現するトークン化者を訓練する。
  論文  参考訳（メタデータ） (2023-04-21T08:29:14Z)
• Confident Adaptive Language Modeling [95.45272377648773]
  CALMは、入力と生成時間ごとに異なる量の計算を動的に割り当てるフレームワークである。 ハイパフォーマンスを確実に維持しつつ、計算能力、潜在的スピードアップを最大3ドルまで削減する上で、我々のフレームワークの有効性を実証する。
  論文  参考訳（メタデータ） (2022-07-14T17:00:19Z)
• Improving Pre-trained Language Model Fine-tuning with Noise Stability Regularization [94.4409074435894]
  本稿では,LNSR(Layerwise Noise Stability Regularization)という,新規かつ効果的な微調整フレームワークを提案する。 具体的には、標準ガウス雑音を注入し、微調整モデルの隠れ表現を正規化することを提案する。 提案手法は,L2-SP,Mixout,SMARTなど他の最先端アルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-06-12T04:42:49Z)
• A Template-based Method for Constrained Neural Machine Translation [100.02590022551718]
  本稿では,デコード速度を維持しつつ,高い翻訳品質と精度で結果が得られるテンプレートベースの手法を提案する。 テンプレートの生成と導出は、1つのシーケンスからシーケンスまでのトレーニングフレームワークを通じて学習することができる。 実験結果から,提案手法は語彙的,構造的に制約された翻訳タスクにおいて,いくつかの代表的ベースラインを上回り得ることが示された。
  論文  参考訳（メタデータ） (2022-05-23T12:24:34Z)
• Controlled Text Generation as Continuous Optimization with Multiple Constraints [23.71027518888138]
  事前学習したモデルから制御可能な推論を行うためのフレキシブルでモジュラーなアルゴリズムを提案する。 所望のテキストを生成するために,ラグランジアン乗算器と勾配差に基づく手法を用いる。 我々は,複数の文レベル属性を用いた制御可能な機械翻訳とスタイル変換のアプローチを評価する。
  論文  参考訳（メタデータ） (2021-08-04T05:25:20Z)
• Encouraging Neural Machine Translation to Satisfy Terminology Constraints [3.3108924994485096]
  語彙制約を満たすためにニューラルマシン翻訳を奨励する新しいアプローチを提案する。 本手法は,トレーニング段階において動作し,推論段階における計算オーバーヘッドの増大を回避する。
  論文  参考訳（メタデータ） (2021-06-07T15:46:07Z)
• NeuroLogic Decoding: (Un)supervised Neural Text Generation with Predicate Logic Constraints [75.66980495245926]
  条件付きテキスト生成は、しばしば語彙的な制約を必要とする。 我々は、ニューラルネットワークモデル -- 教師付きか否かに関わらず -- がフロートテキストを生成することを可能にする、シンプルで効果的なアルゴリズムであるNeuroLogic Decodingを提案する。 この結果から,制御可能な微粒化生成のための大規模ニューラルネットワークの限界と,推論時間アルゴリズムの約束が示唆された。
  論文  参考訳（メタデータ） (2020-10-24T11:55:22Z)
• POINTER: Constrained Progressive Text Generation via Insertion-based Generative Pre-training [93.79766670391618]
  ハードコントラストテキスト生成のための新しい挿入ベースアプローチであるPOINTERを提案する。 提案手法は,既存のトークン間で段階的に新しいトークンを並列に挿入することによって動作する。 結果として生じる粗大な階層構造は、生成プロセスを直感的で解釈可能である。
  論文  参考訳（メタデータ） (2020-05-01T18:11:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。