論文の概要: Analysis of Levenshtein Transformer's Decoder and Its Variants

• arxiv url: http://arxiv.org/abs/2402.12249v1
• Date: Mon, 19 Feb 2024 16:05:28 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-20 15:50:20.025086
• Title: Analysis of Levenshtein Transformer's Decoder and Its Variants
• Title（参考訳）: レベンシュテイン変圧器のデコーダとその変種の解析
• Authors: Ruiyang Zhou
• Abstract要約: Levenshtein transformer (LevT) は非自己回帰型機械翻訳モデルである。 我々は、LevTのデコーダに注目し、デコード結果の長さ、サブワード生成、削除モジュールの機能を分析する。 また、元のLevTの翻訳、知識に精通したLevT、LevTの翻訳メモリ、KD-LevTの翻訳メモリを比較して、KDと翻訳メモリがどのように役立つかを確認する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Levenshtein transformer (LevT) is a non-autoregressive machine translation model with high decoding efficiency and comparable translation quality in terms of bleu score, due to its parallel decoding and iterative refinement procedure. Are there any deficiencies of its translations and what improvements could be made? In this report, we focus on LevT's decoder and analyse the decoding results length, subword generation, and deletion module's capability. We hope to identify weaknesses of the decoder for future improvements. We also compare translations of the original LevT, knowledge-distilled LevT, LevT with translation memory, and the KD-LevT with translation memory to see how KD and translation memory can help.
• Abstract（参考訳）: Levenshtein transformer (LevT) は、並列復号処理と反復精算処理により、高い復号効率と同等の翻訳品質を持つ非自己回帰機械翻訳モデルである。 翻訳の欠陥や改善点はありますか? 本稿では,levtのデコーダに着目し,デコード結果の長さ,サブワード生成,削除モジュールの能力について分析する。 今後の改善のためにデコーダの弱点を特定したいと思っています。 また,オリジナルのlevt,知識蒸留型levt,翻訳メモリ付きlevt,翻訳メモリ付きkd-levtの翻訳を比較し,kdと翻訳メモリがどのように役立つかを確認した。

関連論文リスト

• Building Accurate Translation-Tailored LLMs with Language Aware Instruction Tuning [57.323716555996114]
  オフターゲット翻訳は、特に低リソース言語では未解決の問題である。 最近の研究は、翻訳命令の機能を強調するために高度なプロンプト戦略を設計するか、LLMの文脈内学習能力を活用している。 本研究では,LLMの命令追従能力(特に翻訳方向)を向上させるために,2段階の微調整アルゴリズムを設計する。
  論文  参考訳（メタデータ） (2024-03-21T13:47:40Z)
• Quick Back-Translation for Unsupervised Machine Translation [9.51657235413336]
  我々は Transformer back-translation: Quick Back-translation (QBT) に対する2対1の改善を提案する。 QBTは、エンコーダを生成モデルとして再使用し、エンコーダ生成シーケンスを使用してデコーダを訓練する。 様々なWMTベンチマーク実験により、QBTはトレーニング効率の点で標準逆翻訳法よりも劇的に優れていることが示された。
  論文  参考訳（メタデータ） (2023-12-01T20:27:42Z)
• Program Translation via Code Distillation [20.668229308907495]
  伝統的な機械翻訳は、教師あり翻訳に並列コーパスに依存している。 最近の教師なしニューラルネットワーク翻訳技術は、データ制限を克服している。 コード蒸留(CoDist)と呼ばれる新しいモデルを提案する。
  論文  参考訳（メタデータ） (2023-10-17T04:59:15Z)
• Easy Guided Decoding in Providing Suggestions for Interactive Machine Translation [14.615314828955288]
  我々は、新しい制約付きデコーディングアルゴリズム、すなわちPrefix Suffix Guided Decoding (PSGD)を提案する。 PSGDは平均で10.87ドルのBLEUと8.62ドルのBLEUをWeTSとWMT 2022のTranslation Suggestionデータセットで改善している。
  論文  参考訳（メタデータ） (2022-11-14T03:40:02Z)
• Modeling Context With Linear Attention for Scalable Document-Level Translation [72.41955536834702]
  本稿では,近年の文書翻訳における線形アテンションモデルの有効性について検討し,直流帰納バイアスを促進するためにセンデンシャルゲートで拡張する。 感性ゲーティングはIWSLTの翻訳品質をさらに向上させることを示す。
  論文  参考訳（メタデータ） (2022-10-16T03:41:50Z)
• Multilingual Neural Machine Translation with Deep Encoder and Multiple Shallow Decoders [77.2101943305862]
  本稿では,複数の浅層デコーダ(DEMSD)を持つディープエンコーダを提案する。 2層デコーダを用いたDEMDモデルは、翻訳品質の低下のない標準トランスモデルと比較して平均1.8倍の高速化が得られる。
  論文  参考訳（メタデータ） (2022-06-05T01:15:04Z)
• On the Sub-Layer Functionalities of Transformer Decoder [74.83087937309266]
  トランスフォーマーをベースとしたデコーダは,ソースおよびターゲット言語からの情報をいかに活用するかを検討する。 これらの知見に基づき,各トランスフォーマーデコーダ層内の残フィードフォワードモジュールは,性能の低下を最小限に抑えられることを示した。
  論文  参考訳（メタデータ） (2020-10-06T11:50:54Z)
• Improving Target-side Lexical Transfer in Multilingual Neural Machine Translation [104.10726545151043]
  マルチリンガルデータは、LRLからターゲット言語に翻訳するNMTモデルにとって、LRLに翻訳するモデルよりも有益であることが判明した。 実験の結果,DecSDEは最大1.8BLEUの英語から4つの言語への翻訳において一貫した向上をもたらすことがわかった。
  論文  参考訳（メタデータ） (2020-10-04T19:42:40Z)
• Probing Word Translations in the Transformer and Trading Decoder for Encoder Layers [69.40942736249397]
  トランスフォーマー層における単語の翻訳方法はまだ研究されていない。 翻訳はすでにエンコーダ層や入力埋め込みでも徐々に行われています。 実験の結果,翻訳品質が低い2.3までの速度向上が可能であり,さらに18-4のディープエンコーダ構成では翻訳品質が1.42BLEU(En-De)の速度アップで+1.42BLEU(En-De)向上することがわかった。
  論文  参考訳（メタデータ） (2020-03-21T06:12:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。