論文の概要: Incorporating a Local Translation Mechanism into Non-autoregressive Translation

• arxiv url: http://arxiv.org/abs/2011.06132v1
• Date: Thu, 12 Nov 2020 00:32:51 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-26 06:59:29.029922
• Title: Incorporating a Local Translation Mechanism into Non-autoregressive Translation
• Title（参考訳）: 局所翻訳機構を非自己回帰翻訳に組み込む
• Authors: Xiang Kong, Zhisong Zhang, Eduard Hovy
• Abstract要約: 非自己回帰翻訳(NAT)モデルに新しい局所自己回帰翻訳機構を導入する。 各目標復号位置について、1つのトークンの代わりに、自己回帰的な方法で短いトークン列を予測する。 我々は、出力部品を1つの最終的な出力シーケンスに整列し、マージする効率的なマージアルゴリズムを設計する。
• 参考スコア（独自算出の注目度）: 28.678752678905244
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this work, we introduce a novel local autoregressive translation (LAT) mechanism into non-autoregressive translation (NAT) models so as to capture local dependencies among tar-get outputs. Specifically, for each target decoding position, instead of only one token, we predict a short sequence of tokens in an autoregressive way. We further design an efficient merging algorithm to align and merge the out-put pieces into one final output sequence. We integrate LAT into the conditional masked language model (CMLM; Ghazvininejad et al.,2019) and similarly adopt iterative decoding. Empirical results on five translation tasks show that compared with CMLM, our method achieves comparable or better performance with fewer decoding iterations, bringing a 2.5xspeedup. Further analysis indicates that our method reduces repeated translations and performs better at longer sentences.
• Abstract（参考訳）: 本稿では,非自己回帰翻訳(nat)モデルにlat(local autoregressive translation)機構を導入し,tar-get出力間の局所的依存関係を捉える。 具体的には、各目標復号位置に対して、1つのトークンではなく、短いトークン列を自己回帰的に予測する。 さらに、出力部品を1つの最終的な出力シーケンスに整列してマージする効率的なマージアルゴリズムを設計する。 LATを条件付きマスキング言語モデル(CMLM; Ghazvininejad et al.,2019)に統合し、同様に反復デコーディングを採用する。 5つの翻訳タスクにおける実験結果から,CMLMと比較して,復号化の繰り返しを減らして同等あるいはより良い性能を実現し,2.5倍高速化を実現した。 さらに分析した結果,提案手法は繰り返し翻訳を減らし,より長い文でより良く処理できることが示唆された。

関連論文リスト

• Simultaneous Masking, Not Prompting Optimization: A Paradigm Shift in Fine-tuning LLMs for Simultaneous Translation [5.712277386555735]
  大規模言語モデル(LLM)は、様々な言語処理タスクにおいて最先端のパフォーマンスを達成した。 同時翻訳のための微調整LDMのための新しいパラダイムであるSimulMaskを提案する。 5つの言語対における最先端の最適化戦略と比較して,翻訳品質の大幅な改善が見られた。
  論文  参考訳（メタデータ） (2024-05-16T21:07:42Z)
• Parallel Decoding via Hidden Transfer for Lossless Large Language Model Acceleration [54.897493351694195]
  本稿では,複数連続するトークンを1つのフォワードパスで同時に復号する,新しい並列復号法,すなわちthithidden Transferを提案する。 加速度測定では,Medusa や Self-Speculative decoding など,単モデル加速技術よりも優れています。
  論文  参考訳（メタデータ） (2024-04-18T09:17:06Z)
• Building Accurate Translation-Tailored LLMs with Language Aware Instruction Tuning [57.323716555996114]
  オフターゲット翻訳は、特に低リソース言語では未解決の問題である。 最近の研究は、翻訳命令の機能を強調するために高度なプロンプト戦略を設計するか、LLMの文脈内学習能力を活用している。 本研究では,LLMの命令追従能力(特に翻訳方向)を向上させるために,2段階の微調整アルゴリズムを設計する。
  論文  参考訳（メタデータ） (2024-03-21T13:47:40Z)
• Chimera: A Lossless Decoding Method for Accelerating Large Language Models Inference by Fusing all Tokens [15.566726645722657]
  投機的サンプリングに特化して設計された新しいフレームワークを提案する。 このフレームワーク内では、以前に生成されたトークンを効果的に活用し、後続の単語を予測する軽量なドラフトモデルを導入する。 我々は、バニラ自動回帰復号方式と比較して平均遅延速度比が2.7倍になるという印象的な結果を示した。
  論文  参考訳（メタデータ） (2024-02-24T08:10:39Z)
• Decomposed Prompting for Machine Translation Between Related Languages using Large Language Models [55.35106713257871]
  DecoMTは、単語チャンク翻訳のシーケンスに翻訳プロセスを分解する、数発のプロンプトの新しいアプローチである。 DecoMTはBLOOMモデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-05-22T14:52:47Z)
• Accelerating Transformer Inference for Translation via Parallel Decoding [2.89306442817912]
  自動回帰復号化は機械翻訳(MT)における変圧器の効率を制限する 並列デコーディングアルゴリズムを3つ提示し、異なる言語やモデルでテストする。
  論文  参考訳（メタデータ） (2023-05-17T17:57:34Z)
• Improving Multilingual Translation by Representation and Gradient Regularization [82.42760103045083]
  表現レベルと勾配レベルの両方でNMTモデルを正規化するための共同手法を提案する。 提案手法は,オフターゲット翻訳の発生率の低減とゼロショット翻訳性能の向上に有効であることを示す。
  論文  参考訳（メタデータ） (2021-09-10T10:52:21Z)
• Infusing Sequential Information into Conditional Masked Translation Model with Self-Review Mechanism [9.641454891414751]
  非自己回帰モデルは、高速な復号速度を実現するが、翻訳精度を犠牲にして、目標語を並列に生成する。 条件付きマスキング翻訳モデルに逐次情報を注入する自己レビュー機構を提案する。 我々のモデルは典型的な左から右へのトランスフォーマーモデルを超え、デコードを大幅に高速化しています。
  論文  参考訳（メタデータ） (2020-10-19T03:38:56Z)
• Don't Parse, Insert: Multilingual Semantic Parsing with Insertion Based Decoding [10.002379593718471]
  成功した構文は、入力発話をシステムで容易に理解できる動作に変換する。 複雑な解析タスクに対して、最先端の手法は、解析を直接生成するためのシーケンスモデルへの自己回帰シーケンスに基づいている。
  論文  参考訳（メタデータ） (2020-10-08T01:18:42Z)
• Glancing Transformer for Non-Autoregressive Neural Machine Translation [58.87258329683682]
  単一パス並列生成モデルにおける単語相互依存の学習法を提案する。 単一パスの並列デコードだけで、GLATは8～15倍のスピードアップで高品質な翻訳を生成することができる。
  論文  参考訳（メタデータ） (2020-08-18T13:04:03Z)
• Non-Autoregressive Machine Translation with Disentangled Context Transformer [70.95181466892795]
  最先端のニューラルネットワーク翻訳モデルは、左から右への翻訳を生成し、各ステップは以前に生成されたトークンに条件付けされる。 本研究では,異なるコンテキストのトークンを同時に生成するDisentangled Context (DisCo) 変換器を提案する。 本モデルでは,非自己回帰型機械翻訳技術と比較して性能が向上する一方,デコーディング時間の平均は大幅に減少する。
  論文  参考訳（メタデータ） (2020-01-15T05:32:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。