論文の概要: Improving Fluency of Non-Autoregressive Machine Translation

• arxiv url: http://arxiv.org/abs/2004.03227v1
• Date: Tue, 7 Apr 2020 09:40:54 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-15 23:47:15.004301
• Title: Improving Fluency of Non-Autoregressive Machine Translation
• Title（参考訳）: 非自己回帰機械翻訳の流動性向上
• Authors: Zden\v{e}k Kasner, Jind\v{r}ich Libovick\'y, Jind\v{r}ich Helcl
• Abstract要約: 機械翻訳(MT)のための非自己回帰(nAR)モデルは、自己回帰(AR)モデルと比較して、より優れた復号速度を示す。 我々は,ビーム探索復号時に使用するスコアリングモデルに付加的な特徴を生かして,接続性時間分類(CTC)によるnARモデルの流速を改善する。
• 参考スコア（独自算出の注目度）: 2.76240219662896
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Non-autoregressive (nAR) models for machine translation (MT) manifest superior decoding speed when compared to autoregressive (AR) models, at the expense of impaired fluency of their outputs. We improve the fluency of a nAR model with connectionist temporal classification (CTC) by employing additional features in the scoring model used during beam search decoding. Since the beam search decoding in our model only requires to run the network in a single forward pass, the decoding speed is still notably higher than in standard AR models. We train models for three language pairs: German, Czech, and Romanian from and into English. The results show that our proposed models can be more efficient in terms of decoding speed and still achieve a competitive BLEU score relative to AR models.
• Abstract（参考訳）: 機械翻訳(MT)のための非自己回帰(nAR)モデルは、出力の流速を犠牲にして、自己回帰(AR)モデルよりも優れた復号速度を示す。 我々は,ビーム探索復号時に使用するスコアリングモデルに付加的な特徴を生かして,接続性時間分類(CTC)によるnARモデルの流速を改善する。 我々のモデルにおけるビームサーチデコーディングは、単一のフォワードパスでのみネットワークを実行する必要があるため、デコーディング速度は標準的なARモデルよりも顕著に高い。 私たちは、ドイツ語、チェコ語、ルーマニア語という3つの言語ペアのモデルをトレーニングしています。 以上の結果から,提案モデルでは復号化速度が向上し,ARモデルと比較して競争的なBLEUスコアが得られることがわかった。

関連論文リスト

• Beyond Autoregression: Fast LLMs via Self-Distillation Through Time [1.5858234832499587]
  拡散言語モデルは、テキスト品質とLAMBADA自然言語理解ベンチマークでARモデルのパフォーマンスを上回りながら、少なくとも32個のトークンを同時に生成することができる。 キャッシュなしでも、私たちのモデルはキャッシュなしでも、KVキャッシュを使用するARモデルよりも最大8倍高速でトークンを生成することができます。
  論文  参考訳（メタデータ） (2024-10-28T13:56:30Z)
• Scaling Diffusion Language Models via Adaptation from Autoregressive Models [105.70889434492143]
  拡散言語モデル(DLM)は、テキスト生成モデルのための将来性のある新しいパラダイムとして登場した。 170Mから7BまでのARモデルをDiffuGPTとDiffuLLaMAの拡散モデルに変換し、200B未満のトークンでトレーニングできることを示す。 実験の結果,これらのモデルは初期のDLMよりも優れており,ARと競合していることがわかった。
  論文  参考訳（メタデータ） (2024-10-23T14:04:22Z)
• LANTERN: Accelerating Visual Autoregressive Models with Relaxed Speculative Decoding [30.630803933771865]
  実験により,提案手法が投機的復号化よりも大幅に高速化されたことを示す。 LANTERNは、greedyデコーディングやランダムサンプリングと比較して、$mathbf1.75times$と$mathbf1.76times$のスピードアップを増大させる。
  論文  参考訳（メタデータ） (2024-10-04T12:21:03Z)
• A-SDM: Accelerating Stable Diffusion through Redundancy Removal and Performance Optimization [54.113083217869516]
  本研究ではまず,ネットワークの計算冗長性について検討する。 次に、モデルの冗長性ブロックをプルークし、ネットワーク性能を維持する。 第3に,計算集約型注意部を高速化するグローバル地域対話型注意(GRI)を提案する。
  論文  参考訳（メタデータ） (2023-12-24T15:37:47Z)
• Improving Non-autoregressive Translation Quality with Pretrained Language Model, Embedding Distillation and Upsampling Strategy for CTC [51.34222224728979]
  本稿では,非自己回帰翻訳(NAT)モデルの翻訳品質を向上させるための一連の革新的な技術を紹介する。 我々は,NATモデルを効果的に訓練するために,CTCの損失を抑えたPMLM(Pretrained Multilingual Language Models)を提案する。 自動回帰モデルと比較して16.35倍の速度向上を示した。
  論文  参考訳（メタデータ） (2023-06-10T05:24:29Z)
• Non-Autoregressive Machine Translation: It's Not as Fast as it Seems [84.47091735503979]
  NARモデルに関する文献にみられる評価手法の欠陥を指摘する。 我々はNARモデルと他の広く使われている効率向上手法を比較した。 我々は,今後の作業において,より現実的で広範なNARモデルの評価を求める。
  論文  参考訳（メタデータ） (2022-05-04T09:30:17Z)
• Non-autoregressive End-to-end Speech Translation with Parallel Autoregressive Rescoring [83.32560748324667]
  本稿では,非自己回帰モデルに基づく効率的なエンドツーエンド音声翻訳(E2E-ST)フレームワークについて述べる。 我々は,共有エンコーダ上にNARデコーダと補助的な浅層ARデコーダを備えた,Orthrosと呼ばれる統一NAR E2E-STフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-09T16:50:16Z)
• TSNAT: Two-Step Non-Autoregressvie Transformer Models for Speech Recognition [69.68154370877615]
  非自己回帰(NAR)モデルは、出力トークン間の時間的依存関係を排除し、少なくとも1ステップで出力トークン全体を予測することができる。 この2つの問題に対処するため,TSNATと呼ばれる新しいモデルを提案する。 以上の結果から,TSNATはARモデルと競合する性能を示し,複雑なNARモデルよりも優れていた。
  論文  参考訳（メタデータ） (2021-04-04T02:34:55Z)
• Fast Sequence Generation with Multi-Agent Reinforcement Learning [40.75211414663022]
  機械翻訳では、すべての単語を並列に生成することで推論時間を高速化するノンオートレグレッシブデコードが提案されている。 我々は,非自己回帰的シーケンス生成(NAG)のための新しい訓練パラダイムを用いた簡易かつ効率的なモデルを提案する。 MSCOCOイメージキャプションベンチマークでは、NAG法は最先端のオートレグレッシブモデルに匹敵するパフォーマンスを実現し、13.9倍のデコード高速化を実現します。
  論文  参考訳（メタデータ） (2021-01-24T12:16:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。