論文の概要: Binarized Neural Machine Translation

• arxiv url: http://arxiv.org/abs/2302.04907v1
• Date: Thu, 9 Feb 2023 19:27:34 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-13 17:25:44.379856
• Title: Binarized Neural Machine Translation
• Title（参考訳）: 二元化ニューラルマシン翻訳
• Authors: Yichi Zhang, Ankush Garg, Yuan Cao,{\L}ukasz Lew, Behrooz Ghorbani, Zhiru Zhang, Orhan Firat
• Abstract要約: 機械翻訳(BMT)に適用したトランスフォーマーの新しいバイナライズ手法を提案する。 1ビットの重みとアクティベーションを使用する場合の膨らませたドット積分散の問題を特定し,対処する。 WMTデータセットの実験では、1ビットのウェイトオンリートランスフォーマーはフロートと同じ品質を達成できるが、サイズは16倍小さい。
• 参考スコア（独自算出の注目度）: 43.488431560851204
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The rapid scaling of language models is motivating research using low-bitwidth quantization. In this work, we propose a novel binarization technique for Transformers applied to machine translation (BMT), the first of its kind. We identify and address the problem of inflated dot-product variance when using one-bit weights and activations. Specifically, BMT leverages additional LayerNorms and residual connections to improve binarization quality. Experiments on the WMT dataset show that a one-bit weight-only Transformer can achieve the same quality as a float one, while being 16x smaller in size. One-bit activations incur varying degrees of quality drop, but mitigated by the proposed architectural changes. We further conduct a scaling law study using production-scale translation datasets, which shows that one-bit weight Transformers scale and generalize well in both in-domain and out-of-domain settings. Implementation in JAX/Flax will be open sourced.
• Abstract（参考訳）: 言語モデルの急速なスケーリングは、低ビット幅量子化を用いた研究を動機付けている。 本研究では,機械翻訳(BMT)に適用したトランスフォーマーの新しいバイナライズ手法を提案する。 1ビットの重みとアクティベーションを使用する場合、膨らんだドット製品分散の問題を特定し、対処する。 具体的には、BMTは二項化品質を改善するためにLayerNormsと残留接続を利用する。 WMTデータセットの実験では、1ビットのウェイトオンリートランスフォーマーはフロートと同じ品質を達成できるが、サイズは16倍小さい。 1ビットのアクティベーションは品質低下の程度が異なるが、提案されたアーキテクチャ変更によって緩和される。 さらに,1ビットのウェイトトランスフォーマーがドメイン内およびドメイン外の両方においてスケールし,一般化することを示す,プロダクションスケールの翻訳データセットを用いたスケーリング法の研究も行う。 JAX/Flaxの実装はオープンソースになる。

関連論文リスト

• Efficient Machine Translation with a BiLSTM-Attention Approach [0.0]
  本稿では,翻訳品質の向上を目的とした新しいSeq2Seqモデルを提案する。 このモデルでは、双方向長短期記憶ネットワーク(Bidirectional Long Short-Term Memory Network, Bi-LSTM)をエンコーダとして使用し、入力シーケンスのコンテキスト情報をキャプチャする。 現在の主流トランスフォーマーモデルと比較して,本モデルはWMT14機械翻訳データセットにおいて優れた性能を発揮する。
  論文  参考訳（メタデータ） (2024-10-29T01:12:50Z)
• MoEUT: Mixture-of-Experts Universal Transformers [75.96744719516813]
  ユニバーサルトランスフォーマー(UT)は、合成一般化の学習において標準トランスフォーマーよりも有利である。 層共有は、同じ次元を持つ非共有モデルと比較してパラメータ数を大幅に削減する。 従来の作業では、言語モデリングのようなパラメータ数の支配的なタスクと競合する共有層トランスフォーマー設計の提案に成功しなかった。
  論文  参考訳（メタデータ） (2024-05-25T03:24:32Z)
• Quantized Transformer Language Model Implementations on Edge Devices [1.2979415757860164]
  Bidirectional Representations from Transformers (BERT) のような大規模なトランスフォーマーベースモデルは自然言語処理(NLP)アプリケーションに広く利用されている。 これらのモデルは最初、数百万のパラメータを持つ大きなコーパスで事前訓練され、下流のNLPタスクのために微調整される。 これらの大規模モデルの大きな制限の1つは、大きなモデルサイズと推論遅延の増加のため、リソース制限されたデバイスにデプロイできないことである。
  論文  参考訳（メタデータ） (2023-10-06T01:59:19Z)
• TranSFormer: Slow-Fast Transformer for Machine Translation [52.12212173775029]
  本稿では,TrantextbfSFormerと呼ばれる2ストリーム学習モデルを提案する。 我々のTranSFormerは、複数の機械翻訳ベンチマークにおいて、BLEUの一貫性のある改善(BLEU点よりも大きい)を示す。
  論文  参考訳（メタデータ） (2023-05-26T14:37:38Z)
• Data Scaling Laws in NMT: The Effect of Noise and Architecture [59.767899982937756]
  ニューラルネットワーク翻訳(NMT)のデータスケーリング特性に及ぼすアーキテクチャとトレーニングデータ品質の影響について検討する。 データスケーリング指数は最小限の影響を受けており、より多くのデータを追加することで、極端に悪いアーキテクチャやトレーニングデータの補償が可能になることを示唆しています。
  論文  参考訳（メタデータ） (2022-02-04T06:53:49Z)
• What's Hidden in a One-layer Randomly Weighted Transformer? [100.98342094831334]
  1層にランダムに重み付けされたニューラルネットワークの中に埋もれており、素晴らしいパフォーマンスを達成することができる。 IWSLT14/WMT14でトレーニングされたTransformerの小型/ベースの性能は98%/92% (34.14/25.24 BLEU) に匹敵する。
  論文  参考訳（メタデータ） (2021-09-08T21:22:52Z)
• Bayesian Transformer Language Models for Speech Recognition [59.235405107295655]
  トランスフォーマーで表現される最先端のニューラルネットワークモデル(LM)は非常に複雑である。 本稿では,トランスフォーマーLM推定のためのベイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-02-09T10:55:27Z)
• Extremely Low Bit Transformer Quantization for On-Device Neural Machine Translation [9.770173256808844]
  非常に少ないビット数でトランスフォーマー重みを表現するための混合精度量子化戦略を提案する。 我々のモデルはベースラインモデルよりも11.8$times$小さいモデルサイズで、-0.5BLEU未満である。 実行時のメモリフットプリントが8.3$times$削減され、3.5$times$スピードアップを実現しています。
  論文  参考訳（メタデータ） (2020-09-16T03:58:01Z)
• Variational Neural Machine Translation with Normalizing Flows [13.537869825364718]
  変分ニューラルネットワーク変換(VNMT)は、ターゲット翻訳の生成をモデル化するための魅力的なフレームワークである。 本稿では,VNMTフレームワークを最先端のTransformerに適用し,正規化フローに基づくより柔軟な近似後流を導入することを提案する。
  論文  参考訳（メタデータ） (2020-05-28T13:30:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。