論文の概要: Recurrent multiple shared layers in Depth for Neural Machine Translation

• arxiv url: http://arxiv.org/abs/2108.10417v2
• Date: Thu, 26 Aug 2021 13:32:50 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-27 11:04:15.200188
• Title: Recurrent multiple shared layers in Depth for Neural Machine Translation
• Title（参考訳）: ニューラルマシン翻訳のための繰り返し複数の層を奥行きで共有する
• Authors: GuoLiang Li and Yiyang Li
• Abstract要約: 本稿では,トランスフォーマーのエンコーダブロックとデコーダブロックを奥行き方向にループする再帰機構を持つ深層モデルを提案する。 深層トランス (20層エンコーダ, 6層デコーダ) と比較して, モデル性能と推論速度は類似しているが, モデルパラメータは前者の54.72%である。
• 参考スコア（独自算出の注目度）: 11.660776324473645
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Learning deeper models is usually a simple and effective approach to improve model performance, but deeper models have larger model parameters and are more difficult to train. To get a deeper model, simply stacking more layers of the model seems to work well, but previous works have claimed that it cannot benefit the model. We propose to train a deeper model with recurrent mechanism, which loops the encoder and decoder blocks of Transformer in the depth direction. To address the increasing of model parameters, we choose to share parameters in different recursive moments. We conduct our experiments on WMT16 English-to-German and WMT14 English-to-France translation tasks, our model outperforms the shallow Transformer-Base/Big baseline by 0.35, 1.45 BLEU points, which is 27.23% of Transformer-Big model parameters. Compared to the deep Transformer(20-layer encoder, 6-layer decoder), our model has similar model performance and infer speed, but our model parameters are 54.72% of the former.
• Abstract（参考訳）: より深いモデルを学ぶことは、通常、モデルパフォーマンスを改善するためのシンプルで効果的なアプローチであるが、より深いモデルはより大きなモデルパラメータを持ち、訓練することがより困難である。 より深いモデルを得るためには、単にモデルのレイヤーを積み重ねるだけではうまく機能しているように思えるが、以前の研究では、モデルにメリットはないと主張した。 本稿では,トランスフォーマーのエンコーダブロックとデコーダブロックを奥行き方向にループする再帰機構を持つ深層モデルを提案する。 モデルパラメータの増加に対処するために、異なる再帰モーメントでパラメータを共有することを選択する。 我々は,wmt16英語対ドイツ語およびwmt14英語対フランス翻訳タスクについて実験を行い,トランスフォーマーモデルパラメータの27.23%である0.35, 1.45ブルーポイントの浅層トランスフォーマーベース/ビッグベースを上回った。 深層トランス (20層エンコーダ, 6層デコーダ) と比較して, モデル性能と推論速度は類似しているが, モデルパラメータは前者の54.72%である。

関連論文リスト

• Transformers Get Stable: An End-to-End Signal Propagation Theory for Language Models [6.809572275782338]
  我々は,変換器モデルによる前方及び後方信号のモーメントを管理する統一信号伝搬理論を開発し,公式を提供する。 我々のフレームワークは、ハイアテンションスコアに関連する、消失/爆発の勾配、ランク崩壊、不安定性を理解し、緩和するために使用することができる。
  論文  参考訳（メタデータ） (2024-03-14T17:59:14Z)
• Understanding Parameter Sharing in Transformers [53.75988363281843]
  トランスフォーマーに関するこれまでの研究は、異なるレイヤでパラメータを共有することに集中しており、モデルの深さを増大させることで、限られたパラメータを持つモデルの性能を向上させることができる。 このアプローチの成功は, モデル複雑性の増加により, ごく一部に過ぎず, 収束性の向上に大きく寄与することを示す。 8つの機械翻訳タスクの実験結果から,パラメータ共有モデルのモデル複雑性を半分に抑えて,我々のモデルが競合性能を達成することが示された。
  論文  参考訳（メタデータ） (2023-06-15T10:48:59Z)
• Multi-Path Transformer is Better: A Case Study on Neural Machine Translation [35.67070351304121]
  パラメータ効率のよいマルチパス構造を用いて,モデル幅がトランスフォーマーモデルに与える影響について検討した。 12のWMT機械翻訳タスクの実験では、同じ数のパラメータで、より浅いマルチパスモデルが、より深いモデルよりも類似またはより優れた性能を達成できることが示されている。
  論文  参考訳（メタデータ） (2023-05-10T07:39:57Z)
• Who Says Elephants Can't Run: Bringing Large Scale MoE Models into Cloud Scale Production [7.056223012587321]
  本稿では,スパースモデルの計算を高速化するために,いくつかの最適化手法を用いた高効率推論フレームワークを提案する。 既存のソリューションに比べて,コストが27%削減され,品質が大幅に向上した136倍のモデルをデプロイすることが可能です。
  論文  参考訳（メタデータ） (2022-11-18T03:43:52Z)
• DeepNet: Scaling Transformers to 1,000 Layers [106.33669415337135]
  トランスフォーマーの残差接続を修正するための新しい正規化関数(DeepNorm)を導入する。 詳細な理論解析により、モデル更新は安定な方法でバウンドできることが示されている。 トランスフォーマーを1,000層まで拡張することに成功したが、これは従来のディープトランスフォーマーよりも1桁も深い。
  論文  参考訳（メタデータ） (2022-03-01T15:36:38Z)
• MoEfication: Conditional Computation of Transformer Models for Efficient Inference [66.56994436947441]
  トランスフォーマーベースの事前学習言語モデルは、パラメータ容量が大きいため、ほとんどのNLPタスクにおいて優れた性能を実現することができるが、計算コストも大きい。 スパースアクティベーション現象に基づく条件計算により,大規模モデル推論を高速化する。 そこで本研究では,モデルサイズが等しいMoE(Mix-of-experts)バージョン,すなわちMoEficationに変換することを提案する。
  論文  参考訳（メタデータ） (2021-10-05T02:14:38Z)
• Go Wider Instead of Deeper [11.4541055228727]
  我々は、より深くではなく、より広い範囲でトレーニング可能なパラメータを効率的にデプロイするフレームワークを提案する。 私たちの最良のモデルはViT(Vision Transformer)を1.46%$、0.72倍のトレーニング可能なパラメータで上回ります。 私たちのフレームワークは、ViTとViT-MoEをそれぞれ0.83%$と2.08%$で上回ることができます。
  論文  参考訳（メタデータ） (2021-07-25T14:44:24Z)
• Exploring Sparse Expert Models and Beyond [51.90860155810848]
  Mixture-of-Experts (MoE) モデルは、無数のパラメータを持つが、一定の計算コストで有望な結果が得られる。 本稿では,専門家を異なるプロトタイプに分割し,上位1ドルのルーティングに$k$を適用する,エキスパートプロトタイピングというシンプルな手法を提案する。 この戦略は, モデル品質を向上させるが, 一定の計算コストを維持するとともに, 大規模モデルのさらなる探索により, 大規模モデルの訓練に有効であることが示唆された。
  論文  参考訳（メタデータ） (2021-05-31T16:12:44Z)
• Very Deep Transformers for Neural Machine Translation [100.51465892354234]
  最大60のエンコーダ層と12のデコーダ層を持つ標準のTransformerベースのモデルを構築することが可能であることを示す。 これらのディープモデルは、ベースラインの6層モデルよりも2.5BLEUを上回っている。
  論文  参考訳（メタデータ） (2020-08-18T07:14:54Z)
• Train Large, Then Compress: Rethinking Model Size for Efficient Training and Inference of Transformers [94.43313684188819]
  本研究では,計算によって制限されたNLPタスクのトランスフォーマーモデルに着目し,モデルサイズの影響について検討する。 まず最初に、より小さなTransformerモデルがイテレーション毎に高速に実行されているにもかかわらず、より広いモデルとより深いモデルがはるかに少ないステップで収束していることを示します。 これは、大きなTransformerモデルのトレーニング効率と小さなTransformerモデルの推論効率との間に明らかなトレードオフをもたらす。
  論文  参考訳（メタデータ） (2020-02-26T21:17:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。