論文の概要: Dynamic Multi-Branch Layers for On-Device Neural Machine Translation

• arxiv url: http://arxiv.org/abs/2105.06679v1
• Date: Fri, 14 May 2021 07:32:53 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-17 21:10:54.180438
• Title: Dynamic Multi-Branch Layers for On-Device Neural Machine Translation
• Title（参考訳）: オンデバイスニューラルマシン翻訳のための動的マルチブランチ層
• Authors: Zhixing Tan, Maosong Sun, Yang Liu
• Abstract要約: 動的マルチブランチ層を用いたオンデバイスニューラルマシン翻訳(NMT)システムの性能向上を提案する。 具体的には、トレーニングと推論中に1つの分岐のみを活性化した層方向動的マルチブランチネットワークを設計する。 ほぼ同じ計算コストで、WMT14英語-ドイツ語翻訳タスクでは最大1.7 BLEUポイント、WMT20中国語-英語翻訳タスクでは1.8 BLEUポイントの改善を実現します。
• 参考スコア（独自算出の注目度）: 53.637479651600586
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: With the rapid development of artificial intelligence (AI), there is a trend in moving AI applications such as neural machine translation (NMT) from cloud to mobile devices such as smartphones. Constrained by limited hardware resources and battery, the performance of on-device NMT systems is far from satisfactory. Inspired by conditional computation, we propose to improve the performance of on-device NMT systems with dynamic multi-branch layers. Specifically, we design a layer-wise dynamic multi-branch network with only one branch activated during training and inference. As not all branches are activated during training, we propose shared-private reparameterization to ensure sufficient training for each branch. At almost the same computational cost, our method achieves improvements of up to 1.7 BLEU points on the WMT14 English-German translation task and 1.8 BLEU points on the WMT20 Chinese-English translation task over the Transformer model, respectively. Compared with a strong baseline that also uses multiple branches, the proposed method is up to 1.6 times faster with the same number of parameters.
• Abstract（参考訳）: 人工知能(AI)の急速な発展に伴い、ニューラルマシン翻訳(NMT)のようなAIアプリケーションをクラウドからスマートフォンのようなモバイルデバイスに移行する傾向にある。 ハードウェアリソースとバッテリの制限により、オンデバイスNTTシステムの性能は十分ではない。 条件付き計算に着想を得て,動的マルチブランチ層を有するオンデバイスNMTシステムの性能向上を提案する。 具体的には、トレーニングと推論中に1つの分岐のみを活性化した層方向動的マルチブランチネットワークを設計する。 すべてのブランチがトレーニング中にアクティベートされるわけではないので、各ブランチに十分なトレーニングを確保するために、共有-プライベート再パラメータ化を提案する。 ほぼ同じ計算コストで、wmt14の英独翻訳タスクで最大1.7 bleu点、トランスフォーマーモデルでwmt20の中国語-英訳タスクで1.8 bleu点をそれぞれ改善した。 複数の分岐を同時に使用する強いベースラインと比較して、提案手法は同じ数のパラメータで最大1.6倍高速である。

関連論文リスト

• EMMeTT: Efficient Multimodal Machine Translation Training [26.295981183965566]
  自動音声翻訳(AST)を含む音声-LLMのマルチモーダル共同学習方式を提案する。 共同マルチモーダルトレーニングを扱うために,EMMeTTと呼ばれる新しいトレーニングフレームワークを提案する。 結果、多モーダル翻訳モデルでは、強いテキストと音声の翻訳結果を同時に生成する。
  論文  参考訳（メタデータ） (2024-09-20T14:03:23Z)
• Harnessing Manycore Processors with Distributed Memory for Accelerated Training of Sparse and Recurrent Models [43.1773057439246]
  現在のAIトレーニングインフラストラクチャは、単一の命令多重データ(SIMD)とシストリック配列アーキテクチャによって支配されている。 分散ローカルメモリを用いた大規模並列多重命令型マルチデータアーキテクチャにおけるスパース・リカレントモデルトレーニングについて検討する。
  論文  参考訳（メタデータ） (2023-11-07T23:18:35Z)
• Direct Neural Machine Translation with Task-level Mixture of Experts models [1.2338729811609357]
  ダイレクト・ニューラル・マシン・トランスレーション (Direct Neural Machine Translation, NMT) は、2つの非英語言語間のテキストを翻訳する。 Task-level Mixture of Expert Model (Task-level MoE)は、多数の言語ペアに対して有望なNMT性能を示す。
  論文  参考訳（メタデータ） (2023-10-18T18:19:45Z)
• SelfSeg: A Self-supervised Sub-word Segmentation Method for Neural Machine Translation [51.881877192924414]
  サブワードセグメンテーションはニューラルマシン翻訳(NMT)に不可欠な前処理ステップである 本稿では,自己教師型ニューラルネットワークサブワードセグメンテーション手法であるSelfSegを紹介する。 SelfSegはトレーニング/デコードがはるかに高速で、並列コーパスの代わりに単言語辞書のみを必要とする。
  論文  参考訳（メタデータ） (2023-07-31T04:38:47Z)
• TranSFormer: Slow-Fast Transformer for Machine Translation [52.12212173775029]
  本稿では,TrantextbfSFormerと呼ばれる2ストリーム学習モデルを提案する。 我々のTranSFormerは、複数の機械翻訳ベンチマークにおいて、BLEUの一貫性のある改善(BLEU点よりも大きい)を示す。
  論文  参考訳（メタデータ） (2023-05-26T14:37:38Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• TMS: A Temporal Multi-scale Backbone Design for Speaker Embedding [60.292702363839716]
  話者埋め込みのための現在のSOTAバックボーンネットワークは、話者表現のためのマルチブランチネットワークアーキテクチャを用いた発話からマルチスケール特徴を集約するように設計されている。 本稿では, 話者埋め込みネットワークにおいて, 計算コストの増大を伴わずに, マルチスケール分岐を効率的に設計できる効果的な時間的マルチスケール(TMS)モデルを提案する。
  論文  参考訳（メタデータ） (2022-03-17T05:49:35Z)
• Multi-branch Attentive Transformer [152.07840447196384]
  我々は,マルチブランチ・アテンティブ・トランスフォーマーと呼ばれる,シンプルで効果的なトランスフォーマーの変種を提案する。 注目層は複数のブランチの平均であり、各ブランチは独立したマルチヘッド注意層である。 機械翻訳、コード生成、自然言語理解の実験は、Transformerのこのような単純な変種が大きな改善をもたらすことを示した。
  論文  参考訳（メタデータ） (2020-06-18T04:24:28Z)
• Bit Allocation for Multi-Task Collaborative Intelligence [39.11380888887304]
  コラボレーションインテリジェンス(CI)は、モバイルデバイスにAIベースのサービスをデプロイするための、有望なフレームワークである。 マルチストリームマルチタスクCIのための第1ビット割当手法を提案する。
  論文  参考訳（メタデータ） (2020-02-14T02:02:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。