論文の概要: Dynamic Transformer for Efficient Machine Translation on Embedded Devices

• arxiv url: http://arxiv.org/abs/2107.08199v1
• Date: Sat, 17 Jul 2021 07:36:29 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-21 07:40:25.359744
• Title: Dynamic Transformer for Efficient Machine Translation on Embedded Devices
• Title（参考訳）: 組み込みデバイス上での効率的な機械翻訳のための動的トランスフォーマー
• Authors: Hishan Parry, Lei Xun, Amin Sabet, Jia Bi, Jonathon Hare, Geoff V. Merrett
• Abstract要約: 利用可能なリソースに基づいてトランスフォーマーアーキテクチャを任意のタイミングでスケールする機械翻訳モデルを提案する。 提案手法である"Dynamic-HAT"では,HAT SuperTransformerをバックボーンとして,精度-レイテンシのトレードオフの異なるSubTransformerを探索する。 Dynamic-HATはJetson Nano上でテストされており、提案手法ではスーパートランスフォーマーから直接サンプリングされたサブトランスフォーマーをスイッチング時間1sで使用する。
• 参考スコア（独自算出の注目度）: 0.9786690381850356
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The Transformer architecture is widely used for machine translation tasks. However, its resource-intensive nature makes it challenging to implement on constrained embedded devices, particularly where available hardware resources can vary at run-time. We propose a dynamic machine translation model that scales the Transformer architecture based on the available resources at any particular time. The proposed approach, 'Dynamic-HAT', uses a HAT SuperTransformer as the backbone to search for SubTransformers with different accuracy-latency trade-offs at design time. The optimal SubTransformers are sampled from the SuperTransformer at run-time, depending on latency constraints. The Dynamic-HAT is tested on the Jetson Nano and the approach uses inherited SubTransformers sampled directly from the SuperTransformer with a switching time of <1s. Using inherited SubTransformers results in a BLEU score loss of <1.5% because the SubTransformer configuration is not retrained from scratch after sampling. However, to recover this loss in performance, the dimensions of the design space can be reduced to tailor it to a family of target hardware. The new reduced design space results in a BLEU score increase of approximately 1% for sub-optimal models from the original design space, with a wide range for performance scaling between 0.356s - 1.526s for the GPU and 2.9s - 7.31s for the CPU.
• Abstract（参考訳）: Transformerアーキテクチャは機械翻訳タスクに広く使われている。 しかし、リソース集約性により、特に利用可能なハードウェアリソースが実行時に変化するような、制限された組み込みデバイスの実装が困難になる。 本稿では,利用可能なリソースに基づいてトランスフォーマーアーキテクチャを任意のタイミングでスケールする動的機械翻訳モデルを提案する。 提案手法である"Dynamic-HAT"では,HAT SuperTransformerをバックボーンとして,設計時に異なる精度-遅延トレードオフを持つSubTransformerを探索する。 最適なSubTransformerは、レイテンシの制約に応じて、実行時にSuperTransformerからサンプリングされる。 Dynamic-HATはJetson Nano上でテストされ、アプローチではスーパートランスフォーマーから直接サンプリングされたサブトランスフォーマーを<1sのスイッチング時間で使用する。 後継のSubTransformerを使用すると、サンプリング後のスクラッチからSubTransformerの設定が再トレーニングされないため、BLEUスコアが1.5%低下する。 しかし、この性能低下を回復するためには、設計空間の寸法を縮小して、ターゲットハードウェアのファミリーに調整することができる。 新たなデザインスペースの縮小により、BLEUのスコアはオリジナルのデザインスペースから約1%増加し、パフォーマンススケーリングには0.356s - 1.526s、CPUには2.9s - 7.31sの幅がある。

関連論文リスト

• Dynamic Diffusion Transformer [67.13876021157887]
  Diffusion Transformer (DiT) は優れた性能を示したが、かなりの計算コストに悩まされている。 本研究では,動的拡散変換器 (DyDiT) を提案する。 3%の微調整により,DiT-XLのFLOPを51%削減し,生成を1.73高速化し,ImageNet上でのFIDスコア2.07を達成する。
  論文  参考訳（メタデータ） (2024-10-04T14:14:28Z)
• iTransformer: Inverted Transformers Are Effective for Time Series Forecasting [62.40166958002558]
  iTransformerを提案する。これは、逆次元に注意とフィードフォワードのネットワークを単純に適用する。 iTransformerモデルは、挑戦的な現実世界のデータセットの最先端を実現する。
  論文  参考訳（メタデータ） (2023-10-10T13:44:09Z)
• Isomer: Isomerous Transformer for Zero-shot Video Object Segmentation [59.91357714415056]
  コンテクスト共有変換器(CST)とセマンティックガザリング散乱変換器(SGST)の2つの変種を提案する。 CSTは、軽量な計算により、画像フレーム内のグローバル共有コンテキスト情報を学習し、SGSTは、前景と背景のセマンティック相関を別々にモデル化する。 多段核融合にバニラ変換器を使用するベースラインと比較して,我々は13倍の速度向上を実現し,新しい最先端ZVOS性能を実現する。
  論文  参考訳（メタデータ） (2023-08-13T06:12:00Z)
• ViTA: A Vision Transformer Inference Accelerator for Edge Applications [4.3469216446051995]
  ViT、Swin Transformer、Transformer-in-Transformerといったビジョントランスモデルは近年、コンピュータビジョンタスクにおいて大きな注目を集めている。 これらは計算量が多く、リソース制約のあるエッジデバイスにデプロイするのは難しい。 本稿では、リソース制約のあるエッジコンピューティングデバイスをターゲットにしたビジョントランスフォーマーモデル推論用ハードウェアアクセラレータViTAを提案する。
  論文  参考訳（メタデータ） (2023-02-17T19:35:36Z)
• ByteTransformer: A High-Performance Transformer Boosted for Variable-Length Inputs [6.9136984255301]
  可変長入力のために強化された高性能トランスであるByteTransformerを提案する。 ByteTransformerは、PyTorch JIT、XLA、Tencent TurboTransformer、NVIDIA FasterTransformerといった最先端のTransformerフレームワークを上回っている。
  論文  参考訳（メタデータ） (2022-10-06T16:57:23Z)
• HiViT: Hierarchical Vision Transformer Meets Masked Image Modeling [126.89573619301953]
  我々はHiViT(Hierarchical ViT)という階層型視覚変換器の新しい設計を提案する。 HiViTはMIMで高い効率と優れたパフォーマンスを享受する。 ImageNet-1K上でMAEを実行する場合、HiViT-BはViT-Bよりも0.6%精度が向上し、Swin-Bよりも1.9$times$スピードアップしたと報告している。
  論文  参考訳（メタデータ） (2022-05-30T09:34:44Z)
• Towards Lightweight Transformer via Group-wise Transformation for Vision-and-Language Tasks [126.33843752332139]
  本稿では,LW-Transformerと呼ばれる視覚・言語タスクのための,普遍的で軽量なトランスフォーマーに対するグループワイズ変換を提案する。 LW-Transformerを一組のTransformerベースのネットワークに適用し、3つの視覚・言語タスクと6つのベンチマークデータセットで定量的に測定する。 実験の結果,LW-Transformerは多数のパラメータや計算を節約しながら,視覚・言語タスクのためのトランスフォーマーネットワークと非常に競合する性能を発揮することがわかった。
  論文  参考訳（メタデータ） (2022-04-16T11:30:26Z)
• Sparse is Enough in Scaling Transformers [12.561317511514469]
  大規模なTransformerモデルは、多くのタスクにおいて印象的な結果をもたらすが、トレーニングや微調整は高価であり、デコードが遅いため、使用と研究が手に入らない。 本稿では,スパース層を用いた次世代トランスフォーマーモデルのファミリーであるScaling Transformerを提案する。
  論文  参考訳（メタデータ） (2021-11-24T19:53:46Z)
• Lite Transformer with Long-Short Range Attention [31.946796118788285]
  エッジデバイス上でのモバイルNLPアプリケーションのデプロイを容易にするために,効率的なモバイルNLPアーキテクチャであるLite Transformerを提案する。 Lite Transformer は WMT'14 で 1.2/1.7 BLEU でトランスフォーマーを上回っている。 注目すべきは、Lite TransformerがAutoMLベースのEvolved Transformerより0.5高いBLEUでパフォーマンスを向上することだ。
  論文  参考訳（メタデータ） (2020-04-24T17:52:25Z)
• Transformer on a Diet [81.09119185568296]
  トランスフォーマーは、効率よくシーケンス情報をキャプチャできる能力のおかげで、広く使われている。 BERT や GPT-2 のような最近の開発は、有効性を重視した重いアーキテクチャしか提供していない。 計算量が少ないトランスフォーマーが競合する結果をもたらすかどうかを調べるために, 慎重に設計された3つの光トランスフォーマーアーキテクチャを探索する。
  論文  参考訳（メタデータ） (2020-02-14T18:41:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。