論文の概要: Resource-Efficient Transformer Architecture: Optimizing Memory and Execution Time for Real-Time Applications

• arxiv url: http://arxiv.org/abs/2501.00042v1
• Date: Wed, 25 Dec 2024 14:41:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-05 21:12:46.425704
• Title: Resource-Efficient Transformer Architecture: Optimizing Memory and Execution Time for Real-Time Applications
• Title（参考訳）: リソース効率の良いトランスフォーマーアーキテクチャ:リアルタイムアプリケーションのためのメモリと実行時間を最適化する
• Authors: Krisvarish V, Priyadarshini T, K P Abhishek Sri Saai, Vaidehi Vijayakumar,
• Abstract要約: 本稿では,メモリ使用量と実行時間を大幅に削減するメモリ効率変換器モデルについて述べる。 その結果、メモリ使用量の52%削減と実行時間の33%削減が達成され、最先端モデルよりも効率が向上した。
• 参考スコア（独自算出の注目度）: 0.1874930567916036
• License:
• Abstract: This paper describes a memory-efficient transformer model designed to drive a reduction in memory usage and execution time by substantial orders of magnitude without impairing the model's performance near that of the original model. Recently, new architectures of transformers were presented, focused on parameter efficiency and computational optimization; however, such models usually require considerable resources in terms of hardware when deployed in real-world applications on edge devices. This approach addresses this concern by halving embedding size and applying targeted techniques such as parameter pruning and quantization to optimize the memory footprint with minimum sacrifices in terms of accuracy. Experimental results include a 52% reduction in memory usage and a 33% decrease in execution time, resulting in better efficiency than state-of-the-art models. This work compared our model with existing compelling architectures, such as MobileBERT and DistilBERT, and proved its feasibility in the domain of resource-friendly deep learning architectures, mainly for applications in real-time and in resource-constrained applications.
• Abstract（参考訳）: 本稿では,メモリ使用量と実行時間を大幅に削減するメモリ効率変換器モデルについて述べる。 近年、パラメータ効率と計算最適化に焦点をあてたトランスフォーマーの新しいアーキテクチャが提案されているが、エッジデバイス上の現実のアプリケーションにデプロイする際には、ハードウェアの観点からはかなりのリソースを必要とするのが普通である。 このアプローチは、埋め込みサイズを半減させ、パラメータのプルーニングや量子化といったターゲット技術を適用して、メモリフットプリントを最小犠牲にして精度を向上することで、この問題に対処する。 実験結果には、メモリ使用量の52%削減と実行時間の33%削減が含まれており、その結果、最先端モデルよりも効率が向上する。 この研究は,MobileBERTやDistilBERTといった既存の魅力的なアーキテクチャと比較し,資源に優しいディープラーニングアーキテクチャの領域において,主にリアルタイムおよびリソースに制約のあるアプリケーションにおいて実現可能であることを証明した。

関連論文リスト

• FluidML: Fast and Memory Efficient Inference Optimization [3.7676096626244986]
  我々は,汎用ランタイムメモリ管理および最適化フレームワークであるFluidMLを提案する。 一般的な言語モデルでは、FluidMLはエンドツーエンドの推論遅延を最大25.38%削減できることを示す。 また、FluidMLは最先端のアプローチと比較してピークメモリ使用量を最大41.47%削減できることを示す。
  論文  参考訳（メタデータ） (2024-11-14T07:16:23Z)
• Hollowed Net for On-Device Personalization of Text-to-Image Diffusion Models [51.3915762595891]
  本稿では、デバイス上での主観的生成のための効率的なLoRAに基づくパーソナライズ手法を提案する。 提案手法はHollowed Netと呼ばれ,拡散U-Netのアーキテクチャを変更することにより,微調整時のメモリ効率を向上させる。
  論文  参考訳（メタデータ） (2024-11-02T08:42:48Z)
• A survey on efficient vision transformers: algorithms, techniques, and performance benchmarking [19.65897437342896]
  Vision Transformer (ViT) アーキテクチャは、コンピュータビジョンアプリケーションに取り組むために人気が高まり、広く使われている。 本稿では,ビジョントランスフォーマーを効率的にするための戦略を数学的に定義し,最先端の方法論を記述・議論し,その性能を異なるアプリケーションシナリオで解析する。
  論文  参考訳（メタデータ） (2023-09-05T08:21:16Z)
• FuzzyFlow: Leveraging Dataflow To Find and Squash Program Optimization Bugs [92.47146416628965]
  FuzzyFlowはプログラム最適化をテストするために設計されたフォールトローカライゼーションとテストケース抽出フレームワークである。 我々は、データフロープログラム表現を活用して、完全に再現可能なシステム状態と最適化のエリア・オブ・エフェクトをキャプチャする。 テスト時間を削減するため,テスト入力を最小限に抑えるアルゴリズムを設計し,再計算のためのメモリ交換を行う。
  論文  参考訳（メタデータ） (2023-06-28T13:00:17Z)
• TransCODE: Co-design of Transformers and Accelerators for Efficient Training and Inference [6.0093441900032465]
  本稿では,アクセラレータの設計空間におけるトランスフォーマー推論とトレーニングをシミュレートするフレームワークを提案する。 我々はこのシミュレータとTransCODEと呼ばれる共同設計手法を併用して最適性能のモデルを得る。 得られた変圧器・加速器対は、最先端の対よりも0.3%高い精度を達成する。
  論文  参考訳（メタデータ） (2023-03-27T02:45:18Z)
• Energy-efficient Task Adaptation for NLP Edge Inference Leveraging Heterogeneous Memory Architectures [68.91874045918112]
  Adapter-ALBERTは、様々なタスクにわたる最大データ再利用のための効率的なモデル最適化である。 検証されたNLPエッジアクセラレータ上でシミュレーションを行うことにより、モデルを不均一なオンチップメモリアーキテクチャにマッピングする利点を実証する。
  論文  参考訳（メタデータ） (2023-03-25T14:40:59Z)
• Efficient Fine-Tuning of BERT Models on the Edge [12.768368718187428]
  BERTのようなモデルのためのメモリ効率のよいトレーニングシステムであるFreeze And Reconfigure (FAR)を提案する。 FARは、DistilBERTモデルとCoLAデータセットの微調整時間を30%削減し、メモリ操作に費やした時間を47%削減する。 より広い範囲では、GLUEとSQuADデータセットのメトリックパフォーマンスの低下は平均で約1%である。
  論文  参考訳（メタデータ） (2022-05-03T14:51:53Z)
• Data-Driven Offline Optimization For Architecting Hardware Accelerators [89.68870139177785]
  PRIMEと呼ばれるハードウェアアクセラレータを設計するための,データ駆動型オフライン最適化手法を開発した。 PRIMEは、最先端のシミュレーション駆動方式の性能を約1.54倍と1.20倍に改善し、必要な総シミュレーション時間をそれぞれ93%と99%削減する。 さらにPRIMEは、ゼロショット設定で見えないアプリケーションのための効果的なアクセラレーターを設計し、シミュレーションベースの手法を1.26倍に向上させた。
  論文  参考訳（メタデータ） (2021-10-20T17:06:09Z)
• Efficient Micro-Structured Weight Unification and Pruning for Neural Network Compression [56.83861738731913]
  ディープニューラルネットワーク(DNN)モデルは、特にリソース制限されたデバイスにおいて、実用的なアプリケーションに不可欠である。 既往の非構造的あるいは構造化された重量刈り法は、推論を真に加速することはほとんど不可能である。 ハードウェア互換のマイクロ構造レベルでの一般化された重み統一フレームワークを提案し,高い圧縮と加速度を実現する。
  論文  参考訳（メタデータ） (2021-06-15T17:22:59Z)
• Memformer: A Memory-Augmented Transformer for Sequence Modeling [55.780849185884996]
  本稿では、シーケンスモデリングのための効率的なニューラルネットワークであるMemformerを紹介する。 我々のモデルは長いシーケンスを処理する際に線形時間複雑性と一定メモリ空間複雑性を実現する。
  論文  参考訳（メタデータ） (2020-10-14T09:03:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。