論文の概要: Energy-Efficient Transformer Inference: Optimization Strategies for Time Series Classification

• arxiv url: http://arxiv.org/abs/2502.16627v1
• Date: Sun, 23 Feb 2025 16:04:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-25 15:56:07.912184
• Title: Energy-Efficient Transformer Inference: Optimization Strategies for Time Series Classification
• Title（参考訳）: エネルギー効率の良い変圧器推論:時系列分類のための最適化手法
• Authors: Arshia Kermani, Ehsan Zeraatkar, Habib Irani,
• Abstract要約: 本稿では,トランスアーキテクチャの構造化プルーニングと量子化手法に着目し,最適化手法の体系的検討を行う。 静的量子化は, 分類性能を維持しながらエネルギー消費を29.14%削減することを示した。 L1プルーニングは、精度の低下を最小限に抑えながら、推論速度が1.63%向上する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: The increasing computational demands of transformer models in time series classification necessitate effective optimization strategies for energy-efficient deployment. This paper presents a systematic investigation of optimization techniques, focusing on structured pruning and quantization methods for transformer architectures. Through extensive experimentation on three distinct datasets (RefrigerationDevices, ElectricDevices, and PLAID), we quantitatively evaluate model performance and energy efficiency across different transformer configurations. Our experimental results demonstrate that static quantization reduces energy consumption by 29.14% while maintaining classification performance, and L1 pruning achieves a 1.63% improvement in inference speed with minimal accuracy degradation. These findings provide valuable insights into the effectiveness of optimization strategies for transformer-based time series classification, establishing a foundation for efficient model deployment in resource-constrained environments.
• Abstract（参考訳）: 時系列分類における変圧器モデルの計算要求の増大は、エネルギー効率の高い展開のための効果的な最適化戦略を必要とする。 本稿では,トランスアーキテクチャの構造化プルーニングと量子化手法に着目し,最適化手法の体系的検討を行う。 3つの異なるデータセット(RefrigerationDevices、ElectricDevices、PLAID)の広範な実験を通じて、異なるトランスフォーマー構成におけるモデル性能とエネルギー効率を定量的に評価する。 実験の結果,静的量子化は分類性能を維持しながらエネルギー消費量を29.14%削減し,L1プルーニングは推算速度が1.63%向上し,最小精度が向上した。 これらの結果は、トランスフォーマーに基づく時系列分類における最適化戦略の有効性に関する貴重な洞察を与え、資源制約環境における効率的なモデル展開の基礎を確立した。

関連論文リスト

• Transformer^-1: Input-Adaptive Computation for Resource-Constrained Deployment [3.6219999155937113]
  本稿では,動的シナリオ下でのディープラーニングモデルにおける固定計算パラダイムによる資源無駄に対処するためのTransformer$-1$アーキテクチャを提案する。 ベンチマークテストでは,標準的なTransformerと比較してFLOPを42.7%削減し,ピークメモリ使用率を3%削減した。 また,いくつかの自然言語処理タスクの実験を行い,資源効率の大幅な向上を実現した。
  論文  参考訳（メタデータ） (2025-01-26T15:31:45Z)
• Optimization Strategies for Enhancing Resource Efficiency in Transformers & Large Language Models [0.0]
  本研究では,量子化,知識蒸留,プルーニングなどの最適化手法について検討する。 4ビット量子化は、最小精度の損失でエネルギー使用量を大幅に削減する。 KDとStructured Pruningを組み合わせたNVIDIAのMinitronアプローチのようなハイブリッドアプローチは、サイズ縮小と精度保持の間の有望なトレードオフを示す。
  論文  参考訳（メタデータ） (2025-01-16T08:54:44Z)
• Learning on Transformers is Provable Low-Rank and Sparse: A One-layer Analysis [63.66763657191476]
  低ランク計算としての効率的な数値学習と推論アルゴリズムはトランスフォーマーに基づく適応学習に優れた性能を持つことを示す。 我々は、等級モデルが適応性を改善しながら一般化にどのように影響するかを分析する。 適切なマグニチュードベースのテストは,テストパフォーマンスに多少依存している,と結論付けています。
  論文  参考訳（メタデータ） (2024-06-24T23:00:58Z)
• TranDRL: A Transformer-Driven Deep Reinforcement Learning Enabled Prescriptive Maintenance Framework [58.474610046294856]
  産業システムは、運用効率を高め、ダウンタイムを減らすための信頼性の高い予測保守戦略を要求する。 本稿では,Transformerモデルに基づくニューラルネットワークと深部強化学習(DRL)アルゴリズムの機能を活用し,システムの保守動作を最適化する統合フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-09-29T02:27:54Z)
• Break a Lag: Triple Exponential Moving Average for Enhanced Optimization [2.0199251985015434]
  本稿では,三重指数移動平均のパワーを利用する新しい最適化手法であるFAMEを紹介する。 FAMEはデータダイナミクスに対する応答性を高め、トレンド識別ラグを緩和し、学習効率を最適化する。 包括的評価は、画像分類、オブジェクト検出、セマンティックセグメンテーションを含む様々なコンピュータビジョンタスクを含み、FAMEを30の異なるアーキテクチャに統合する。
  論文  参考訳（メタデータ） (2023-06-02T10:29:33Z)
• Full Stack Optimization of Transformer Inference: a Survey [58.55475772110702]
  トランスフォーマーモデルは広範囲のアプリケーションにまたがって優れた精度を実現する。 最近のTransformerモデルの推測に必要な計算量と帯域幅は、かなり増加しています。 Transformerモデルをより効率的にすることに注力している。
  論文  参考訳（メタデータ） (2023-02-27T18:18:13Z)
• HEAT: Hardware-Efficient Automatic Tensor Decomposition for Transformer Compression [69.36555801766762]
  本稿では,分解可能な指数空間を効率的に探索できるハードウェア対応テンソル分解フレームワークHEATを提案する。 ハードウェア対応のBERT変異体は, エネルギー遅延を5.7倍に低減し, 精度が1.1%以下であることを示す。
  論文  参考訳（メタデータ） (2022-11-30T05:31:45Z)
• Effective Pre-Training Objectives for Transformer-based Autoencoders [97.99741848756302]
  トランスフォーマーエンコーダの効率,コスト,精度のトレードオフについて検討する。 共通の目的の機能を組み合わせて、新しい効果的な事前学習アプローチを作成します。
  論文  参考訳（メタデータ） (2022-10-24T18:39:44Z)
• Optimizing Inference Performance of Transformers on CPUs [0.0]
  トランスフォーマーベースのモデル(BERTなど)は、検索、翻訳、質問応答など、多くの重要なWebサービスを支えている。 本稿では,cpu上でのトランスフォーマモデル参照のスケーラビリティと性能に関する実証分析を行う。
  論文  参考訳（メタデータ） (2021-02-12T17:01:35Z)
• Adaptive pruning-based optimization of parameterized quantum circuits [62.997667081978825]
  Variisyハイブリッド量子古典アルゴリズムは、ノイズ中間量子デバイスの使用を最大化する強力なツールである。 我々は、変分量子アルゴリズムで使用されるそのようなアンサーゼを「効率的な回路訓練」(PECT)と呼ぶ戦略を提案する。 すべてのアンサッツパラメータを一度に最適化する代わりに、PECTは一連の変分アルゴリズムを起動する。
  論文  参考訳（メタデータ） (2020-10-01T18:14:11Z)
• End-to-end deep metamodeling to calibrate and optimize energy loads [0.0]
  本研究では,大規模建物のエネルギー性能と快適性,空気質,衛生性を最適化する新しいエンド・ツー・エンド手法を提案する。 シミュレーションプログラムでサンプル化したデータセットを用いてトランスフォーマーネットワークに基づくメタモデルを導入,訓練する。
  論文  参考訳（メタデータ） (2020-06-19T07:40:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。