論文の概要: DyCE: Dynamic Configurable Exiting for Deep Learning Compression and
Scaling
- arxiv url: http://arxiv.org/abs/2403.01695v1
- Date: Mon, 4 Mar 2024 03:09:28 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-06 20:17:24.583716
- Title: DyCE: Dynamic Configurable Exiting for Deep Learning Compression and
Scaling
- Title(参考訳): DyCE: ディープラーニング圧縮とスケーリングのための動的構成可能なエグジット
- Authors: Qingyuan Wang, Barry Cardiff, Antoine Frapp\'e, Benoit Larras and
Deepu John
- Abstract要約: DyCEは、設計上の考慮事項を互いに分離し、ベースモデルから切り離す動的早期退避フレームワークである。
これにより、ResNet152の23.5%、ImageNetのConvNextv2の25.9%の計算複雑性が大幅に削減され、精度は0.5%以下になった。
- 参考スコア(独自算出の注目度): 1.9686770963118378
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Modern deep learning (DL) models necessitate the employment of scaling and
compression techniques for effective deployment in resource-constrained
environments. Most existing techniques, such as pruning and quantization are
generally static. On the other hand, dynamic compression methods, such as early
exits, reduce complexity by recognizing the difficulty of input samples and
allocating computation as needed. Dynamic methods, despite their superior
flexibility and potential for co-existing with static methods, pose significant
challenges in terms of implementation due to any changes in dynamic parts will
influence subsequent processes. Moreover, most current dynamic compression
designs are monolithic and tightly integrated with base models, thereby
complicating the adaptation to novel base models. This paper introduces DyCE,
an dynamic configurable early-exit framework that decouples design
considerations from each other and from the base model. Utilizing this
framework, various types and positions of exits can be organized according to
predefined configurations, which can be dynamically switched in real-time to
accommodate evolving performance-complexity requirements. We also propose
techniques for generating optimized configurations based on any desired
trade-off between performance and computational complexity. This empowers
future researchers to focus on the improvement of individual exits without
latent compromise of overall system performance. The efficacy of this approach
is demonstrated through image classification tasks with deep CNNs. DyCE
significantly reduces the computational complexity by 23.5% of ResNet152 and
25.9% of ConvNextv2-tiny on ImageNet, with accuracy reductions of less than
0.5%. Furthermore, DyCE offers advantages over existing dynamic methods in
terms of real-time configuration and fine-grained performance tuning.
- Abstract(参考訳): 現代のディープラーニング(dl)モデルは、リソース制約のある環境で効果的に展開するためのスケーリングと圧縮技術の雇用を必要とする。
プルーニングや量子化といった既存の技術は一般に静的である。
一方、早期出口などの動的圧縮手法は、入力サンプルの難易度を認識し、必要に応じて計算を割り当てることで複雑さを低減する。
動的メソッドは、優れた柔軟性と静的メソッドと共存する可能性にもかかわらず、動的部分の変更が後のプロセスに影響を与えるため、実装に関して重大な課題をもたらす。
さらに、現在の動的圧縮設計のほとんどはモノリシックであり、ベースモデルと密に統合されているため、新しいベースモデルへの適応が複雑になる。
本稿では,設計上の考慮事項を相互およびベースモデルから分離する動的構成可能なアーリーエクイットフレームワークであるdyceについて述べる。
このフレームワークを利用することで、さまざまなタイプや出口の位置を事前に定義された設定に従って整理することができる。
また,計算量と性能のトレードオフに基づいて最適化された構成を生成する手法を提案する。
これにより、将来の研究者はシステム全体のパフォーマンスを損なうことなく、個々のエグジットの改善に集中することができる。
提案手法の有効性は,深部CNNを用いた画像分類タスクによって実証される。
DyCE は ResNet152 の 23.5% と ImageNet の ConvNextv2 の 25.9% で計算複雑性を著しく低減し、精度は 0.5% 未満である。
さらにdyceは、リアルタイム設定ときめ細かいパフォーマンスチューニングの観点から、既存の動的メソッドよりも優れている。
関連論文リスト
- Convolutional Neural Network Compression via Dynamic Parameter Rank
Pruning [4.7027290803102675]
動的パラメータランクプルーニングによるCNN圧縮の効率的なトレーニング手法を提案する。
提案手法は, 分類性能の維持や向上を図りながら, かなりの蓄えを得られることを示す。
論文 参考訳(メタデータ) (2024-01-15T23:52:35Z) - Towards Optimal Compression: Joint Pruning and Quantization [1.191194620421783]
本稿では,FITCompressについて紹介する。FITCompressは層単位での混合精度の量子化と非構造化プルーニングを組み合わせた新しい手法である。
コンピュータビジョンと自然言語処理ベンチマークの実験により,提案手法が優れた圧縮性能のトレードオフを実現することを示す。
論文 参考訳(メタデータ) (2023-02-15T12:02:30Z) - Slimmable Domain Adaptation [112.19652651687402]
重み付けモデルバンクを用いて、ドメイン間の一般化を改善するためのシンプルなフレームワーク、Slimmable Domain Adaptationを導入する。
私たちのフレームワークは、他の競合するアプローチを、複数のベンチマークにおいて非常に大きなマージンで上回ります。
論文 参考訳(メタデータ) (2022-06-14T06:28:04Z) - SD-Conv: Towards the Parameter-Efficiency of Dynamic Convolution [16.56592303409295]
動的畳み込みは、無視可能なFLOPの増加による効率の良いCNNの性能向上を実現する。
我々はこれら2つのパスを自然に統合する新しいフレームワーク textbfSparse Dynamic Convolution (textscSD-Conv) を提案する。
論文 参考訳(メタデータ) (2022-04-05T14:03:54Z) - Layer Pruning on Demand with Intermediate CTC [50.509073206630994]
我々はコネクショニスト時間分類(CTC)に基づくASRの訓練と刈り取り方法を提案する。
本稿では,Transformer-CTCモデルをオンデマンドで様々な深さでプルーニングできることを示し,GPU上でのリアルタイム係数を0.005から0.002に改善した。
論文 参考訳(メタデータ) (2021-06-17T02:40:18Z) - Efficient Micro-Structured Weight Unification and Pruning for Neural
Network Compression [56.83861738731913]
ディープニューラルネットワーク(DNN)モデルは、特にリソース制限されたデバイスにおいて、実用的なアプリケーションに不可欠である。
既往の非構造的あるいは構造化された重量刈り法は、推論を真に加速することはほとんど不可能である。
ハードウェア互換のマイクロ構造レベルでの一般化された重み統一フレームワークを提案し,高い圧縮と加速度を実現する。
論文 参考訳(メタデータ) (2021-06-15T17:22:59Z) - Learning to Continuously Optimize Wireless Resource in a Dynamic
Environment: A Bilevel Optimization Perspective [52.497514255040514]
この研究は、データ駆動メソッドが動的環境でリソース割り当て戦略を継続的に学び、最適化することを可能にする新しいアプローチを開発しています。
学習モデルが新たなエピソードに段階的に適応できるように、連続学習の概念を無線システム設計に組み込むことを提案する。
我々の設計は、異なるデータサンプルにまたがる公平性を保証する、新しい二段階最適化定式化に基づいている。
論文 参考訳(メタデータ) (2021-05-03T07:23:39Z) - Learning to Continuously Optimize Wireless Resource In Episodically
Dynamic Environment [55.91291559442884]
この研究は、データ駆動型手法が動的環境で継続的に学習し、最適化できる方法論を開発する。
本稿では,無線システム学習のモデリングプロセスに連続学習の概念を構築することを提案する。
我々の設計は、異なるデータサンプル間で「一定の公正性を保証する」新しいmin-maxの定式化に基づいている。
論文 参考訳(メタデータ) (2020-11-16T08:24:34Z) - Neural Network Compression Via Sparse Optimization [23.184290795230897]
スパース最適化の最近の進歩に基づくモデル圧縮フレームワークを提案する。
我々は、CIFAR10のVGG16とImageNetのResNet50で、同じレベルの精度で、最大7.2倍と2.9倍のFLOPを削減できる。
論文 参考訳(メタデータ) (2020-11-10T03:03:55Z) - AntiDote: Attention-based Dynamic Optimization for Neural Network
Runtime Efficiency [42.00372941618975]
本稿では,ニューラルネットワークの注意機構に基づく動的CNN最適化フレームワークを提案する。
我々の方法では、様々なテストネットワークで無視できる精度の低下で37.4%から54.5%のFLOPを削減できる。
論文 参考訳(メタデータ) (2020-08-14T18:48:13Z) - Structured Sparsification with Joint Optimization of Group Convolution
and Channel Shuffle [117.95823660228537]
本稿では,効率的なネットワーク圧縮のための新しい構造空間分割法を提案する。
提案手法は, 畳み込み重みに対する構造的疎度を自動的に誘導する。
また,学習可能なチャネルシャッフル機構によるグループ間通信の問題にも対処する。
論文 参考訳(メタデータ) (2020-02-19T12:03:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。