論文の概要: DyCE: Dynamic Configurable Exiting for Deep Learning Compression and Scaling

• arxiv url: http://arxiv.org/abs/2403.01695v1
• Date: Mon, 4 Mar 2024 03:09:28 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-06 20:17:24.583716
• Title: DyCE: Dynamic Configurable Exiting for Deep Learning Compression and Scaling
• Title（参考訳）: DyCE: ディープラーニング圧縮とスケーリングのための動的構成可能なエグジット
• Authors: Qingyuan Wang, Barry Cardiff, Antoine Frapp\'e, Benoit Larras and Deepu John
• Abstract要約: DyCEは、設計上の考慮事項を互いに分離し、ベースモデルから切り離す動的早期退避フレームワークである。 これにより、ResNet152の23.5%、ImageNetのConvNextv2の25.9%の計算複雑性が大幅に削減され、精度は0.5%以下になった。
• 参考スコア（独自算出の注目度）: 1.9686770963118378
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Modern deep learning (DL) models necessitate the employment of scaling and compression techniques for effective deployment in resource-constrained environments. Most existing techniques, such as pruning and quantization are generally static. On the other hand, dynamic compression methods, such as early exits, reduce complexity by recognizing the difficulty of input samples and allocating computation as needed. Dynamic methods, despite their superior flexibility and potential for co-existing with static methods, pose significant challenges in terms of implementation due to any changes in dynamic parts will influence subsequent processes. Moreover, most current dynamic compression designs are monolithic and tightly integrated with base models, thereby complicating the adaptation to novel base models. This paper introduces DyCE, an dynamic configurable early-exit framework that decouples design considerations from each other and from the base model. Utilizing this framework, various types and positions of exits can be organized according to predefined configurations, which can be dynamically switched in real-time to accommodate evolving performance-complexity requirements. We also propose techniques for generating optimized configurations based on any desired trade-off between performance and computational complexity. This empowers future researchers to focus on the improvement of individual exits without latent compromise of overall system performance. The efficacy of this approach is demonstrated through image classification tasks with deep CNNs. DyCE significantly reduces the computational complexity by 23.5% of ResNet152 and 25.9% of ConvNextv2-tiny on ImageNet, with accuracy reductions of less than 0.5%. Furthermore, DyCE offers advantages over existing dynamic methods in terms of real-time configuration and fine-grained performance tuning.
• Abstract（参考訳）: 現代のディープラーニング(dl)モデルは、リソース制約のある環境で効果的に展開するためのスケーリングと圧縮技術の雇用を必要とする。 プルーニングや量子化といった既存の技術は一般に静的である。 一方、早期出口などの動的圧縮手法は、入力サンプルの難易度を認識し、必要に応じて計算を割り当てることで複雑さを低減する。 動的メソッドは、優れた柔軟性と静的メソッドと共存する可能性にもかかわらず、動的部分の変更が後のプロセスに影響を与えるため、実装に関して重大な課題をもたらす。 さらに、現在の動的圧縮設計のほとんどはモノリシックであり、ベースモデルと密に統合されているため、新しいベースモデルへの適応が複雑になる。 本稿では,設計上の考慮事項を相互およびベースモデルから分離する動的構成可能なアーリーエクイットフレームワークであるdyceについて述べる。 このフレームワークを利用することで、さまざまなタイプや出口の位置を事前に定義された設定に従って整理することができる。 また,計算量と性能のトレードオフに基づいて最適化された構成を生成する手法を提案する。 これにより、将来の研究者はシステム全体のパフォーマンスを損なうことなく、個々のエグジットの改善に集中することができる。 提案手法の有効性は,深部CNNを用いた画像分類タスクによって実証される。 DyCE は ResNet152 の 23.5% と ImageNet の ConvNextv2 の 25.9% で計算複雑性を著しく低減し、精度は 0.5% 未満である。 さらにdyceは、リアルタイム設定ときめ細かいパフォーマンスチューニングの観点から、既存の動的メソッドよりも優れている。

関連論文リスト

• Dynamic Pre-training: Towards Efficient and Scalable All-in-One Image Restoration [100.54419875604721]
  オールインワン画像復元は、各分解に対してタスク固有の非ジェネリックモデルを持たずに、統一されたモデルで異なるタイプの劣化に対処する。 我々は、オールインワン画像復元タスクのためのエンコーダデコーダ方式で設計されたネットワークの動的ファミリであるDyNetを提案する。 我々のDyNetは、よりバルク化と軽量化をシームレスに切り替えることができるので、効率的なモデルデプロイメントのための柔軟性を提供します。
  論文  参考訳（メタデータ） (2024-04-02T17:58:49Z)
• Convolutional Neural Network Compression via Dynamic Parameter Rank Pruning [4.7027290803102675]
  動的パラメータランクプルーニングによるCNN圧縮の効率的なトレーニング手法を提案する。 提案手法は, 分類性能の維持や向上を図りながら, かなりの蓄えを得られることを示す。
  論文  参考訳（メタデータ） (2024-01-15T23:52:35Z)
• Deep learning model compression using network sensitivity and gradients [3.52359746858894]
  非リトレーニング条件とリトレーニング条件の両方に対するモデル圧縮アルゴリズムを提案する。 まず,ネットワークパラメータの感度を用いた深層学習モデルの圧縮のためのBin & Quantアルゴリズムを提案する。 第2のケースでは、新しい勾配重み付きk平均クラスタリングアルゴリズム(GWK)を提案する。
  論文  参考訳（メタデータ） (2022-10-11T03:02:40Z)
• Effective Invertible Arbitrary Image Rescaling [77.46732646918936]
  Invertible Neural Networks (INN)は、ダウンスケーリングとアップスケーリングのサイクルを共同で最適化することにより、アップスケーリングの精度を大幅に向上させることができる。 本研究の1つのモデルのみをトレーニングすることにより、任意の画像再スケーリングを実現するために、単純で効果的な非可逆的再スケーリングネットワーク(IARN)を提案する。 LR出力の知覚品質を損なうことなく、双方向任意再スケーリングにおいて最先端(SOTA)性能を実現する。
  論文  参考訳（メタデータ） (2022-09-26T22:22:30Z)
• A Low-Complexity Approach to Rate-Distortion Optimized Variable Bit-Rate Compression for Split DNN Computing [5.3221129103999125]
  分散コンピューティングは、DNNベースのAIワークロードを実装するための最近のパラダイムとして登場した。 本稿では,レート・精度・複雑さのトレードオフを最適化する上での課題に対処するアプローチを提案する。 我々のアプローチは、トレーニングと推論の両方において非常に軽量であり、非常に効果的であり、高い速度歪曲性能を実現する。
  論文  参考訳（メタデータ） (2022-08-24T15:02:11Z)
• LCS: Learning Compressible Subspaces for Adaptive Network Compression at Inference Time [57.52251547365967]
  本稿では,ニューラルネットワークの「圧縮可能な部分空間」を訓練する手法を提案する。 構造的・非構造的空間に対する推定時間における微粒な精度・効率のトレードオフを任意に達成するための結果を示す。 我々のアルゴリズムは、可変ビット幅での量子化にまで拡張し、個別に訓練されたネットワークと同等の精度を実現する。
  論文  参考訳（メタデータ） (2021-10-08T17:03:34Z)
• DS-Net++: Dynamic Weight Slicing for Efficient Inference in CNNs and Transformers [105.74546828182834]
  本稿では,様々な難易度を持つ入力に対して,ネットワークパラメータの一部を適応的にスライスする動的ウェイトスライシングという,ハードウェア効率のよい動的推論方式を示す。 我々は、CNNのフィルタ数とCNNと変換器の多重次元を入力依存的に調整することで、動的スライム可能なネットワーク(DS-Net)と動的スライス可能なネットワーク(DS-Net++)を提案する。
  論文  参考訳（メタデータ） (2021-09-21T09:57:21Z)
• Layer Pruning on Demand with Intermediate CTC [50.509073206630994]
  我々はコネクショニスト時間分類(CTC)に基づくASRの訓練と刈り取り方法を提案する。 本稿では,Transformer-CTCモデルをオンデマンドで様々な深さでプルーニングできることを示し,GPU上でのリアルタイム係数を0.005から0.002に改善した。
  論文  参考訳（メタデータ） (2021-06-17T02:40:18Z)
• Dynamic Slimmable Network [105.74546828182834]
  ダイナミックスリム化システム「ダイナミックスリム化ネットワーク(DS-Net)」を開発。 ds-netは,提案するダブルヘッド動的ゲートによる動的推論機能を備えている。 静的圧縮法と最先端の静的および動的モデル圧縮法を一貫して上回っている。
  論文  参考訳（メタデータ） (2021-03-24T15:25:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。