論文の概要: DyCE: Dynamically Configurable Exiting for Deep Learning Compression and Real-time Scaling

• arxiv url: http://arxiv.org/abs/2403.01695v2
• Date: Fri, 16 Aug 2024 18:27:20 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-21 03:27:41.892156
• Title: DyCE: Dynamically Configurable Exiting for Deep Learning Compression and Real-time Scaling
• Title（参考訳）: DyCE: ディープラーニング圧縮とリアルタイムスケーリングのための動的構成可能なエグジット
• Authors: Qingyuan Wang, Barry Cardiff, Antoine Frappé, Benoit Larras, Deepu John,
• Abstract要約: DyCEは、推論ハードウェアの再初期化や再デプロイを必要とせずに、実行時にディープラーニングモデルのパフォーマンスと複雑さのトレードオフを調整することができる。 DyCEは、ResNet152では23.5%、ImageNetではConvNextv2-tinyでは25.9%、精度は0.5%未満である。
• 参考スコア（独自算出の注目度）: 1.8350044465969415
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Conventional deep learning (DL) model compression and scaling methods focus on altering the model's components, impacting the results across all samples uniformly. However, since samples vary in difficulty, a dynamic model that adapts computation based on sample complexity offers a novel perspective for compression and scaling. Despite this potential, existing dynamic models are typically monolithic and model-specific, limiting their generalizability as broad compression and scaling methods. Additionally, most deployed DL systems are fixed, unable to adjust their scale once deployed and, therefore, cannot adapt to the varying real-time demands. This paper introduces DyCE, a dynamically configurable system that can adjust the performance-complexity trade-off of a DL model at runtime without requiring re-initialization or redeployment on inference hardware. DyCE achieves this by adding small exit networks to intermediate layers of the original model, allowing computation to terminate early if acceptable results are obtained. DyCE also decouples the design of an efficient dynamic model, facilitating easy adaptation to new base models and potential general use in compression and scaling. We also propose methods for generating optimized configurations and determining the types and positions of exit networks to achieve desired performance and complexity trade-offs. By enabling simple configuration switching, DyCE provides fine-grained performance tuning in real-time. We demonstrate the effectiveness of DyCE through image classification tasks using deep convolutional neural networks (CNNs). DyCE significantly reduces computational complexity by 23.5% for ResNet152 and 25.9% for ConvNextv2-tiny on ImageNet, with accuracy reductions of less than 0.5%.
• Abstract（参考訳）: 従来のディープラーニング(DL)モデル圧縮とスケーリング手法は、モデルコンポーネントの変更に焦点を合わせ、すべてのサンプルに対して結果に均一に影響を与えます。 しかし、サンプルの難易度が異なるため、サンプルの複雑さに基づく計算に適応する動的モデルは、圧縮とスケーリングの新しい視点を提供する。 この可能性にもかかわらず、既存の動的モデルは典型的にはモノリシックでモデル固有のものであり、幅広い圧縮とスケーリングの方法として一般化可能性を制限する。 さらに、ほとんどのDLシステムは固定されており、一度デプロイするとスケールを調整できないため、様々なリアルタイム要求に対応できない。 本稿では,動的に構成可能なDyCEについて紹介する。DyCEは,実行時のDLモデルの性能・複雑さのトレードオフを,推論ハードウェアの再初期化や再デプロイを必要とせずに調整できるシステムである。 DyCEは、元のモデルの中間層に小さな出口ネットワークを追加することで、許容可能な結果が得られれば、計算を早期に終了させることができる。 また、DyCEは効率的な動的モデルの設計を分離し、新しいベースモデルへの適応を容易にし、圧縮とスケーリングにおいて潜在的に一般的な使用を可能にする。 また、最適化された構成を生成し、エグジットネットワークのタイプと位置を決定し、所望のパフォーマンスと複雑さのトレードオフを達成する方法を提案する。 簡単な設定の切り替えを可能にすることで、DyCEはよりきめ細かなパフォーマンスチューニングをリアルタイムで提供する。 深部畳み込みニューラルネットワーク(CNN)を用いた画像分類タスクによるDyCEの有効性を示す。 DyCEは、ResNet152では23.5%、ImageNetではConvNextv2-tinyでは25.9%、精度は0.5%未満である。

関連論文リスト

• Dynamic Pre-training: Towards Efficient and Scalable All-in-One Image Restoration [100.54419875604721]
  オールインワン画像復元は、各分解に対してタスク固有の非ジェネリックモデルを持たずに、統一されたモデルで異なるタイプの劣化に対処する。 我々は、オールインワン画像復元タスクのためのエンコーダデコーダ方式で設計されたネットワークの動的ファミリであるDyNetを提案する。 我々のDyNetは、よりバルク化と軽量化をシームレスに切り替えることができるので、効率的なモデルデプロイメントのための柔軟性を提供します。
  論文  参考訳（メタデータ） (2024-04-02T17:58:49Z)
• Convolutional Neural Network Compression via Dynamic Parameter Rank Pruning [4.7027290803102675]
  動的パラメータランクプルーニングによるCNN圧縮の効率的なトレーニング手法を提案する。 提案手法は, 分類性能の維持や向上を図りながら, かなりの蓄えを得られることを示す。
  論文  参考訳（メタデータ） (2024-01-15T23:52:35Z)
• Deep learning model compression using network sensitivity and gradients [3.52359746858894]
  非リトレーニング条件とリトレーニング条件の両方に対するモデル圧縮アルゴリズムを提案する。 まず,ネットワークパラメータの感度を用いた深層学習モデルの圧縮のためのBin & Quantアルゴリズムを提案する。 第2のケースでは、新しい勾配重み付きk平均クラスタリングアルゴリズム(GWK)を提案する。
  論文  参考訳（メタデータ） (2022-10-11T03:02:40Z)
• Effective Invertible Arbitrary Image Rescaling [77.46732646918936]
  Invertible Neural Networks (INN)は、ダウンスケーリングとアップスケーリングのサイクルを共同で最適化することにより、アップスケーリングの精度を大幅に向上させることができる。 本研究の1つのモデルのみをトレーニングすることにより、任意の画像再スケーリングを実現するために、単純で効果的な非可逆的再スケーリングネットワーク(IARN)を提案する。 LR出力の知覚品質を損なうことなく、双方向任意再スケーリングにおいて最先端(SOTA)性能を実現する。
  論文  参考訳（メタデータ） (2022-09-26T22:22:30Z)
• A Low-Complexity Approach to Rate-Distortion Optimized Variable Bit-Rate Compression for Split DNN Computing [5.3221129103999125]
  分散コンピューティングは、DNNベースのAIワークロードを実装するための最近のパラダイムとして登場した。 本稿では,レート・精度・複雑さのトレードオフを最適化する上での課題に対処するアプローチを提案する。 我々のアプローチは、トレーニングと推論の両方において非常に軽量であり、非常に効果的であり、高い速度歪曲性能を実現する。
  論文  参考訳（メタデータ） (2022-08-24T15:02:11Z)
• LCS: Learning Compressible Subspaces for Adaptive Network Compression at Inference Time [57.52251547365967]
  本稿では,ニューラルネットワークの「圧縮可能な部分空間」を訓練する手法を提案する。 構造的・非構造的空間に対する推定時間における微粒な精度・効率のトレードオフを任意に達成するための結果を示す。 我々のアルゴリズムは、可変ビット幅での量子化にまで拡張し、個別に訓練されたネットワークと同等の精度を実現する。
  論文  参考訳（メタデータ） (2021-10-08T17:03:34Z)
• DS-Net++: Dynamic Weight Slicing for Efficient Inference in CNNs and Transformers [105.74546828182834]
  本稿では,様々な難易度を持つ入力に対して,ネットワークパラメータの一部を適応的にスライスする動的ウェイトスライシングという,ハードウェア効率のよい動的推論方式を示す。 我々は、CNNのフィルタ数とCNNと変換器の多重次元を入力依存的に調整することで、動的スライム可能なネットワーク(DS-Net)と動的スライス可能なネットワーク(DS-Net++)を提案する。
  論文  参考訳（メタデータ） (2021-09-21T09:57:21Z)
• Layer Pruning on Demand with Intermediate CTC [50.509073206630994]
  我々はコネクショニスト時間分類(CTC)に基づくASRの訓練と刈り取り方法を提案する。 本稿では,Transformer-CTCモデルをオンデマンドで様々な深さでプルーニングできることを示し,GPU上でのリアルタイム係数を0.005から0.002に改善した。
  論文  参考訳（メタデータ） (2021-06-17T02:40:18Z)
• Dynamic Slimmable Network [105.74546828182834]
  ダイナミックスリム化システム「ダイナミックスリム化ネットワーク(DS-Net)」を開発。 ds-netは,提案するダブルヘッド動的ゲートによる動的推論機能を備えている。 静的圧縮法と最先端の静的および動的モデル圧縮法を一貫して上回っている。
  論文  参考訳（メタデータ） (2021-03-24T15:25:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。