論文の概要: Towards Adaptive Deep Learning: Model Elasticity via Prune-and-Grow CNN Architectures

• arxiv url: http://arxiv.org/abs/2505.11569v1
• Date: Fri, 16 May 2025 10:06:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-20 14:57:10.710781
• Title: Towards Adaptive Deep Learning: Model Elasticity via Prune-and-Grow CNN Architectures
• Title（参考訳）: Adaptive Deep Learningに向けて - Prune-and-Grow CNNアーキテクチャによるモデル弾力性
• Authors: Pooja Mangal, Sudaksh Kalra, Dolly Sapra,
• Abstract要約: この論文では、利用可能なハードウェアリソースに基づいて、CNNが計算複雑性を動的に調整できる方法を探究する。 我々は,実行時にキャパシティを拡張可能な適応型CNNアーキテクチャを導入し,性能と資源利用の効率よくバランスをとる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deploying deep convolutional neural networks (CNNs) on resource-constrained devices presents significant challenges due to their high computational demands and rigid, static architectures. To overcome these limitations, this thesis explores methods for enabling CNNs to dynamically adjust their computational complexity based on available hardware resources. We introduce adaptive CNN architectures capable of scaling their capacity at runtime, thus efficiently balancing performance and resource utilization. To achieve this adaptability, we propose a structured pruning and dynamic re-construction approach that creates nested subnetworks within a single CNN model. This approach allows the network to dynamically switch between compact and full-sized configurations without retraining, making it suitable for deployment across varying hardware platforms. Experiments conducted across multiple CNN architectures including VGG-16, AlexNet, ResNet-20, and ResNet-56 on CIFAR-10 and Imagenette datasets demonstrate that adaptive models effectively maintain or even enhance performance under varying computational constraints. Our results highlight that embedding adaptability directly into CNN architectures significantly improves their robustness and flexibility, paving the way for efficient real-world deployment in diverse computational environments.
• Abstract（参考訳）: リソース制約のあるデバイスにディープ畳み込みニューラルネットワーク(CNN)をデプロイすることは、その高い計算要求と厳格で静的なアーキテクチャのために、大きな課題となる。 これらの制限を克服するために、この論文はCNNが利用可能なハードウェアリソースに基づいて計算複雑性を動的に調整できる方法を探究する。 我々は,実行時にキャパシティを拡張可能な適応型CNNアーキテクチャを導入し,性能と資源利用の効率よくバランスをとる。 この適応性を実現するために,単一CNNモデル内にネストしたサブネットワークを生成する構造的プルーニングと動的再構築手法を提案する。 このアプローチにより、ネットワークはリトレーニングすることなく、コンパクトな構成とフルサイズの構成を動的に切り替えることができ、様々なハードウェアプラットフォームへのデプロイに適している。 CIFAR-10およびImagenetteデータセット上で、VGG-16、AlexNet、ResNet-20、ResNet-56を含む複数のCNNアーキテクチャで実施された実験は、適応モデルが様々な計算制約の下で性能を効果的に維持または向上することを示した。 その結果,適応性を直接CNNアーキテクチャに組み込むことで,その堅牢性と柔軟性が大幅に向上し,多様な計算環境における実世界の効率的な展開の道が開けることがわかった。

関連論文リスト

• Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
  タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。 既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。 ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-29T19:02:54Z)
• Auto-Train-Once: Controller Network Guided Automatic Network Pruning from Scratch [72.26822499434446]
  オートトレインオース (Auto-Train-Once, ATO) は、DNNの計算コストと記憶コストを自動的に削減するために設計された、革新的なネットワークプルーニングアルゴリズムである。 総合的な収束解析と広範な実験を行い,本手法が様々なモデルアーキテクチャにおける最先端性能を実現することを示す。
  論文  参考訳（メタデータ） (2024-03-21T02:33:37Z)
• DyCE: Dynamically Configurable Exiting for Deep Learning Compression and Real-time Scaling [1.8350044465969415]
  DyCEは、推論ハードウェアの再初期化や再デプロイを必要とせずに、実行時にディープラーニングモデルのパフォーマンスと複雑さのトレードオフを調整することができる。 DyCEは、ResNet152では23.5%、ImageNetではConvNextv2-tinyでは25.9%、精度は0.5%未満である。
  論文  参考訳（メタデータ） (2024-03-04T03:09:28Z)
• Dynamic Semantic Compression for CNN Inference in Multi-access Edge Computing: A Graph Reinforcement Learning-based Autoencoder [82.8833476520429]
  部分オフロードにおける効果的な意味抽出と圧縮のための新しい意味圧縮手法であるオートエンコーダベースのCNNアーキテクチャ(AECNN)を提案する。 セマンティックエンコーダでは、CNNのチャネルアテンション機構に基づく特徴圧縮モジュールを導入し、最も情報性の高い特徴を選択して中間データを圧縮する。 セマンティックデコーダでは、受信した圧縮データから学習して中間データを再構築し、精度を向上させる軽量デコーダを設計する。
  論文  参考訳（メタデータ） (2024-01-19T15:19:47Z)
• Adaptive Growth: Real-time CNN Layer Expansion [0.0]
  本研究では,データ入力に基づいて,畳み込みニューラルネットワーク(CNN)の畳み込み層を動的に進化させるアルゴリズムを提案する。 厳密なアーキテクチャの代わりに、我々のアプローチはカーネルを畳み込み層に反復的に導入し、様々なデータに対してリアルタイムに応答する。 興味深いことに、我々の教師なしの手法は、さまざまなデータセットにまたがって教師なしの手法を上回った。
  論文  参考訳（メタデータ） (2023-09-06T14:43:58Z)
• Transferability of Convolutional Neural Networks in Stationary Learning Tasks [96.00428692404354]
  本稿では,大規模な空間問題に対する畳み込みニューラルネットワーク(CNN)の効率的なトレーニングのための新しいフレームワークを提案する。 このような信号の小さなウィンドウで訓練されたCNNは、再学習することなく、はるかに大きなウィンドウでほぼ性能を発揮することを示す。 以上の結果から,CNNは10人未満の訓練を受けた後,数百人のエージェントによる問題に対処できることが示唆された。
  論文  参考訳（メタデータ） (2023-07-21T13:51:45Z)
• Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
  画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。 本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。 本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
  論文  参考訳（メタデータ） (2023-03-16T21:06:13Z)
• Receptive Field Refinement for Convolutional Neural Networks Reliably Improves Predictive Performance [1.52292571922932]
  本稿では,このような理論的および経験的性能向上をもたらす受容場解析への新たなアプローチを提案する。 我々のアプローチは、広く知られたSOTA(State-of-the-art)モデルクラスにおいて、ImageNet1Kのパフォーマンスを改善することができる。
  論文  参考訳（メタデータ） (2022-11-26T05:27:44Z)
• Complexity-Driven CNN Compression for Resource-constrained Edge AI [1.6114012813668934]
  本稿では,CNNの層レベルでの複雑さを生かして,新しい,計算効率の高いプルーニングパイプラインを提案する。 パラメータ認識(PA)、FLOP認識(FA)、メモリ認識(MA)の3つのモードを定義し、CNNの汎用圧縮を導入する。
  論文  参考訳（メタデータ） (2022-08-26T16:01:23Z)
• Towards Enabling Dynamic Convolution Neural Network Inference for Edge Intelligence [0.0]
  エッジインテリジェンスの最近の進歩は、スループットを高め、レイテンシを低減するために、エッジネットワーク上のCNN推論を必要とする。 柔軟性を得るためには、さまざまなモバイルデバイスに対する動的パラメータ割り当ては、事前に定義されたか、オンザフライで定義されたCNNアーキテクチャを実装する必要がある。 本稿では,スケーラブルで動的に分散したCNN推論を高速に設計するためのライブラリベースのアプローチを提案する。
  論文  参考訳（メタデータ） (2022-02-18T22:33:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。