論文の概要: Sensitivity-Aware Mixed-Precision Quantization and Width Optimization of Deep Neural Networks Through Cluster-Based Tree-Structured Parzen Estimation
- arxiv url: http://arxiv.org/abs/2308.06422v3
- Date: Fri, 9 Aug 2024 05:40:35 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-12 21:01:50.343143
- Title: Sensitivity-Aware Mixed-Precision Quantization and Width Optimization of Deep Neural Networks Through Cluster-Based Tree-Structured Parzen Estimation
- Title（参考訳）: クラスタベース木構造パーゼン推定による感性を考慮した混合精度量子化と深部ニューラルネットワークの幅最適化
- Authors: Seyedarmin Azizi, Mahdi Nazemi, Arash Fayyazi, Massoud Pedram,
- Abstract要約: 本稿では,個々のニューラルネットワーク層に対して最適なビット幅と層幅を自動的に選択する革新的な探索機構を提案する。
これにより、ディープニューラルネットワークの効率が著しく向上する。
- 参考スコア（独自算出の注目度）: 4.748931281307333
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: As the complexity and computational demands of deep learning models rise, the need for effective optimization methods for neural network designs becomes paramount. This work introduces an innovative search mechanism for automatically selecting the best bit-width and layer-width for individual neural network layers. This leads to a marked enhancement in deep neural network efficiency. The search domain is strategically reduced by leveraging Hessian-based pruning, ensuring the removal of non-crucial parameters. Subsequently, we detail the development of surrogate models for favorable and unfavorable outcomes by employing a cluster-based tree-structured Parzen estimator. This strategy allows for a streamlined exploration of architectural possibilities and swift pinpointing of top-performing designs. Through rigorous testing on well-known datasets, our method proves its distinct advantage over existing methods. Compared to leading compression strategies, our approach records an impressive 20% decrease in model size without compromising accuracy. Additionally, our method boasts a 12x reduction in search time relative to the best search-focused strategies currently available. As a result, our proposed method represents a leap forward in neural network design optimization, paving the way for quick model design and implementation in settings with limited resources, thereby propelling the potential of scalable deep learning solutions.
- Abstract（参考訳）: ディープラーニングモデルの複雑さと計算要求が増大するにつれて、ニューラルネットワーク設計のための効果的な最適化手法の必要性が最重要となる。
この研究は、個々のニューラルネットワーク層に対して最適なビット幅と層幅を自動的に選択する革新的な検索メカニズムを導入している。
これにより、ディープニューラルネットワークの効率が著しく向上する。
探索領域はヘッセン式プルーニングを利用することで戦略的に低減され、非致命的パラメータの除去が保証される。
その後、クラスタベース木構造Parzen推定器を用いて、好ましくない結果と好ましくない結果に対する代理モデルの開発について詳述する。
この戦略により、アーキテクチャの可能性の合理化と、トップパフォーマンスの設計の素早いピンポイント化が可能になる。
既知のデータセットに対する厳密なテストを通じて,本手法は既存の手法に対して明確な優位性を証明している。
従来の圧縮手法と比較して, 精度を損なうことなく, モデルサイズが20%減少した。
さらに,本手法は,現在利用可能な最高の検索戦略と比較して,検索時間の12倍の削減を達成している。
その結果,提案手法はニューラルネットワーク設計の最適化の飛躍的な進歩を示し,限られたリソースでモデル設計と実装を迅速に行えるようにすることで,スケーラブルなディープラーニングソリューションの可能性を推進している。
関連論文リスト
- Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。
既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。
ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
論文 参考訳（メタデータ） (2024-10-29T19:02:54Z) - Enhancing CNN Classification with Lamarckian Memetic Algorithms and Local Search [0.0]
そこで本研究では,局所探索機能を組み込んだ2段階学習手法と集団最適化アルゴリズムを併用した新しい手法を提案する。
実験の結果,提案手法は最先端の勾配に基づく手法よりも優れていた。
論文 参考訳（メタデータ） (2024-10-26T17:31:15Z) - Robust Neural Pruning with Gradient Sampling Optimization for Residual Neural Networks [0.0]
この研究は、勾配サンプリング最適化技術、特にStochGradAdamをニューラルネットワークのプルーニングプロセスに統合するパイオニアとなる。
我々の主な目的は、資源制約のあるシナリオにおいて重要なプルーニングニューラルネットワークモデルの精度を維持するという重要な課題に対処することである。
論文 参考訳（メタデータ） (2023-12-26T12:19:22Z) - Visual Prompting Upgrades Neural Network Sparsification: A Data-Model Perspective [64.04617968947697]
より優れた重量空間を実現するために、新しいデータモデル共設計視点を導入する。
具体的には、提案したVPNフレームワークでニューラルネットワークのスパーシフィケーションをアップグレードするために、カスタマイズされたVisual Promptが実装されている。
論文 参考訳（メタデータ） (2023-12-03T13:50:24Z) - An automatic selection of optimal recurrent neural network architecture
for processes dynamics modelling purposes [0.0]
この研究には、ニューラルネットワークアーキテクチャ検索専用のアルゴリズムの提案が4つ含まれている。
アルゴリズムは進化的アルゴリズムや勾配降下法のようなよく知られた最適化手法に基づいている。
この研究は、加圧水型原子炉で発生した高速過程の数学的モデルから生成されたデータに基づく、拡張された検証研究を含む。
論文 参考訳（メタデータ） (2023-09-25T11:06:35Z) - Split-Boost Neural Networks [1.1549572298362787]
本稿では,スプリットブートと呼ばれるフィードフォワードアーキテクチャの革新的なトレーニング戦略を提案する。
このような新しいアプローチは、最終的に正規化項を明示的にモデル化することを避けることができる。
提案した戦略は、ベンチマーク医療保険設計問題内の実世界の(匿名化された)データセットでテストされる。
論文 参考訳（メタデータ） (2023-09-06T17:08:57Z) - Online Network Source Optimization with Graph-Kernel MAB [62.6067511147939]
大規模ネットワークにおける最適なソース配置をオンラインで学習するためのグラフカーネルマルチアームバンディットアルゴリズムであるGrab-UCBを提案する。
適応グラフ辞書モデルを用いて,ネットワークプロセスを記述する。
我々は、ネットワークパラメータに依存する性能保証を導出し、シーケンシャルな意思決定戦略の学習曲線にさらに影響を及ぼす。
論文 参考訳（メタデータ） (2023-07-07T15:03:42Z) - Neural Architecture Search for Speech Emotion Recognition [72.1966266171951]
本稿では,SERモデルの自動構成にニューラルアーキテクチャサーチ(NAS)技術を適用することを提案する。
NASはモデルパラメータサイズを維持しながらSER性能(54.89%から56.28%)を向上させることができることを示す。
論文 参考訳（メタデータ） (2022-03-31T10:16:10Z) - Analytically Tractable Inference in Deep Neural Networks [0.0]
Tractable Approximate Inference (TAGI)アルゴリズムは、浅いフルコネクテッドニューラルネットワークのバックプロパゲーションに対する実行可能でスケーラブルな代替手段であることが示された。
従来のディープニューラルネットワークアーキテクチャをトレーニングするために、TAGIがバックプロパゲーションのパフォーマンスとどのように一致するか、または上回るかを実証しています。
論文 参考訳（メタデータ） (2021-03-09T14:51:34Z) - Firefly Neural Architecture Descent: a General Approach for Growing
Neural Networks [50.684661759340145]
firefly neural architecture descentは、ニューラルネットワークを漸進的かつ動的に成長させるための一般的なフレームワークである。
ホタルの降下は、より広く、より深くネットワークを柔軟に成長させ、正確だがリソース効率のよいニューラルアーキテクチャを学習するために応用できることを示す。
特に、サイズは小さいが、最先端の手法で学習したネットワークよりも平均精度が高いネットワークを学習する。
論文 参考訳（メタデータ） (2021-02-17T04:47:18Z) - FactorizeNet: Progressive Depth Factorization for Efficient Network
Architecture Exploration Under Quantization Constraints [93.4221402881609]
量子化制約下での効率的なCNNアーキテクチャ探索のためのプログレッシブ・ディープ・ファクタライズ・ストラテジーを導入する。
アルゴリズムによって深度分解の粒度を漸進的に増大させることで,層状分布の微細で低レベルな解析が可能となる。
このようなプログレッシブな深度分解戦略は、最適深度分解マクロ構造設計の効率的な同定を可能にする。
論文 参考訳（メタデータ） (2020-11-30T07:12:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。