論文の概要: FactorizeNet: Progressive Depth Factorization for Efficient Network Architecture Exploration Under Quantization Constraints

• arxiv url: http://arxiv.org/abs/2011.14586v1
• Date: Mon, 30 Nov 2020 07:12:26 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-07 04:58:30.581592
• Title: FactorizeNet: Progressive Depth Factorization for Efficient Network Architecture Exploration Under Quantization Constraints
• Title（参考訳）: FactorizeNet: 量子化制約下での効率的なネットワークアーキテクチャ探索のためのプログレッシブ深さ分解
• Authors: Stone Yun and Alexander Wong
• Abstract要約: 量子化制約下での効率的なCNNアーキテクチャ探索のためのプログレッシブ・ディープ・ファクタライズ・ストラテジーを導入する。 アルゴリズムによって深度分解の粒度を漸進的に増大させることで,層状分布の微細で低レベルな解析が可能となる。 このようなプログレッシブな深度分解戦略は、最適深度分解マクロ構造設計の効率的な同定を可能にする。
• 参考スコア（独自算出の注目度）: 93.4221402881609
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Depth factorization and quantization have emerged as two of the principal strategies for designing efficient deep convolutional neural network (CNN) architectures tailored for low-power inference on the edge. However, there is still little detailed understanding of how different depth factorization choices affect the final, trained distributions of each layer in a CNN, particularly in the situation of quantized weights and activations. In this study, we introduce a progressive depth factorization strategy for efficient CNN architecture exploration under quantization constraints. By algorithmically increasing the granularity of depth factorization in a progressive manner, the proposed strategy enables a fine-grained, low-level analysis of layer-wise distributions. Thus enabling the gain of in-depth, layer-level insights on efficiency-accuracy tradeoffs under fixed-precision quantization. Such a progressive depth factorization strategy also enables efficient identification of the optimal depth-factorized macroarchitecture design (which we will refer to here as FactorizeNet) based on the desired efficiency-accuracy requirements.
• Abstract（参考訳）: 深度分解と量子化は、エッジ上の低電力推論に適した効率的な深層畳み込みニューラルネットワーク(CNN)アーキテクチャを設計するための2つの主要な戦略として登場した。 しかし、深度分解の選択がCNNにおける各層の最終的な、訓練された分布にどのように影響するか、特に量子化された重みと活性化の状況において、詳細は分かっていない。 本研究では、量子化制約下での効率的なCNNアーキテクチャ探索のためのプログレッシブな深度分解戦略を提案する。 アルゴリズムによって深度分解の粒度を漸進的に増大させることで,層状分布の微細で低レベルな解析が可能となる。 これにより、固定精度量子化の下での効率-精度トレードオフに関する層レベルでの深い洞察を得られる。 このようなプログレッシブな深度分解戦略は、所望の効率精度要求に基づいて最適深度分解マクロアーキテクチャ設計(ここではFactizeNetと呼ぶ)の効率的な識別を可能にする。

関連論文リスト

• Component-based Sketching for Deep ReLU Nets [55.404661149594375]
  各種タスクのためのディープネットコンポーネントに基づくスケッチ手法を開発した。 我々はディープネットトレーニングを線形経験的リスク最小化問題に変換する。 提案したコンポーネントベーススケッチは飽和関数の近似においてほぼ最適であることを示す。
  論文  参考訳（メタデータ） (2024-09-21T15:30:43Z)
• Differentiable Search for Finding Optimal Quantization Strategy [3.295889768579819]
  本稿では,各層に対して最適な量子化戦略を割り当てるために,微分可能な量子化戦略探索(DQSS)を提案する。 学習後量子化のためのDQSSを実行し、その性能を完全精度モデルで比較できるようにします。 また、DQSSの有効性をさらに検証するために、量子化対応トレーニングにもDQSSを使用します。
  論文  参考訳（メタデータ） (2024-04-10T03:22:58Z)
• Cross-Layer Optimization for Fault-Tolerant Deep Learning [17.724727744611535]
  本稿では、各ニューロンとビット間の深層学習の脆弱性差を特徴付けるとともに、その脆弱性差を利用してディープラーニング処理コンポーネントの選択的保護を実現することを提案する。 我々は,アルゴリズム層,アーキテクチャ層,回路層において相関する層間設計パラメータを協調最適化するためにベイズ最適化手法を用いる。
  論文  参考訳（メタデータ） (2023-12-21T11:35:45Z)
• Sensitivity-Aware Mixed-Precision Quantization and Width Optimization of Deep Neural Networks Through Cluster-Based Tree-Structured Parzen Estimation [4.748931281307333]
  本稿では,個々のニューラルネットワーク層に対して最適なビット幅と層幅を自動的に選択する革新的な探索機構を提案する。 これにより、ディープニューラルネットワークの効率が著しく向上する。
  論文  参考訳（メタデータ） (2023-08-12T00:16:51Z)
• Large-scale global optimization of ultra-high dimensional non-convex landscapes based on generative neural networks [0.0]
  超高次元最適化を行うアルゴリズムを提案する。 ディープ・ジェネレーティブ・ネットワークをベースとしています 提案手法は, 最先端のアルゴリズムと比較して, 機能評価が少なく, 性能がよいことを示す。
  論文  参考訳（メタデータ） (2023-07-09T00:05:59Z)
• Neural Networks with Quantization Constraints [111.42313650830248]
  量子化学習における制約付き学習手法を提案する。 結果の問題は強い双対であり、勾配推定は不要であることを示す。 提案手法は画像分類タスクにおける競合性能を示す。
  論文  参考訳（メタデータ） (2022-10-27T17:12:48Z)
• Where Should We Begin? A Low-Level Exploration of Weight Initialization Impact on Quantized Behaviour of Deep Neural Networks [93.4221402881609]
  異なる重みの初期化が重みの最終的な分布と異なるCNNアーキテクチャの活性化に与える影響について、詳細なアブレーション研究を行う。 我々の知る限りでは、ウェイトの初期化とその量子化行動に対する影響について、そのような低レベルで詳細な定量分析を行うのは、私たちは初めてである。
  論文  参考訳（メタデータ） (2020-11-30T06:54:28Z)
• Dual-constrained Deep Semi-Supervised Coupled Factorization Network with Enriched Prior [80.5637175255349]
  本稿では、DS2CF-Netと呼ばれる、拡張された事前制約付きDual-Constrained Deep Semi-Supervised Coupled Factorization Networkを提案する。 隠れた深い特徴を抽出するために、DS2CF-Netは、深い構造と幾何学的な構造に制約のあるニューラルネットワークとしてモデル化される。 我々のネットワークは、表現学習とクラスタリングのための最先端の性能を得ることができる。
  論文  参考訳（メタデータ） (2020-09-08T13:10:21Z)
• Discretization-Aware Architecture Search [81.35557425784026]
  本稿では,離散化対応アーキテクチャサーチ(DAtextsuperscript2S)を提案する。 中心となる考え方は、超ネットワークを所望のトポロジの構成に向けることであり、離散化による精度損失がほとんど軽減される。 標準画像分類ベンチマークの実験は、我々のアプローチの優位性を実証している。
  論文  参考訳（メタデータ） (2020-07-07T01:18:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。