論文の概要: Fractional Skipping: Towards Finer-Grained Dynamic CNN Inference
- arxiv url: http://arxiv.org/abs/2001.00705v1
- Date: Fri, 3 Jan 2020 03:12:17 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-14 17:27:16.045853
- Title: Fractional Skipping: Towards Finer-Grained Dynamic CNN Inference
- Title（参考訳）: フラクショナルスキッピング:Finer-Grained Dynamic CNN推論に向けて
- Authors: Jianghao Shen, Yonggan Fu, Yue Wang, Pengfei Xu, Zhangyang Wang,
Yingyan Lin
- Abstract要約: 本研究では,ディープネットワークのための動的フラクタル・スキッピング(DFS)フレームワークを提案する。
DFSは層ワイド量子化(ビット幅の異なるもの)を、層を完全に活用してスキップする中間的な「ソフト」な選択として仮定する。
入力適応推論中の層の表現力を利用して、よりきめ細かい精度計算コストのトレードオフを可能にする。
- 参考スコア（独自算出の注目度）: 82.96877371742532
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While increasingly deep networks are still in general desired for achieving
state-of-the-art performance, for many specific inputs a simpler network might
already suffice. Existing works exploited this observation by learning to skip
convolutional layers in an input-dependent manner. However, we argue their
binary decision scheme, i.e., either fully executing or completely bypassing
one layer for a specific input, can be enhanced by introducing finer-grained,
"softer" decisions. We therefore propose a Dynamic Fractional Skipping (DFS)
framework. The core idea of DFS is to hypothesize layer-wise quantization (to
different bitwidths) as intermediate "soft" choices to be made between fully
utilizing and skipping a layer. For each input, DFS dynamically assigns a
bitwidth to both weights and activations of each layer, where fully executing
and skipping could be viewed as two "extremes" (i.e., full bitwidth and zero
bitwidth). In this way, DFS can "fractionally" exploit a layer's expressive
power during input-adaptive inference, enabling finer-grained
accuracy-computational cost trade-offs. It presents a unified view to link
input-adaptive layer skipping and input-adaptive hybrid quantization. Extensive
experimental results demonstrate the superior tradeoff between computational
cost and model expressive power (accuracy) achieved by DFS. More visualizations
also indicate a smooth and consistent transition in the DFS behaviors,
especially the learned choices between layer skipping and different
quantizations when the total computational budgets vary, validating our
hypothesis that layer quantization could be viewed as intermediate variants of
layer skipping. Our source code and supplementary material are available at
\link{https://github.com/Torment123/DFS}.
- Abstract（参考訳）: 最先端のネットワークはいまだに最先端の性能を達成するために望まれているが、多くの特定の入力に対して、より単純なネットワークはすでに十分であるかもしれない。
既存の研究は、入力に依存した方法で畳み込み層をスキップする学習によって、この観察を生かした。
しかし、その二分決定スキーム、すなわち、特定の入力のために1つの層を完全に実行するか完全にバイパスするかは、よりきめ細かい「より柔らかい」決定を導入することで強化できると主張する。
そこで我々は,DFS(Dynamic Fractional Skipping)フレームワークを提案する。
dfsの核となる考え方は、層間の量子化(異なるビット幅)を、層を十分に活用してスキップする中間の「ソフト」選択として仮定することである。
各入力に対して、DFSは各レイヤの重みとアクティベーションの両方にビット幅を動的に割り当て、完全な実行とスキップを2つの"エクストリーム"(フルビット幅とゼロビット幅)と見なすことができる。
このようにして、DFSは入力適応推論中に層の表現力を利用することができ、よりきめ細かい精度計算のコストトレードオフを可能にする。
入力適応層スキップと入力適応ハイブリッド量子化をリンクする統一ビューを提供する。
広範な実験結果から,dfsによる計算コストとモデル表現力(精度)のトレードオフが得られた。
さらなる可視化は、DSFの挙動のスムーズで一貫した遷移を示し、特に、総計算予算が異なる場合、層スキップと異なる量子化の間の学習された選択が示され、層の量子化は層スキップの中間変種と見なせるという仮説が検証された。
我々のソースコードと補足資料は \link{https://github.com/Torment123/DFS} で入手できる。
関連論文リスト
- Scale Equalization for Multi-Level Feature Fusion [8.541075075344438]
並列ブランチのマルチレベル機能は、異なるスケールにあることが分かりました。
スケール不均衡は普遍的かつ望ましくない欠陥であり、有害な勾配降下を引き起こす。
両線形アップサンプリング後のマルチレベル特徴量間でのスケール平衡を実現するために, スケール等化器の注入を提案する。
論文 参考訳（メタデータ） (2024-02-02T05:25:51Z) - Kernel function impact on convolutional neural networks [10.98068123467568]
畳み込みニューラルネットワークの異なる層におけるカーネル関数の利用について検討する。
より歪みに敏感なプール層を導入することで、カーネル関数を効果的に活用する方法を示す。
完全接続層を置き換えるKDL(Kernelized Dense Layers)を提案する。
論文 参考訳（メタデータ） (2023-02-20T19:57:01Z) - Learnable Polyphase Sampling for Shift Invariant and Equivariant
Convolutional Networks [120.78155051439076]
LPSは、データからエンドツーエンドにトレーニングし、既存の手作りのダウンサンプリングレイヤを一般化することができる。
画像分類とセマンティックセグメンテーションにおけるLPSの評価を行った。
論文 参考訳（メタデータ） (2022-10-14T17:59:55Z) - Scale Attention for Learning Deep Face Representation: A Study Against
Visual Scale Variation [69.45176408639483]
我々はスケール空間理論に頼って凸層を再構築する。
我々はSCale AttentioN Conv Neural Network(textbfSCAN-CNN)という新しいスタイルを構築した。
単発方式として、推論はマルチショット融合よりも効率的である。
論文 参考訳（メタデータ） (2022-09-19T06:35:04Z) - Arbitrary Bit-width Network: A Joint Layer-Wise Quantization and
Adaptive Inference Approach [38.03309300383544]
そこで本研究では,データ依存動的推論を実現するために,様々な量子化方式で異なるデータサンプルを微細な層レベルで供給することを提案する。
本稿では,Arbitrary Bit-width Network(ABN)を提案する。
ImageNet分類では、36.2%のBitOpsを節約しながら、1.1%のトップ1の精度向上を実現しています。
論文 参考訳（メタデータ） (2022-04-21T09:36:43Z) - Learning strides in convolutional neural networks [34.20666933112202]
この研究は、学習可能なステップを持つ最初のダウンサンプリング層であるDiffStrideを紹介している。
音声と画像の分類実験は,ソリューションの汎用性と有効性を示す。
論文 参考訳（メタデータ） (2022-02-03T16:03:36Z) - Fire Together Wire Together: A Dynamic Pruning Approach with
Self-Supervised Mask Prediction [12.86325214182021]
動的モデルプルーニング(Dynamic Model pruning)は、デプロイ中の各入力サンプルに対する異なるサブネットワークの推測を可能にする、最近の方法である。
現在の動的手法は、間隔損失を誘導することによって正規化を通じて連続的なチャネルゲーティングを学ぶことに依存している。
我々は,CIFARおよびImageNet上で,VGG,ResNet,MobileNetなどのニューラルネットワークの実験を行った。
論文 参考訳（メタデータ） (2021-10-15T17:39:53Z) - Dynamic Probabilistic Pruning: A general framework for
hardware-constrained pruning at different granularities [80.06422693778141]
異なる粒度(重み、カーネル、フィルタ/フィーチャーマップ)での刈り取りを容易にするフレキシブルな新しい刈り取り機構を提案する。
このアルゴリズムをDPP(Dynamic Probabilistic Pruning)と呼ぶ。
DPPは、画像分類のための異なるベンチマークデータセットで訓練された一般的なディープラーニングモデルを刈り取る際に、競合圧縮率と分類精度を達成する。
論文 参考訳（メタデータ） (2021-05-26T17:01:52Z) - DHP: Differentiable Meta Pruning via HyperNetworks [158.69345612783198]
本稿では,ネットワークの自動プルーニングのためのハイパーネットによる識別可能なプルーニング手法を提案する。
遅延ベクトルは、バックボーンネットワーク内の畳み込み層の出力チャネルを制御し、レイヤのプルーニングのハンドルとして機能する。
画像分類、単一画像超解像、復調のための様々なネットワークで実験が行われた。
論文 参考訳（メタデータ） (2020-03-30T17:59:18Z) - Embedding Propagation: Smoother Manifold for Few-Shot Classification [131.81692677836202]
本稿では, 組込み伝搬を非教師なし非パラメトリック正規化器として, 数ショット分類における多様体平滑化に用いることを提案する。
埋め込み伝播がより滑らかな埋め込み多様体を生み出すことを実証的に示す。
複数の半教師付き学習シナリオにおいて,埋め込み伝搬によりモデルの精度が最大16%向上することを示す。
論文 参考訳（メタデータ） (2020-03-09T13:51:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。