論文の概要: Searching for Network Width with Bilaterally Coupled Network
- arxiv url: http://arxiv.org/abs/2203.13714v1
- Date: Fri, 25 Mar 2022 15:32:46 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-28 12:38:39.983323
- Title: Searching for Network Width with Bilaterally Coupled Network
- Title（参考訳）: 双方向結合ネットワークを用いたネットワーク幅探索
- Authors: Xiu Su, Shan You, Jiyang Xie, Fei Wang, Chen Qian, Changshui Zhang,
Chang Xu
- Abstract要約: この問題に対処するため、BCNet(Bilaterally Coupled Network)と呼ばれる新しいスーパーネットを導入する。
BCNetでは、各チャネルは高度に訓練され、同じ量のネットワーク幅を担っているため、ネットワーク幅をより正確に評価することができる。
本稿では,Channel-Bench-Macroというマクロ構造に対するオープンソースのワイド・ベンチマークを提案し,ワイド・サーチ・アルゴリズムの比較を行った。
- 参考スコア（独自算出の注目度）: 75.43658047510334
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Searching for a more compact network width recently serves as an effective
way of channel pruning for the deployment of convolutional neural networks
(CNNs) under hardware constraints. To fulfill the searching, a one-shot
supernet is usually leveraged to efficiently evaluate the performance
\wrt~different network widths. However, current methods mainly follow a
\textit{unilaterally augmented} (UA) principle for the evaluation of each
width, which induces the training unfairness of channels in supernet. In this
paper, we introduce a new supernet called Bilaterally Coupled Network (BCNet)
to address this issue. In BCNet, each channel is fairly trained and responsible
for the same amount of network widths, thus each network width can be evaluated
more accurately. Besides, we propose to reduce the redundant search space and
present the BCNetV2 as the enhanced supernet to ensure rigorous training
fairness over channels. Furthermore, we leverage a stochastic complementary
strategy for training the BCNet, and propose a prior initial population
sampling method to boost the performance of the evolutionary search. We also
propose the first open-source width benchmark on macro structures named
Channel-Bench-Macro for the better comparison of width search algorithms.
Extensive experiments on benchmark CIFAR-10 and ImageNet datasets indicate that
our method can achieve state-of-the-art or competing performance over other
baseline methods. Moreover, our method turns out to further boost the
performance of NAS models by refining their network widths. For example, with
the same FLOPs budget, our obtained EfficientNet-B0 achieves 77.53\% Top-1
accuracy on ImageNet dataset, surpassing the performance of original setting by
0.65\%.
- Abstract（参考訳）: 近年、よりコンパクトなネットワーク幅の探索は、ハードウェア制約下で畳み込みニューラルネットワーク(cnns)を展開するためのチャネルプルーニングの効果的な方法となっている。
探索を実現するために、通常、ワンショットスーパーネットを利用して、ネットワーク幅の異なる性能を効率的に評価する。
しかし、現在の手法は主に、各幅の評価のための \textit{unilaterally augmented} (UA) の原則に従っており、スーパーネットにおけるチャネルのトレーニングの不公平性を誘導する。
本稿では,この問題を解決するために,バイラテラル結合ネットワーク (BCNet) と呼ばれる新しいスーパーネットを提案する。
bcnetでは、各チャネルは十分に訓練され、同じネットワーク幅に責任があるため、各ネットワーク幅をより正確に評価することができる。
さらに、冗長な検索スペースを削減し、BCNetV2を拡張スーパーネットとして提示し、チャネルに対する厳密なトレーニングフェアネスを確保することを提案する。
さらに,bcnetを訓練するための確率的補完戦略を活用し,進化的探索の性能を高めるために先行的な初期個体群サンプリング手法を提案する。
また, 幅探索アルゴリズムの精度向上のために, channel-bench-macro というマクロ構造に関する最初のオープンソース幅ベンチマークを提案する。
CIFAR-10とImageNetデータセットのベンチマーク実験により,我々の手法は,他のベースライン手法よりも最先端あるいは競合的な性能を達成できることが示唆された。
さらに,ネットワーク幅を改良することでNASモデルの性能をさらに向上することが判明した。
例えば、同じフロップス予算で得られた efficientnet-b0 は imagenet データセット上で 77.53\% top-1 精度を達成し、オリジナルの設定性能を 0.65\% 上回った。
関連論文リスト
- PSE-Net: Channel Pruning for Convolutional Neural Networks with Parallel-subnets Estimator [16.698190973547362]
PSE-Net(英語版)は、効率的なチャネルプルーニングのための新しい並列サブネット推定器である。
提案アルゴリズムは,スーパーネットトレーニングの効率化を実現する。
本研究では,従来の進化探索の性能を高めるために,事前分散型サンプリングアルゴリズムを開発した。
論文 参考訳（メタデータ） (2024-08-29T03:20:43Z) - AdaPruner: Adaptive Channel Pruning and Effective Weights Inheritance [9.3421559369389]
本稿では,各レイヤのチャネル数とサブネットワークのワイツ継承基準を適応的に決定するプルーニングフレームワークを提案する。
AdaPrunerは、切断されたネットワークを素早く、正確に、効率的に得ることができる。
ImageNetでは、MobileNetV2の32.8%のFLOPを削減し、トップ1の精度は0.62%しか低下しない。
論文 参考訳（メタデータ） (2021-09-14T01:52:05Z) - Group Fisher Pruning for Practical Network Compression [58.25776612812883]
本稿では,様々な複雑な構造に応用可能な汎用チャネルプルーニング手法を提案する。
我々は、単一チャネルと結合チャネルの重要性を評価するために、フィッシャー情報に基づく統一されたメトリクスを導出する。
提案手法は,結合チャネルを含む任意の構造をプルークするために利用できる。
論文 参考訳（メタデータ） (2021-08-02T08:21:44Z) - BCNet: Searching for Network Width with Bilaterally Coupled Network [56.14248440683152]
この問題に対処するため、BCNet(Bilaterally Coupled Network)と呼ばれる新しいスーパーネットを導入する。
BCNetでは、各チャネルは高度に訓練され、同じ量のネットワーク幅を担っているため、ネットワーク幅をより正確に評価することができる。
提案手法は,他のベースライン手法と比較して,最先端あるいは競合的な性能を実現する。
論文 参考訳（メタデータ） (2021-05-21T18:54:03Z) - Locally Free Weight Sharing for Network Width Search [55.155969155967284]
ネットワーク幅の検索は、ハードウェア予算でディープニューラルネットワークをスリム化する効果的な方法である。
そこで我々は,各幅をよりよく評価するために,局所自由度共有戦略(CafeNet)を提案する。
提案手法により,NASネットワークの効率を0.41%向上させることができる。
論文 参考訳（メタデータ） (2021-02-10T04:36:09Z) - Network Adjustment: Channel Search Guided by FLOPs Utilization Ratio [101.84651388520584]
本稿では,ネットワークの精度をFLOPの関数として考慮した,ネットワーク調整という新しいフレームワークを提案する。
標準画像分類データセットと幅広いベースネットワークの実験は、我々のアプローチの有効性を実証している。
論文 参考訳（メタデータ） (2020-04-06T15:51:00Z) - ReActNet: Towards Precise Binary Neural Network with Generalized
Activation Functions [76.05981545084738]
本稿では,新たな計算コストを伴わずに,実数値ネットワークからの精度ギャップを埋めるため,バイナリネットワークを強化するためのいくつかのアイデアを提案する。
まず,パラメータフリーのショートカットを用いて,コンパクトな実数値ネットワークを修正・バイナライズすることで,ベースラインネットワークを構築する。
提案したReActNetはすべての最先端技術よりも大きなマージンで優れていることを示す。
論文 参考訳（メタデータ） (2020-03-07T02:12:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。