論文の概要: BCNet: Searching for Network Width with Bilaterally Coupled Network
- arxiv url: http://arxiv.org/abs/2105.10533v1
- Date: Fri, 21 May 2021 18:54:03 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-25 15:18:21.743418
- Title: BCNet: Searching for Network Width with Bilaterally Coupled Network
- Title（参考訳）: BCNet: 双方向結合ネットワークによるネットワーク幅の検索
- Authors: Xiu Su, Shan You, Fei Wang, Chen Qian, Changshui Zhang, Chang Xu
- Abstract要約: この問題に対処するため、BCNet(Bilaterally Coupled Network)と呼ばれる新しいスーパーネットを導入する。
BCNetでは、各チャネルは高度に訓練され、同じ量のネットワーク幅を担っているため、ネットワーク幅をより正確に評価することができる。
提案手法は,他のベースライン手法と比較して,最先端あるいは競合的な性能を実現する。
- 参考スコア（独自算出の注目度）: 56.14248440683152
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Searching for a more compact network width recently serves as an effective
way of channel pruning for the deployment of convolutional neural networks
(CNNs) under hardware constraints. To fulfill the searching, a one-shot
supernet is usually leveraged to efficiently evaluate the performance
\wrt~different network widths. However, current methods mainly follow a
\textit{unilaterally augmented} (UA) principle for the evaluation of each
width, which induces the training unfairness of channels in supernet. In this
paper, we introduce a new supernet called Bilaterally Coupled Network (BCNet)
to address this issue. In BCNet, each channel is fairly trained and responsible
for the same amount of network widths, thus each network width can be evaluated
more accurately. Besides, we leverage a stochastic complementary strategy for
training the BCNet, and propose a prior initial population sampling method to
boost the performance of the evolutionary search. Extensive experiments on
benchmark CIFAR-10 and ImageNet datasets indicate that our method can achieve
state-of-the-art or competing performance over other baseline methods.
Moreover, our method turns out to further boost the performance of NAS models
by refining their network widths. For example, with the same FLOPs budget, our
obtained EfficientNet-B0 achieves 77.36\% Top-1 accuracy on ImageNet dataset,
surpassing the performance of original setting by 0.48\%.
- Abstract（参考訳）: 近年、よりコンパクトなネットワーク幅の探索は、ハードウェア制約下で畳み込みニューラルネットワーク(cnns)を展開するためのチャネルプルーニングの効果的な方法となっている。
探索を実現するために、通常、ワンショットスーパーネットを利用して、ネットワーク幅の異なる性能を効率的に評価する。
しかし、現在の手法は主に、各幅の評価のための \textit{unilaterally augmented} (UA) の原則に従っており、スーパーネットにおけるチャネルのトレーニングの不公平性を誘導する。
本稿では,この問題を解決するために,バイラテラル結合ネットワーク (BCNet) と呼ばれる新しいスーパーネットを提案する。
bcnetでは、各チャネルは十分に訓練され、同じネットワーク幅に責任があるため、各ネットワーク幅をより正確に評価することができる。
さらに,bcnetを訓練するための確率的補完戦略を活用し,進化的探索の性能を高めるために先行的な初期個体群サンプリング手法を提案する。
CIFAR-10とImageNetデータセットのベンチマーク実験により,我々の手法は,他のベースライン手法よりも最先端あるいは競合的な性能を達成できることが示唆された。
さらに,ネットワーク幅を改良することでNASモデルの性能をさらに向上することが判明した。
例えば、同じフロップス予算で得られた efficientnet-b0 は imagenet データセット上で 77.36\% top-1 精度を達成し、オリジナル設定のパフォーマンスを 0.48\% 上回った。
関連論文リスト
- PSE-Net: Channel Pruning for Convolutional Neural Networks with Parallel-subnets Estimator [16.698190973547362]
PSE-Net(英語版)は、効率的なチャネルプルーニングのための新しい並列サブネット推定器である。
提案アルゴリズムは,スーパーネットトレーニングの効率化を実現する。
本研究では,従来の進化探索の性能を高めるために,事前分散型サンプリングアルゴリズムを開発した。
論文 参考訳（メタデータ） (2024-08-29T03:20:43Z) - Slimmable Pruned Neural Networks [1.8275108630751844]
S-Net上の各サブネットワークの精度は、同一サイズの個別訓練ネットワークよりも劣る。
プリミングによって学習されたサブネットワーク構造を有するSlimmable Pruned Neural Networks (SP-Net)を提案する。
SP-Netは任意の種類のチャネルプルーニング手法と組み合わせることができ、NASモデルのような複雑な処理や時間を要するアーキテクチャ検索は不要である。
論文 参考訳（メタデータ） (2022-12-07T02:54:15Z) - Searching for Network Width with Bilaterally Coupled Network [75.43658047510334]
この問題に対処するため、BCNet(Bilaterally Coupled Network)と呼ばれる新しいスーパーネットを導入する。
BCNetでは、各チャネルは高度に訓練され、同じ量のネットワーク幅を担っているため、ネットワーク幅をより正確に評価することができる。
本稿では,Channel-Bench-Macroというマクロ構造に対するオープンソースのワイド・ベンチマークを提案し,ワイド・サーチ・アルゴリズムの比較を行った。
論文 参考訳（メタデータ） (2022-03-25T15:32:46Z) - AdaPruner: Adaptive Channel Pruning and Effective Weights Inheritance [9.3421559369389]
本稿では,各レイヤのチャネル数とサブネットワークのワイツ継承基準を適応的に決定するプルーニングフレームワークを提案する。
AdaPrunerは、切断されたネットワークを素早く、正確に、効率的に得ることができる。
ImageNetでは、MobileNetV2の32.8%のFLOPを削減し、トップ1の精度は0.62%しか低下しない。
論文 参考訳（メタデータ） (2021-09-14T01:52:05Z) - Locally Free Weight Sharing for Network Width Search [55.155969155967284]
ネットワーク幅の検索は、ハードウェア予算でディープニューラルネットワークをスリム化する効果的な方法である。
そこで我々は,各幅をよりよく評価するために,局所自由度共有戦略(CafeNet)を提案する。
提案手法により,NASネットワークの効率を0.41%向上させることができる。
論文 参考訳（メタデータ） (2021-02-10T04:36:09Z) - Go Wide, Then Narrow: Efficient Training of Deep Thin Networks [62.26044348366186]
本稿では,深層ネットワークを理論的保証で訓練する効率的な手法を提案する。
我々の方法でのトレーニングにより、ResNet50はResNet101を上回り、BERT BaseはBERT Largeに匹敵する。
論文 参考訳（メタデータ） (2020-07-01T23:34:35Z) - Network Adjustment: Channel Search Guided by FLOPs Utilization Ratio [101.84651388520584]
本稿では,ネットワークの精度をFLOPの関数として考慮した,ネットワーク調整という新しいフレームワークを提案する。
標準画像分類データセットと幅広いベースネットワークの実験は、我々のアプローチの有効性を実証している。
論文 参考訳（メタデータ） (2020-04-06T15:51:00Z) - ReActNet: Towards Precise Binary Neural Network with Generalized
Activation Functions [76.05981545084738]
本稿では,新たな計算コストを伴わずに,実数値ネットワークからの精度ギャップを埋めるため,バイナリネットワークを強化するためのいくつかのアイデアを提案する。
まず,パラメータフリーのショートカットを用いて,コンパクトな実数値ネットワークを修正・バイナライズすることで,ベースラインネットワークを構築する。
提案したReActNetはすべての最先端技術よりも大きなマージンで優れていることを示す。
論文 参考訳（メタデータ） (2020-03-07T02:12:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。