論文の概要: Locally Free Weight Sharing for Network Width Search

• arxiv url: http://arxiv.org/abs/2102.05258v1
• Date: Wed, 10 Feb 2021 04:36:09 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-11 14:36:27.300771
• Title: Locally Free Weight Sharing for Network Width Search
• Title（参考訳）: ネットワーク幅探索のための局所自由重量共有
• Authors: Xiu Su, Shan You, Tao Huang, Fei Wang, Chen Qian, Changshui Zhang, Chang Xu
• Abstract要約: ネットワーク幅の検索は、ハードウェア予算でディープニューラルネットワークをスリム化する効果的な方法である。 そこで我々は,各幅をよりよく評価するために,局所自由度共有戦略(CafeNet)を提案する。 提案手法により,NASネットワークの効率を0.41%向上させることができる。
• 参考スコア（独自算出の注目度）: 55.155969155967284
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Searching for network width is an effective way to slim deep neural networks with hardware budgets. With this aim, a one-shot supernet is usually leveraged as a performance evaluator to rank the performance \wrt~different width. Nevertheless, current methods mainly follow a manually fixed weight sharing pattern, which is limited to distinguish the performance gap of different width. In this paper, to better evaluate each width, we propose a locally free weight sharing strategy (CafeNet) accordingly. In CafeNet, weights are more freely shared, and each width is jointly indicated by its base channels and free channels, where free channels are supposed to locate freely in a local zone to better represent each width. Besides, we propose to further reduce the search space by leveraging our introduced FLOPs-sensitive bins. As a result, our CafeNet can be trained stochastically and get optimized within a min-min strategy. Extensive experiments on ImageNet, CIFAR-10, CelebA and MS COCO dataset have verified our superiority comparing to other state-of-the-art baselines. For example, our method can further boost the benchmark NAS network EfficientNet-B0 by 0.41\% via searching its width more delicately.
• Abstract（参考訳）: ネットワーク幅の検索は、ハードウェア予算でディープニューラルネットワークをスリム化する効果的な方法です。 この目的のために、ワンショットスーパーネットは通常パフォーマンス評価器として利用され、パフォーマンス \wrt~ different width をランク付けする。 それにもかかわらず、現在の方法は、主に異なる幅のパフォーマンスギャップを区別するために制限されている手動固定重量共有パターンに従います。 本論文では,各幅をよりよく評価するために,局所自由重量共有戦略(CafeNet)を提案する。 カフェネットでは、重みはより自由に共有され、各幅は基本チャネルと自由チャネルによって共同で表示され、自由チャネルは各幅をより良く表現するためにローカルゾーンに自由に配置される。 さらに,フロッピー感応ビンを活用し,検索空間を更に縮小する手法を提案する。 その結果、CafeNetは確率的にトレーニングされ、最小限の戦略で最適化されます。 ImageNet、CIFAR-10、CelebA、MS COCOデータセットに関する広範な実験は、他の最先端のベースラインと比較して優位性を確認しています。 例えば,NASのベンチマークネットワークであるEfficientNet-B0を0.41\%増やすことで,その幅をより繊細に探索することができる。

関連論文リスト

• Slimmable Pruned Neural Networks [1.8275108630751844]
  S-Net上の各サブネットワークの精度は、同一サイズの個別訓練ネットワークよりも劣る。 プリミングによって学習されたサブネットワーク構造を有するSlimmable Pruned Neural Networks (SP-Net)を提案する。 SP-Netは任意の種類のチャネルプルーニング手法と組み合わせることができ、NASモデルのような複雑な処理や時間を要するアーキテクチャ検索は不要である。
  論文  参考訳（メタデータ） (2022-12-07T02:54:15Z)
• Generalizing Few-Shot NAS with Gradient Matching [165.5690495295074]
  One-Shotメソッドは、1つのスーパーネットをトレーニングし、ウェイトシェアリングを通じて検索空間内の全てのアーキテクチャのパフォーマンスを近似する。 Few-Shot NASは、One-Shotスーパーネットを複数のサブスーパーネットに分割することで、ウェイトシェアリングのレベルを下げる。 Few-Shotよりも優れており、派生したアーキテクチャの精度という点では、従来の同等の手法をはるかに上回っている。
  論文  参考訳（メタデータ） (2022-03-29T03:06:16Z)
• Searching for Network Width with Bilaterally Coupled Network [75.43658047510334]
  この問題に対処するため、BCNet(Bilaterally Coupled Network)と呼ばれる新しいスーパーネットを導入する。 BCNetでは、各チャネルは高度に訓練され、同じ量のネットワーク幅を担っているため、ネットワーク幅をより正確に評価することができる。 本稿では,Channel-Bench-Macroというマクロ構造に対するオープンソースのワイド・ベンチマークを提案し,ワイド・サーチ・アルゴリズムの比較を行った。
  論文  参考訳（メタデータ） (2022-03-25T15:32:46Z)
• BCNet: Searching for Network Width with Bilaterally Coupled Network [56.14248440683152]
  この問題に対処するため、BCNet(Bilaterally Coupled Network)と呼ばれる新しいスーパーネットを導入する。 BCNetでは、各チャネルは高度に訓練され、同じ量のネットワーク幅を担っているため、ネットワーク幅をより正確に評価することができる。 提案手法は,他のベースライン手法と比較して,最先端あるいは競合的な性能を実現する。
  論文  参考訳（メタデータ） (2021-05-21T18:54:03Z)
• Lite-HRNet: A Lightweight High-Resolution Network [97.17242913089464]
  人間のポーズ推定に有効な高分解能ネットワークLite-HRNetを提案する。 シャッフルブロックにおける高用量(1x1)の畳み込みが計算ボトルネックとなる。 シャッフルブロックにおけるコストのかかる(1x1)畳み込みを置き換えるために,軽量な条件付きチャネル重み付けを導入する。
  論文  参考訳（メタデータ） (2021-04-13T17:59:31Z)
• WeightNet: Revisiting the Design Space of Weight Networks [96.48596945711562]
  本稿では,重み付けネットワークのための概念的にシンプルで柔軟で効果的なフレームワークを提案する。 我々のアプローチは、現在の2つの異なる非常に効果的なSENetとCondConvを重み空間上の同じフレームワークに統合するものである。
  論文  参考訳（メタデータ） (2020-07-23T06:49:01Z)
• Joslim: Joint Widths and Weights Optimization for Slimmable Neural Networks [37.09353669633368]
  本稿では,スリム化可能なネットワークの幅構成と重みの両面での協調最適化を実現するための汎用フレームワークを提案する。 本フレームワークは,従来およびNASをベースとしたスリム化可能なメソッドを特殊なケースとして仮定し,既存のメソッドよりも柔軟性を向上する。 ImageNetデータセットの1.7%と8%の改善は、FLOPとメモリフットプリントを考慮してMobileNetV2で達成できる。
  論文  参考訳（メタデータ） (2020-07-23T02:05:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。