論文の概要: WeightNet: Revisiting the Design Space of Weight Networks

• arxiv url: http://arxiv.org/abs/2007.11823v2
• Date: Fri, 24 Jul 2020 11:47:42 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-07 12:41:03.432827
• Title: WeightNet: Revisiting the Design Space of Weight Networks
• Title（参考訳）: weightnet: 重みネットワークの設計空間を再検討する
• Authors: Ningning Ma, Xiangyu Zhang, Jiawei Huang, Jian Sun
• Abstract要約: 本稿では,重み付けネットワークのための概念的にシンプルで柔軟で効果的なフレームワークを提案する。 我々のアプローチは、現在の2つの異なる非常に効果的なSENetとCondConvを重み空間上の同じフレームワークに統合するものである。
• 参考スコア（独自算出の注目度）: 96.48596945711562
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a conceptually simple, flexible and effective framework for weight generating networks. Our approach is general that unifies two current distinct and extremely effective SENet and CondConv into the same framework on weight space. The method, called WeightNet, generalizes the two methods by simply adding one more grouped fully-connected layer to the attention activation layer. We use the WeightNet, composed entirely of (grouped) fully-connected layers, to directly output the convolutional weight. WeightNet is easy and memory-conserving to train, on the kernel space instead of the feature space. Because of the flexibility, our method outperforms existing approaches on both ImageNet and COCO detection tasks, achieving better Accuracy-FLOPs and Accuracy-Parameter trade-offs. The framework on the flexible weight space has the potential to further improve the performance. Code is available at https://github.com/megvii-model/WeightNet.
• Abstract（参考訳）: 重み付けネットワークのための概念的にシンプルで柔軟で効果的なフレームワークを提案する。 我々のアプローチは、現在の2つの非常に効果的なセネティクスとcondconvを、重み空間上の同じ枠組みに統合するものである。 WeightNetと呼ばれるこの方法は、アテンションアクティベーション層にもう1つのグループ化された完全連結層を追加するだけで2つのメソッドを一般化する。 重みネットは(グループ化された)完全連結層で構成され、畳み込み重みを直接出力する。 WeightNetは、機能空間ではなくカーネル空間で、トレーニングが簡単で、メモリ保存も容易である。 この柔軟性により,ImageNetおよびCOCO検出タスクの既存手法よりも優れた精度FLOPと精度パラメータトレードオフを実現する。 フレキシブルウェイト空間のフレームワークは、パフォーマンスをさらに改善する可能性がある。 コードはhttps://github.com/megvii-model/WeightNetで入手できる。

関連論文リスト

• Learning to Compose SuperWeights for Neural Parameter Allocation Search [61.078949532440724]
  提案手法は,同じ重み集合を用いて多くのネットワークに対してパラメータを生成することができることを示す。 これにより、効率的なアンサンブルや、いつでも予測できるようなタスクをサポートできます。
  論文  参考訳（メタデータ） (2023-12-03T04:20:02Z)
• Progressive Meta-Pooling Learning for Lightweight Image Classification Model [20.076610051602618]
  本稿では,軽量ネットワークにおいて受容場を学習可能にするメタポーリングフレームワークを提案する。 本稿では,パラメータ化空間エンハンサーのためのPMPL(Progressive Meta-Pooling Learning)戦略を提案する。 ImageNetデータセットの結果、Meta-Poolingを使用したMobileNetV2は74.6%で、MobileNetV2の2.3%を上回っている。
  論文  参考訳（メタデータ） (2023-01-24T14:28:05Z)
• Searching for Network Width with Bilaterally Coupled Network [75.43658047510334]
  この問題に対処するため、BCNet(Bilaterally Coupled Network)と呼ばれる新しいスーパーネットを導入する。 BCNetでは、各チャネルは高度に訓練され、同じ量のネットワーク幅を担っているため、ネットワーク幅をより正確に評価することができる。 本稿では,Channel-Bench-Macroというマクロ構造に対するオープンソースのワイド・ベンチマークを提案し,ワイド・サーチ・アルゴリズムの比較を行った。
  論文  参考訳（メタデータ） (2022-03-25T15:32:46Z)
• BCNet: Searching for Network Width with Bilaterally Coupled Network [56.14248440683152]
  この問題に対処するため、BCNet(Bilaterally Coupled Network)と呼ばれる新しいスーパーネットを導入する。 BCNetでは、各チャネルは高度に訓練され、同じ量のネットワーク幅を担っているため、ネットワーク幅をより正確に評価することができる。 提案手法は,他のベースライン手法と比較して,最先端あるいは競合的な性能を実現する。
  論文  参考訳（メタデータ） (2021-05-21T18:54:03Z)
• Dynamic Slimmable Network [105.74546828182834]
  ダイナミックスリム化システム「ダイナミックスリム化ネットワーク(DS-Net)」を開発。 ds-netは,提案するダブルヘッド動的ゲートによる動的推論機能を備えている。 静的圧縮法と最先端の静的および動的モデル圧縮法を一貫して上回っている。
  論文  参考訳（メタデータ） (2021-03-24T15:25:20Z)
• Locally Free Weight Sharing for Network Width Search [55.155969155967284]
  ネットワーク幅の検索は、ハードウェア予算でディープニューラルネットワークをスリム化する効果的な方法である。 そこで我々は,各幅をよりよく評価するために,局所自由度共有戦略(CafeNet)を提案する。 提案手法により,NASネットワークの効率を0.41%向上させることができる。
  論文  参考訳（メタデータ） (2021-02-10T04:36:09Z)
• Sparsity-Control Ternary Weight Networks [34.00378876525579]
  我々は、乗算を回避し、メモリと要求を大幅に削減できる3次重み -1, 0, +1 ネットワークのトレーニングに重点を置いている。 既存の3次重みネットワークのトレーニングアプローチでは、3次重みの間隔を制御できない。 3次重みネットワークをトレーニングするための第一時空間制御手法(SCA)を提案する。
  論文  参考訳（メタデータ） (2020-11-01T18:06:26Z)
• Joslim: Joint Widths and Weights Optimization for Slimmable Neural Networks [37.09353669633368]
  本稿では,スリム化可能なネットワークの幅構成と重みの両面での協調最適化を実現するための汎用フレームワークを提案する。 本フレームワークは,従来およびNASをベースとしたスリム化可能なメソッドを特殊なケースとして仮定し,既存のメソッドよりも柔軟性を向上する。 ImageNetデータセットの1.7%と8%の改善は、FLOPとメモリフットプリントを考慮してMobileNetV2で達成できる。
  論文  参考訳（メタデータ） (2020-07-23T02:05:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。