論文の概要: Balanced Mixture of SuperNets for Learning the CNN Pooling Architecture
- arxiv url: http://arxiv.org/abs/2306.11982v1
- Date: Wed, 21 Jun 2023 02:18:27 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-22 15:06:28.612700
- Title: Balanced Mixture of SuperNets for Learning the CNN Pooling Architecture
- Title（参考訳）: CNNプールアーキテクチャ学習のためのスーパーネットのバランスの取れた混合
- Authors: Mehraveh Javan, Matthew Toews, Marco Pedersoli
- Abstract要約: プールやストライドされた畳み込みを含むダウンサンプリングレイヤは、畳み込みニューラルネットワークアーキテクチャの重要なコンポーネントである。
ダウンサンプリング層の位置がネットワークの性能に大きく影響を与えることを示す。
プール構成を異なる重みモデルに自動的に関連付けるスーパーネットのバランスの取れた混合を提案する。
- 参考スコア（独自算出の注目度）: 5.033710669412771
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Downsampling layers, including pooling and strided convolutions, are crucial
components of the convolutional neural network architecture that determine both
the granularity/scale of image feature analysis as well as the receptive field
size of a given layer. To fully understand this problem, we analyse the
performance of models independently trained with each pooling configurations on
CIFAR10, using a ResNet20 network, and show that the position of the
downsampling layers can highly influence the performance of a network and
predefined downsampling configurations are not optimal. Network Architecture
Search (NAS) might be used to optimize downsampling configurations as an
hyperparameter. However, we find that common one-shot NAS based on a single
SuperNet does not work for this problem. We argue that this is because a
SuperNet trained for finding the optimal pooling configuration fully shares its
parameters among all pooling configurations. This makes its training hard,
because learning some configurations can harm the performance of others.
Therefore, we propose a balanced mixture of SuperNets that automatically
associates pooling configurations to different weight models and helps to
reduce the weight-sharing and inter-influence of pooling configurations on the
SuperNet parameters. We evaluate our proposed approach on CIFAR10, CIFAR100, as
well as Food101 and show that in all cases, our model outperforms other
approaches and improves over the default pooling configurations.
- Abstract（参考訳）: プーリングやストライド畳み込みを含むダウンサンプリング層は、画像特徴解析の粒度/スケールと、与えられた層の受容フィールドサイズの両方を決定する畳み込みニューラルネットワークアーキテクチャの重要な構成要素である。
そこで我々は,ResNet20ネットワークを用いて,CIFAR10上の各プール構成で独立に訓練されたモデルの性能を分析し,ダウンサンプリング層の位置がネットワークの性能に大きく影響し,事前定義されたダウンサンプリング構成が最適でないことを示す。
ネットワークアーキテクチャサーチ(NAS)は、ダウンサンプリング構成をハイパーパラメータとして最適化するために用いられる。
しかし,単一のSuperNetをベースとしたワンショットNASは,この問題に対して有効ではない。
これは、最適なプール設定を見つけるために訓練されたスーパーネットが、プール設定のパラメータを完全に共有しているためである。
これは、一部の構成を学習することで、他の構成のパフォーマンスを損なう可能性があるため、トレーニングを難しくする。
そこで本研究では, プール構成を異なる重みモデルに自動的に関連付け, プール構成の重み付けとスーパーネットパラメータの相互影響を低減するための, バランスの取れたスーパーネットについて提案する。
提案手法であるcifar10,cifar100,およびfood101を評価し,いずれの場合においてもモデルが他のアプローチを上回っており,デフォルトプール設定よりも改善されていることを示す。
関連論文リスト
- Complexity-Aware Training of Deep Neural Networks for Optimal Structure Discovery [0.0]
本稿では、トレーニング中に、トレーニング済みのネットワークを適用することなく機能するディープニューラルネットワークのユニット/フィルタとレイヤプルーニングを組み合わせた新しいアルゴリズムを提案する。
提案アルゴリズムは,3つのパラメータのみを用いて,層対単位/フィルタプルーニングと計算量対パラメータ複雑性のバランスを保ちながら,学習精度とプルーニングレベルを最適に交換する。
論文 参考訳（メタデータ） (2024-11-14T02:00:22Z) - CiMNet: Towards Joint Optimization for DNN Architecture and Configuration for Compute-In-Memory Hardware [6.308771129448823]
計算インメモリ(CiM)のための最適なサブネットワークとハードウェア構成を共同で検索するフレームワークであるCiMNetを提案する。
提案するフレームワークは、サブネットワークの性能とCiMハードウェア構成選択の間の複雑な相互作用を理解することができる。
論文 参考訳（メタデータ） (2024-02-19T02:12:07Z) - Learning to Compose SuperWeights for Neural Parameter Allocation Search [61.078949532440724]
提案手法は,同じ重み集合を用いて多くのネットワークに対してパラメータを生成することができることを示す。
これにより、効率的なアンサンブルや、いつでも予測できるようなタスクをサポートできます。
論文 参考訳（メタデータ） (2023-12-03T04:20:02Z) - Pushing the Efficiency Limit Using Structured Sparse Convolutions [82.31130122200578]
本稿では,画像の固有構造を利用して畳み込みフィルタのパラメータを削減する構造的スパース畳み込み(SSC)を提案する。
我々は、SSCが効率的なアーキテクチャにおける一般的なレイヤ(奥行き、グループ回り、ポイント回りの畳み込み)の一般化であることを示す。
SSCに基づくアーキテクチャは、CIFAR-10、CIFAR-100、Tiny-ImageNet、ImageNet分類ベンチマークのベースラインと比較して、最先端のパフォーマンスを実現している。
論文 参考訳（メタデータ） (2022-10-23T18:37:22Z) - Searching for Network Width with Bilaterally Coupled Network [75.43658047510334]
この問題に対処するため、BCNet(Bilaterally Coupled Network)と呼ばれる新しいスーパーネットを導入する。
BCNetでは、各チャネルは高度に訓練され、同じ量のネットワーク幅を担っているため、ネットワーク幅をより正確に評価することができる。
本稿では,Channel-Bench-Macroというマクロ構造に対するオープンソースのワイド・ベンチマークを提案し,ワイド・サーチ・アルゴリズムの比較を行った。
論文 参考訳（メタデータ） (2022-03-25T15:32:46Z) - BCNet: Searching for Network Width with Bilaterally Coupled Network [56.14248440683152]
この問題に対処するため、BCNet(Bilaterally Coupled Network)と呼ばれる新しいスーパーネットを導入する。
BCNetでは、各チャネルは高度に訓練され、同じ量のネットワーク幅を担っているため、ネットワーク幅をより正確に評価することができる。
提案手法は,他のベースライン手法と比較して,最先端あるいは競合的な性能を実現する。
論文 参考訳（メタデータ） (2021-05-21T18:54:03Z) - Structured Convolutions for Efficient Neural Network Design [65.36569572213027]
畳み込みニューラルネットワーク構築ブロックのテクスト単純構造における冗長性を利用してモデル効率に取り組む。
この分解が2Dカーネルや3Dカーネルだけでなく、完全に接続されたレイヤにも適用可能であることを示す。
論文 参考訳（メタデータ） (2020-08-06T04:38:38Z) - Hyperparameter Ensembles for Robustness and Uncertainty Quantification [32.56745402836596]
ディープアンサンブルとして知られる、異なるランダム初期化からトレーニングされたニューラルネットワーク重量に対するアンサンブルは、最先端の精度とキャリブレーションを達成する。
最近導入されたバッチアンサンブルは、よりパラメータ効率の良いドロップイン置換を提供する。
本稿では,重み以上のアンサンブルを設計し,両方の設定におけるアートの状態を改善するために,ハイパーパラメータを超越したアンサンブルを設計する。
論文 参考訳（メタデータ） (2020-06-24T09:14:31Z) - Fitting the Search Space of Weight-sharing NAS with Graph Convolutional
Networks [100.14670789581811]
サンプルサブネットワークの性能に適合するグラフ畳み込みネットワークを訓練する。
この戦略により、選択された候補集合において、より高いランク相関係数が得られる。
論文 参考訳（メタデータ） (2020-04-17T19:12:39Z) - Knapsack Pruning with Inner Distillation [11.04321604965426]
そこで本研究では,プルーンドネットワークの最終精度を最適化する新しいプルーニング手法を提案する。
ネットワークの高レベル構造を維持しながら、ネットワークチャネルを熟考する。
提案手法は,ResNetバックボーンを用いたImageNet,CIFAR-10,CIFAR-100における最先端のプルーニング結果をもたらす。
論文 参考訳（メタデータ） (2020-02-19T16:04:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。