論文の概要: Adaptive aggregation of Monte Carlo augmented decomposed filters for
efficient group-equivariant convolutional neural network
- arxiv url: http://arxiv.org/abs/2305.10110v2
- Date: Sun, 4 Feb 2024 22:22:29 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-07 06:43:33.531458
- Title: Adaptive aggregation of Monte Carlo augmented decomposed filters for
efficient group-equivariant convolutional neural network
- Title（参考訳）: グループ同変畳み込みニューラルネットワークのためのモンテカルロ拡張分解フィルタの適応アグリゲーション
- Authors: Wenzhao Zhao, Barbara D. Wichtmann, Steffen Albert, Angelika Maurer,
Frank G. Z\"ollner, Ulrike Attenberger and J\"urgen Hesser
- Abstract要約: グループ等価畳み込みニューラルネットワーク(G-CNN)は、CNNのデータ効率と性能を向上させるためにパラメータ共有に大きく依存している。
群同変ニューラルネットワークに対する非パラメータ共有手法を提案する。
パラメータ共有グループ同変ネットワークよりも優れた性能が得られることを示す。
- 参考スコア（独自算出の注目度）: 0.32985979395737774
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Group-equivariant convolutional neural networks (G-CNN) heavily rely on
parameter sharing to increase CNN's data efficiency and performance. However,
the parameter-sharing strategy greatly increases the computational burden for
each added parameter, which hampers its application to deep neural network
models. In this paper, we address these problems by proposing a
non-parameter-sharing approach for group equivariant neural networks. The
proposed methods adaptively aggregate a diverse range of filters by a weighted
sum of stochastically augmented decomposed filters. We give theoretical proof
about how the group equivariance can be achieved by our methods. Our method
applies to both continuous and discrete groups, where the augmentation is
implemented using Monte Carlo sampling and bootstrap resampling, respectively.
We demonstrate that our methods serve as an efficient extension of standard
CNN. Experiments on group equivariant tests show how our methods can achieve
superior performance to parameter-sharing group equivariant networks.
Experiments on image classification and image denoising tasks show that in
certain scenarios, with a suitable set of filter bases, our method helps
improve the performance of standard CNNs and build efficient lightweight image
denoising networks. The code will be available at
https://github.com/ZhaoWenzhao/MCG_CNN.
- Abstract（参考訳）: グループ等価畳み込みニューラルネットワーク(G-CNN)は、CNNのデータ効率と性能を向上させるためにパラメータ共有に大きく依存している。
しかし、パラメータ共有戦略は、各追加パラメータの計算負担を大幅に増加させ、ディープニューラルネットワークモデルへの応用を阻害する。
本稿では,群同変ニューラルネットワークに対する非パラメータ共有アプローチを提案することにより,これらの問題に対処する。
提案手法は, 確率的に拡張された分解フィルタの重み付け和により, 多様なフィルタを適応的に集約する。
群同値性が我々の方法によってどのように達成されるかを理論的に証明する。
本手法は連続群と離散群の両方に適用し,モンテカルロサンプリングとブートストラップ再サンプリングを用いて加法を実装した。
提案手法が標準CNNの効率的な拡張であることを示す。
群同変試験実験は,パラメータ共有群同変ネットワークよりも優れた性能が得られることを示す。
画像分類と画像復号化タスクの実験では,特定のシナリオにおいて,適切なフィルタベースを用いて,標準的なCNNの性能向上と,効率的な軽量画像復号化ネットワークの構築を支援する。
コードはhttps://github.com/ZhaoWenzhao/MCG_CNNで入手できる。
関連論文リスト
- Group Orthogonalization Regularization For Vision Models Adaptation and
Robustness [31.43307762723943]
同じ層内のフィルタ群間の正則性を促進する計算効率の良い正規化手法を提案する。
実験により,近年の拡散モデルと視覚変換器(ViT)の適応手法に組み込むと,この正規化により下流タスクの性能が向上することが示された。
論文 参考訳（メタデータ） (2023-06-16T17:53:16Z) - Sorted Convolutional Network for Achieving Continuous Rotational
Invariance [56.42518353373004]
テクスチャ画像のハンドメイドな特徴に着想を得たSorting Convolution (SC)を提案する。
SCは、追加の学習可能なパラメータやデータ拡張を必要とせずに連続的な回転不変性を達成する。
以上の結果から, SCは, 上記の課題において, 最高の性能を達成できることが示唆された。
論文 参考訳（メタデータ） (2023-05-23T18:37:07Z) - Deep Neural Networks with Efficient Guaranteed Invariances [77.99182201815763]
我々は、性能改善の問題、特にディープニューラルネットワークのサンプル複雑性に対処する。
群同変畳み込みは同変表現を得るための一般的なアプローチである。
本稿では,各ストリームが異なる変換に不変なマルチストリームアーキテクチャを提案する。
論文 参考訳（メタデータ） (2023-03-02T20:44:45Z) - Batch Normalization Tells You Which Filter is Important [49.903610684578716]
我々は,事前学習したCNNのBNパラメータに基づいて,各フィルタの重要性を評価することによって,簡易かつ効果的なフィルタ刈取法を提案する。
CIFAR-10とImageNetの実験結果から,提案手法が優れた性能を発揮することを示す。
論文 参考訳（メタデータ） (2021-12-02T12:04:59Z) - Implicit Equivariance in Convolutional Networks [1.911678487931003]
IEN(Implicitly Equivariant Networks)は標準CNNモデルの異なる層で同変を誘導する。
IENは、高速な推論速度を提供しながら、最先端の回転同変追跡法よりも優れた性能を示す。
論文 参考訳（メタデータ） (2021-11-28T14:44:17Z) - Sampling-free Variational Inference for Neural Networks with
Multiplicative Activation Noise [51.080620762639434]
サンプリングフリー変動推論のための後方近似のより効率的なパラメータ化を提案する。
提案手法は,標準回帰問題に対する競合的な結果をもたらし,大規模画像分類タスクに適している。
論文 参考訳（メタデータ） (2021-03-15T16:16:18Z) - Meta-learning representations for clustering with infinite Gaussian
mixture models [39.56814839510978]
クラスタリング性能を向上させるためにニューラルネットワークを訓練するメタラーニング手法を提案する。
提案手法は,非ラベルデータとは異なるラベルデータを用いた知識メタ学習を用いて,未ラベルデータをクラスタ化することができる。
論文 参考訳（メタデータ） (2021-03-01T02:05:31Z) - Self-grouping Convolutional Neural Networks [30.732298624941738]
本稿では,SG-CNNと呼ばれる自己グループ型畳み込みニューラルネットワークの設計手法を提案する。
各フィルタについて、まず入力チャネルの重要度を評価し、重要度ベクトルを同定する。
得られたデータに依存したセントロイドを用いて、重要でない接続を創り出し、プルーニングの精度損失を暗黙的に最小化する。
論文 参考訳（メタデータ） (2020-09-29T06:24:32Z) - ACDC: Weight Sharing in Atom-Coefficient Decomposed Convolution [57.635467829558664]
我々は,CNNにおいて,畳み込みカーネル間の構造正則化を導入する。
我々はCNNがパラメータや計算量を劇的に減らして性能を維持していることを示す。
論文 参考訳（メタデータ） (2020-09-04T20:41:47Z) - Model Fusion via Optimal Transport [64.13185244219353]
ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。
これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
論文 参考訳（メタデータ） (2019-10-12T22:07:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。