論文の概要: Adaptive aggregation of Monte Carlo augmented decomposed filters for
efficient group-equivariant convolutional neural network
- arxiv url: http://arxiv.org/abs/2305.10110v1
- Date: Wed, 17 May 2023 10:18:02 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-18 16:39:01.178259
- Title: Adaptive aggregation of Monte Carlo augmented decomposed filters for
efficient group-equivariant convolutional neural network
- Title（参考訳）: グループ同変畳み込みニューラルネットワークのためのモンテカルロ拡張分解フィルタの適応アグリゲーション
- Authors: Wenzhao Zhao, Barbara D. Wichtmann, Steffen Albert, Angelika Maurer,
Frank G. Z\"ollner, Ulrike Attenberger and J\"urgen Hesser
- Abstract要約: フィルタ分解に基づくグループ等価畳み込みニューラルネットワーク(G-CNN)は、CNNのデータ効率を向上させることが実証されている。
重み付きフィルタワイドモンテカルロサンプリングに基づくフレキシブルで効率的な手法を提案する。
提案手法は本質的に従来のCNNの効率的な一般化であることを示す。
- 参考スコア（独自算出の注目度）: 0.6927055673104934
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Filter-decomposition-based group-equivariant convolutional neural networks
(G-CNN) have been demonstrated to increase CNN's data efficiency and contribute
to better interpretability and controllability of CNN models. However, so far
filter-decomposition-based affine G-CNN methods rely on parameter sharing for
achieving high parameter efficiency and suffer from a heavy computational
burden. They also use a limited number of transformations and in particular
ignore the shear transform in the application. In this paper, we address these
problems by emphasizing the importance of the diversity of transformations. We
propose a flexible and efficient strategy based on weighted filter-wise Monte
Carlo sampling. In addition, we introduce shear equivariant CNN to address the
highly sparse representations of natural images. We demonstrate that the
proposed methods are intrinsically an efficient generalization of traditional
CNNs, and we explain the advantage of bottleneck architectures used in the
existing state-of-the-art CNN models such as ResNet, ResNext, and ConvNeXt from
the group-equivariant perspective. Experiments on image classification and
image denoising tasks show that with a set of suitable filter basis, our
methods achieve superior performance to standard CNN with high data efficiency.
The code will be available at https://github.com/ZhaoWenzhao/MCG_CNN.
- Abstract（参考訳）: フィルタ分解に基づくグループ等価畳み込みニューラルネットワーク(G-CNN)は、CNNのデータ効率を向上し、CNNモデルの解釈可能性と制御性の向上に寄与する。
しかし, フィルタ分解に基づくアフィンG-CNN法は, 高パラメータ効率を実現し, 計算負荷の重いパラメータ共有に頼っている。
それらはまた、限られた数の変換を使い、特にアプリケーションにおけるせん断変換を無視する。
本稿では,変換の多様性の重要性を強調することで,これらの問題に対処する。
重み付きフィルタワイズモンテカルロサンプリングに基づく柔軟かつ効率的な戦略を提案する。
さらに,自然画像のスパース表現に対処するために,せん断等変CNNを導入する。
提案手法は本質的に従来のCNNの効率的な一般化であり,グループ同変の観点からResNet,ResNext,ConvNeXtといった既存の最先端CNNモデルで使用されているボトルネックアーキテクチャの利点を説明する。
画像分類と画像復号化タスクの実験により,適切なフィルタに基づく手法により,データ効率の高い標準CNNよりも優れた性能が得られることが示された。
コードはhttps://github.com/ZhaoWenzhao/MCG_CNNで入手できる。
関連論文リスト
- Group Orthogonalization Regularization For Vision Models Adaptation and
Robustness [31.43307762723943]
同じ層内のフィルタ群間の正則性を促進する計算効率の良い正規化手法を提案する。
実験により,近年の拡散モデルと視覚変換器(ViT)の適応手法に組み込むと,この正規化により下流タスクの性能が向上することが示された。
論文 参考訳（メタデータ） (2023-06-16T17:53:16Z) - Sorted Convolutional Network for Achieving Continuous Rotational
Invariance [56.42518353373004]
テクスチャ画像のハンドメイドな特徴に着想を得たSorting Convolution (SC)を提案する。
SCは、追加の学習可能なパラメータやデータ拡張を必要とせずに連続的な回転不変性を達成する。
以上の結果から, SCは, 上記の課題において, 最高の性能を達成できることが示唆された。
論文 参考訳（メタデータ） (2023-05-23T18:37:07Z) - Deep Neural Networks with Efficient Guaranteed Invariances [77.99182201815763]
我々は、性能改善の問題、特にディープニューラルネットワークのサンプル複雑性に対処する。
群同変畳み込みは同変表現を得るための一般的なアプローチである。
本稿では,各ストリームが異なる変換に不変なマルチストリームアーキテクチャを提案する。
論文 参考訳（メタデータ） (2023-03-02T20:44:45Z) - Batch Normalization Tells You Which Filter is Important [49.903610684578716]
我々は,事前学習したCNNのBNパラメータに基づいて,各フィルタの重要性を評価することによって,簡易かつ効果的なフィルタ刈取法を提案する。
CIFAR-10とImageNetの実験結果から,提案手法が優れた性能を発揮することを示す。
論文 参考訳（メタデータ） (2021-12-02T12:04:59Z) - Implicit Equivariance in Convolutional Networks [1.911678487931003]
IEN(Implicitly Equivariant Networks)は標準CNNモデルの異なる層で同変を誘導する。
IENは、高速な推論速度を提供しながら、最先端の回転同変追跡法よりも優れた性能を示す。
論文 参考訳（メタデータ） (2021-11-28T14:44:17Z) - Sampling-free Variational Inference for Neural Networks with
Multiplicative Activation Noise [51.080620762639434]
サンプリングフリー変動推論のための後方近似のより効率的なパラメータ化を提案する。
提案手法は,標準回帰問題に対する競合的な結果をもたらし,大規模画像分類タスクに適している。
論文 参考訳（メタデータ） (2021-03-15T16:16:18Z) - Meta-learning representations for clustering with infinite Gaussian
mixture models [39.56814839510978]
クラスタリング性能を向上させるためにニューラルネットワークを訓練するメタラーニング手法を提案する。
提案手法は,非ラベルデータとは異なるラベルデータを用いた知識メタ学習を用いて,未ラベルデータをクラスタ化することができる。
論文 参考訳（メタデータ） (2021-03-01T02:05:31Z) - Self-grouping Convolutional Neural Networks [30.732298624941738]
本稿では,SG-CNNと呼ばれる自己グループ型畳み込みニューラルネットワークの設計手法を提案する。
各フィルタについて、まず入力チャネルの重要度を評価し、重要度ベクトルを同定する。
得られたデータに依存したセントロイドを用いて、重要でない接続を創り出し、プルーニングの精度損失を暗黙的に最小化する。
論文 参考訳（メタデータ） (2020-09-29T06:24:32Z) - ACDC: Weight Sharing in Atom-Coefficient Decomposed Convolution [57.635467829558664]
我々は,CNNにおいて,畳み込みカーネル間の構造正則化を導入する。
我々はCNNがパラメータや計算量を劇的に減らして性能を維持していることを示す。
論文 参考訳（メタデータ） (2020-09-04T20:41:47Z) - Model Fusion via Optimal Transport [64.13185244219353]
ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。
これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
論文 参考訳（メタデータ） (2019-10-12T22:07:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。