論文の概要: Implicit Equivariance in Convolutional Networks

• arxiv url: http://arxiv.org/abs/2111.14157v1
• Date: Sun, 28 Nov 2021 14:44:17 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-01 09:06:31.786071
• Title: Implicit Equivariance in Convolutional Networks
• Title（参考訳）: 畳み込みネットワークにおけるインプシット等価性
• Authors: Naman Khetan, Tushar Arora, Samee Ur Rehman, Deepak K. Gupta
• Abstract要約: IEN(Implicitly Equivariant Networks)は標準CNNモデルの異なる層で同変を誘導する。 IENは、高速な推論速度を提供しながら、最先端の回転同変追跡法よりも優れた性能を示す。
• 参考スコア（独自算出の注目度）: 1.911678487931003
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Convolutional Neural Networks(CNN) are inherently equivariant under translations, however, they do not have an equivalent embedded mechanism to handle other transformations such as rotations and change in scale. Several approaches exist that make CNNs equivariant under other transformation groups by design. Among these, steerable CNNs have been especially effective. However, these approaches require redesigning standard networks with filters mapped from combinations of predefined basis involving complex analytical functions. We experimentally demonstrate that these restrictions in the choice of basis can lead to model weights that are sub-optimal for the primary deep learning task (e.g. classification). Moreover, such hard-baked explicit formulations make it difficult to design composite networks comprising heterogeneous feature groups. To circumvent such issues, we propose Implicitly Equivariant Networks (IEN) which induce equivariance in the different layers of a standard CNN model by optimizing a multi-objective loss function that combines the primary loss with an equivariance loss term. Through experiments with VGG and ResNet models on Rot-MNIST , Rot-TinyImageNet, Scale-MNIST and STL-10 datasets, we show that IEN, even with its simple formulation, performs better than steerable networks. Also, IEN facilitates construction of heterogeneous filter groups allowing reduction in number of channels in CNNs by a factor of over 30% while maintaining performance on par with baselines. The efficacy of IEN is further validated on the hard problem of visual object tracking. We show that IEN outperforms the state-of-the-art rotation equivariant tracking method while providing faster inference speed.
• Abstract（参考訳）: 畳み込みニューラルネットワーク(CNN)は本質的に同変であるが、回転やスケールの変化といった他の変換を扱うための等価な埋め込み機構は持っていない。 設計によって他の変換群の下でcnnを同値にするいくつかのアプローチが存在する。 このうち、操縦可能なCNNは特に有効である。 しかし、これらのアプローチでは、複雑な解析関数を含む事前定義された基底の組み合わせからマッピングされたフィルタで標準ネットワークを再設計する必要がある。 基礎選択におけるこれらの制限が,主深層学習タスク(例えば,分類)に最適なモデル重み付けにつながることを実験的に実証した。 さらに,このような難解な明示的な定式化は,異種特徴群からなる複合ネットワークの設計を困難にしている。 このような問題を回避すべく,プライマリロスと等価損失項を組み合わせた多目的損失関数を最適化することにより,標準cnnモデルの異なる層に等分散を誘導する暗黙的同変ネットワーク(ien)を提案する。 rot-mnist ,rot-tinyimagenet,scale-mnist,stl-10 の vgg および resnet モデルを用いた実験により,ien は単純な定式化であっても,制御可能なネットワークよりも優れた性能を示す。 また、ienは、cnnのチャネル数を30%以上削減すると同時に、ベースラインと同等の性能を維持しながら、異種フィルタグループの構築を容易にする。 IENの有効性は、視覚的物体追跡の難しい問題に対してさらに検証される。 IENは、高速な推論速度を提供しながら、最先端の回転同変追跡法より優れていることを示す。

関連論文リスト

• SO(2) and O(2) Equivariance in Image Recognition with Bessel-Convolutional Neural Networks [63.24965775030674]
  この研究はベッセル畳み込みニューラルネットワーク(B-CNN)の開発を示す B-CNNは、ベッセル関数に基づく特定の分解を利用して、画像とフィルタの間のキー操作を変更する。 他の手法と比較して,B-CNNの性能を評価するために検討を行った。
  論文  参考訳（メタデータ） (2023-04-18T18:06:35Z)
• Deep Neural Networks with Efficient Guaranteed Invariances [77.99182201815763]
  我々は、性能改善の問題、特にディープニューラルネットワークのサンプル複雑性に対処する。 群同変畳み込みは同変表現を得るための一般的なアプローチである。 本稿では,各ストリームが異なる変換に不変なマルチストリームアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-03-02T20:44:45Z)
• Equivariance versus Augmentation for Spherical Images [0.7388859384645262]
  球面画像に適用した畳み込みニューラルネットワーク(CNN)における回転同値の役割を解析する。 我々は、S2CNNとして知られるグループ同変ネットワークと、データ増大量で訓練された標準非同変CNNの性能を比較した。
  論文  参考訳（メタデータ） (2022-02-08T16:49:30Z)
• Improving the Sample-Complexity of Deep Classification Networks with Invariant Integration [77.99182201815763]
  変換によるクラス内分散に関する事前知識を活用することは、ディープニューラルネットワークのサンプル複雑性を改善するための強力な方法である。 そこで本研究では,アプリケーションの複雑な問題に対処するために,プルーニング法に基づく新しい単項選択アルゴリズムを提案する。 本稿では,Rotated-MNIST,SVHN,CIFAR-10データセットにおけるサンプルの複雑さの改善について述べる。
  論文  参考訳（メタデータ） (2022-02-08T16:16:11Z)
• Revisiting Transformation Invariant Geometric Deep Learning: Are Initial Representations All You Need? [80.86819657126041]
  変換不変および距離保存初期表現は変換不変性を達成するのに十分であることを示す。 具体的には、多次元スケーリングを変更することで、変換不変かつ距離保存された初期点表現を実現する。 我々は、TinvNNが変換不変性を厳密に保証し、既存のニューラルネットワークと組み合わせられるほど汎用的で柔軟なことを証明した。
  論文  参考訳（メタデータ） (2021-12-23T03:52:33Z)
• Frame Averaging for Invariant and Equivariant Network Design [50.87023773850824]
  フレーム平均化(FA)は、既知の(バックボーン)アーキテクチャを新しい対称性タイプに不変あるいは同変に適応するためのフレームワークである。 FAモデルが最大表現力を持つことを示す。 我々は,新しいユニバーサルグラフニューラルネット(GNN),ユニバーサルユークリッド運動不変点クラウドネットワーク,およびユークリッド運動不変メッセージパッシング(MP)GNNを提案する。
  論文  参考訳（メタデータ） (2021-10-07T11:05:23Z)
• Designing Rotationally Invariant Neural Networks from PDEs and Variational Methods [8.660429288575367]
  拡散モデルと変動モデルが回転不変性をどのように達成し、これらのアイデアをニューラルネットワークに転送するかを検討する。 本稿では,複数の指向フィルタからの情報を組み合わせることで,ネットワークチャネルを結合するアクティベーション機能を提案する。 本研究は,拡散モデルと変分モデルを数学的に精細なネットワークアーキテクチャに変換し,モデルベースCNN設計のための新しい概念を提供するのに役立つ。
  論文  参考訳（メタデータ） (2021-08-31T17:34:40Z)
• Group Equivariant Neural Architecture Search via Group Decomposition and Reinforcement Learning [17.291131923335918]
  我々は、同値ニューラルネットワークの文脈において、新しい群論的結果を証明する。 また、計算複雑性を大幅に改善する同変ネットワークを構築するアルゴリズムを設計する。 我々は、性能を最大化するグループ同変ネットワークの探索に深層Q-ラーニングを用いる。
  論文  参考訳（メタデータ） (2021-04-10T19:37:25Z)
• ACDC: Weight Sharing in Atom-Coefficient Decomposed Convolution [57.635467829558664]
  我々は,CNNにおいて,畳み込みカーネル間の構造正則化を導入する。 我々はCNNがパラメータや計算量を劇的に減らして性能を維持していることを示す。
  論文  参考訳（メタデータ） (2020-09-04T20:41:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。