論文の概要: Improving the Sample-Complexity of Deep Classification Networks with Invariant Integration

• arxiv url: http://arxiv.org/abs/2202.03967v1
• Date: Tue, 8 Feb 2022 16:16:11 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-09 15:21:27.331959
• Title: Improving the Sample-Complexity of Deep Classification Networks with Invariant Integration
• Title（参考訳）: 不変積分による深層分類ネットワークのサンプル複雑度向上
• Authors: Matthias Rath and Alexandru Paul Condurache
• Abstract要約: 変換によるクラス内分散に関する事前知識を活用することは、ディープニューラルネットワークのサンプル複雑性を改善するための強力な方法である。 そこで本研究では,アプリケーションの複雑な問題に対処するために,プルーニング法に基づく新しい単項選択アルゴリズムを提案する。 本稿では,Rotated-MNIST,SVHN,CIFAR-10データセットにおけるサンプルの複雑さの改善について述べる。
• 参考スコア（独自算出の注目度）: 77.99182201815763
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Leveraging prior knowledge on intraclass variance due to transformations is a powerful method to improve the sample complexity of deep neural networks. This makes them applicable to practically important use-cases where training data is scarce. Rather than being learned, this knowledge can be embedded by enforcing invariance to those transformations. Invariance can be imposed using group-equivariant convolutions followed by a pooling operation. For rotation-invariance, previous work investigated replacing the spatial pooling operation with invariant integration which explicitly constructs invariant representations. Invariant integration uses monomials which are selected using an iterative approach requiring expensive pre-training. We propose a novel monomial selection algorithm based on pruning methods to allow an application to more complex problems. Additionally, we replace monomials with different functions such as weighted sums, multi-layer perceptrons and self-attention, thereby streamlining the training of invariant-integration-based architectures. We demonstrate the improved sample complexity on the Rotated-MNIST, SVHN and CIFAR-10 datasets where rotation-invariant-integration-based Wide-ResNet architectures using monomials and weighted sums outperform the respective baselines in the limited sample regime. We achieve state-of-the-art results using full data on Rotated-MNIST and SVHN where rotation is a main source of intraclass variation. On STL-10 we outperform a standard and a rotation-equivariant convolutional neural network using pooling.
• Abstract（参考訳）: 変換によるクラス内分散の事前知識を活用することは、ディープニューラルネットワークのサンプル複雑性を改善する強力な方法である。 これにより、トレーニングデータが不足している事実上重要なユースケースに適用できる。 学習されるよりもむしろ、これらの変換に不変を課すことによって、この知識を組み込むことができる。 群同変の畳み込みを用いて不変性を課すことができ、次にプーリング演算を行う。 回転不変性について、以前の研究は空間プーリング演算を不変表現を明示的に構成する不変積分に置き換えた。 不変積分は単項を用いるが、これは高価な事前訓練を必要とする反復的アプローチで選択される。 そこで本研究では,より複雑な問題に対して応用可能なプルーニング法に基づく新しいモノミアル選択アルゴリズムを提案する。 さらに,重み付き和,多層パーセプトロン,セルフアテンションといった関数をモノミアルに置き換え,不変積分に基づくアーキテクチャのトレーニングを合理化する。 本研究では, 単項および重み付き和を用いた回転不変積分に基づくワイド-ResNetアーキテクチャが, 限られたサンプル系において, 各々の基線よりも優れていることを示す。 我々は,回転型MNISTとSVHNの全データを用いて,回転がクラス内変動の主源となる最先端の結果を得る。 stl-10では、プーリングを用いた標準および回転同変畳み込みニューラルネットワークを上回る。

関連論文リスト

• Universal Neural Functionals [67.80283995795985]
  多くの現代の機械学習タスクでは、ウェイトスペース機能を処理することが難しい問題である。 最近の研究は、単純なフィードフォワードネットワークの置換対称性に同値な有望な重み空間モデルを開発した。 本研究は,任意の重み空間に対する置換同変モデルを自動的に構築するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-02-07T20:12:27Z)
• Deep Neural Networks with Efficient Guaranteed Invariances [77.99182201815763]
  我々は、性能改善の問題、特にディープニューラルネットワークのサンプル複雑性に対処する。 群同変畳み込みは同変表現を得るための一般的なアプローチである。 本稿では,各ストリームが異なる変換に不変なマルチストリームアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-03-02T20:44:45Z)
• Revisiting Transformation Invariant Geometric Deep Learning: Are Initial Representations All You Need? [80.86819657126041]
  変換不変および距離保存初期表現は変換不変性を達成するのに十分であることを示す。 具体的には、多次元スケーリングを変更することで、変換不変かつ距離保存された初期点表現を実現する。 我々は、TinvNNが変換不変性を厳密に保証し、既存のニューラルネットワークと組み合わせられるほど汎用的で柔軟なことを証明した。
  論文  参考訳（メタデータ） (2021-12-23T03:52:33Z)
• Implicit Equivariance in Convolutional Networks [1.911678487931003]
  IEN(Implicitly Equivariant Networks)は標準CNNモデルの異なる層で同変を誘導する。 IENは、高速な推論速度を提供しながら、最先端の回転同変追跡法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2021-11-28T14:44:17Z)
• Frame Averaging for Invariant and Equivariant Network Design [50.87023773850824]
  フレーム平均化(FA)は、既知の(バックボーン)アーキテクチャを新しい対称性タイプに不変あるいは同変に適応するためのフレームワークである。 FAモデルが最大表現力を持つことを示す。 我々は,新しいユニバーサルグラフニューラルネット(GNN),ユニバーサルユークリッド運動不変点クラウドネットワーク,およびユークリッド運動不変メッセージパッシング(MP)GNNを提案する。
  論文  参考訳（メタデータ） (2021-10-07T11:05:23Z)
• Training or Architecture? How to Incorporate Invariance in Neural Networks [14.162739081163444]
  本稿では,グループ行動に関して,ネットワークアーキテクチャを確実に不変化する手法を提案する。 簡単に言えば、実際のネットワークにデータを送る前に、可能なトランスフォーメーションを“無効化”するつもりです。 このような手法の特性を解析し、等変ネットワークに拡張し、その利点を頑健さと計算効率の両面からいくつかの数値例で示す。
  論文  参考訳（メタデータ） (2021-06-18T10:31:00Z)
• Exploiting Invariance in Training Deep Neural Networks [4.169130102668252]
  動物視覚システムの2つの基本的なメカニズムに触発され、ディープニューラルネットワークのトレーニングに不変性を与える特徴変換技術を紹介します。 結果として得られるアルゴリズムはパラメータチューニングを少なくし、初期学習率1.0でうまくトレーニングし、異なるタスクに簡単に一般化する。 ImageNet、MS COCO、Cityscapesデータセットでテストされた当社の提案手法は、トレーニングにより少ないイテレーションを必要とし、すべてのベースラインを大きなマージンで上回り、小規模および大規模のバッチサイズのトレーニングをシームレスに行い、画像分類、オブジェクト検出、セマンティックセグメンテーションの異なるコンピュータビジョンタスクに適用します。
  論文  参考訳（メタデータ） (2021-03-30T19:18:31Z)
• Learnable Gabor modulated complex-valued networks for orientation robustness [4.024850952459758]
  学習可能な Gabor Convolutional Networks (LGCNs) はパラメータ効率が良く、モデルの複雑さが増す。 複雑な値を持つ畳み込み重みの束縛性について,学習したガボルフィルタを用いて検討し,配向変換を実現する。
  論文  参考訳（メタデータ） (2020-11-23T21:22:27Z)
• Invariant Integration in Deep Convolutional Feature Space [77.99182201815763]
  より深いニューラルネットワークアーキテクチャに事前知識を原則的に組み込む方法を示す。 本稿では,Rotated-MNISTデータセットの最先端性能について報告する。
  論文  参考訳（メタデータ） (2020-04-20T09:45:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。