論文の概要: Translation-Equivariance of Normalization Layers and Aliasing in Convolutional Neural Networks

• arxiv url: http://arxiv.org/abs/2505.19805v1
• Date: Mon, 26 May 2025 10:39:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 16:58:43.360419
• Title: Translation-Equivariance of Normalization Layers and Aliasing in Convolutional Neural Networks
• Title（参考訳）: 畳み込みニューラルネットワークにおける正規化層の翻訳等価性とエイリアス
• Authors: Jérémy Scanvic, Quentin Barthélemy, Julián Tachella,
• Abstract要約: 離散シフトと連続翻訳に対する正規化層の同値性を理解するための新しい理論的枠組みを提案する。 また、正規化層が作用する次元に関して同変である必要十分条件も決定する。 ResNet-18とImageNetの実際の特徴マップを用いて、これらの理論結果を実証的に検証し、予測と一致していることを確認する。
• 参考スコア（独自算出の注目度）: 7.655817182618921
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The design of convolutional neural architectures that are exactly equivariant to continuous translations is an active field of research. It promises to benefit scientific computing, notably by making existing imaging systems more physically accurate. Most efforts focus on the design of downsampling/pooling layers, upsampling layers and activation functions, but little attention is dedicated to normalization layers. In this work, we present a novel theoretical framework for understanding the equivariance of normalization layers to discrete shifts and continuous translations. We also determine necessary and sufficient conditions for normalization layers to be equivariant in terms of the dimensions they operate on. Using real feature maps from ResNet-18 and ImageNet, we test those theoretical results empirically and find that they are consistent with our predictions.
• Abstract（参考訳）: 連続翻訳と完全に同値な畳み込みニューラルアーキテクチャの設計は、研究の活発な分野である。 既存のイメージングシステムをより物理的に正確にすることで、科学計算の恩恵を受けることを約束している。 ほとんどの取り組みは、ダウンサンプリング/プール層、アップサンプリング層、アクティベーション機能の設計に重点を置いている。 本研究では,正規化層が離散シフトや連続翻訳に等しくなることを理解するための理論的枠組みを提案する。 また、正規化層が作用する次元に関して同変である必要十分条件も決定する。 ResNet-18とImageNetの実際の特徴マップを用いて、これらの理論結果を実証的に検証し、予測と一致していることを確認する。

関連論文リスト

• Restore Translation Using Equivariant Neural Networks [7.78895108256899]
  本稿では,畳み込みニューラルネットワークに変換された(あるいは回転した)入力を復元するための事前分類器復元器を提案する。 復元子は、テンソル空間上の変換同変であるアフィン作用素に十分かつ必要な条件を与える理論的な結果に基づいている。
  論文  参考訳（メタデータ） (2023-06-29T13:34:35Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Moving Frame Net: SE(3)-Equivariant Network for Volumes [0.0]
  移動フレームアプローチに基づく画像データのための回転・変換同変ニューラルネットワークを提案する。 入力段階において、移動フレームの計算を1つに減らし、そのアプローチを大幅に改善する。 我々の訓練されたモデルは、MedMNIST3Dの試験されたデータセットの大部分の医療ボリューム分類において、ベンチマークを上回ります。
  論文  参考訳（メタデータ） (2022-11-07T10:25:38Z)
• Learning Invariant Representations for Equivariant Neural Networks Using Orthogonal Moments [9.680414207552722]
  標準畳み込みニューラルネットワーク(CNN)の畳み込み層は、翻訳と等価である。 近年,従来のCNNの層を同変畳み込み,プーリング,バッチ正規化に置き換えた新しいCNNのクラスが提案されている。
  論文  参考訳（メタデータ） (2022-09-22T11:48:39Z)
• Existence, Stability and Scalability of Orthogonal Convolutional Neural Networks [1.0742675209112622]
  ニューラルネットワークの層に直交性を導入することは、勾配の爆発/消滅を制限することによって学習を促進することが知られている。 本稿では直交畳み込み層の理論的性質について検討する。
  論文  参考訳（メタデータ） (2021-08-12T09:30:53Z)
• A Flexible Framework for Designing Trainable Priors with Adaptive Smoothing and Game Encoding [57.1077544780653]
  我々は、前方通過を非滑らかな凸最適化問題として解釈できるニューラルネットワーク層の設計とトレーニングのための一般的なフレームワークを紹介する。 グラフのノードに代表されるローカルエージェントによって解決され、正規化関数を介して相互作用する凸ゲームに焦点を当てる。 このアプローチは、訓練可能なエンドツーエンドのディープモデル内で、古典的な画像の事前使用を可能にするため、画像の問題を解決するために魅力的である。
  論文  参考訳（メタデータ） (2020-06-26T08:34:54Z)
• Optimization Theory for ReLU Neural Networks Trained with Normalization Layers [82.61117235807606]
  ディープニューラルネットワークの成功は、部分的には正規化レイヤの使用によるものだ。 我々の分析は、正規化の導入がランドスケープをどのように変化させ、より高速なアクティベーションを実現するかを示している。
  論文  参考訳（メタデータ） (2020-06-11T23:55:54Z)
• Attentive Normalization for Conditional Image Generation [126.08247355367043]
  我々は、従来のインスタンス正規化の拡張である注意的正規化(AN)により、長距離依存を特徴づける。 自己注意型GANと比較して、注意的正規化はすべての位置の相関を測る必要がない。 クラス条件の画像生成とセマンティックインパインティングの実験により,提案モジュールの有効性が検証された。
  論文  参考訳（メタデータ） (2020-04-08T06:12:25Z)
• Evolving Normalization-Activation Layers [100.82879448303805]
  我々は、うまく機能しない候補層を迅速にフィルタリングする効率的な拒絶プロトコルを開発した。 EvoNormsは、新しい正規化活性化層であり、新しい構造を持ち、時には驚くべき構造を持つ。 我々の実験は、EvoNormsがResNets、MobileNets、EfficientNetsなどの画像分類モデルでうまく機能していることを示している。
  論文  参考訳（メタデータ） (2020-04-06T19:52:48Z)
• Generalizing Convolutional Neural Networks for Equivariance to Lie Groups on Arbitrary Continuous Data [52.78581260260455]
  任意の特定のリー群からの変換に同値な畳み込み層を構築するための一般的な方法を提案する。 同じモデルアーキテクチャを画像、ボール・アンド・スティック分子データ、ハミルトン力学系に適用する。
  論文  参考訳（メタデータ） (2020-02-25T17:40:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。