論文の概要: Convolutional layers are equivariant to discrete shifts but not continuous translations

• arxiv url: http://arxiv.org/abs/2206.04979v4
• Date: Thu, 7 Dec 2023 02:03:25 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-08 11:30:53.420105
• Title: Convolutional layers are equivariant to discrete shifts but not continuous translations
• Title（参考訳）: 畳み込み層は離散シフトに同値であるが連続変換ではない
• Authors: Nick McGreivy, Ammar Hakim
• Abstract要約: 畳み込みニューラルネットワーク(CNN)は、重み付けによるシフト同変である畳み込み層で構成されている。 CNNは、境界効果が無視され、プールやサブサンプリングが欠如している場合でも、変換同変ではない。
• 参考スコア（独自算出の注目度）: 0.8702432681310401
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The purpose of this short and simple note is to clarify a common misconception about convolutional neural networks (CNNs). CNNs are made up of convolutional layers which are shift equivariant due to weight sharing. However, convolutional layers are not translation equivariant, even when boundary effects are ignored and when pooling and subsampling are absent. This is because shift equivariance is a discrete symmetry while translation equivariance is a continuous symmetry. This fact is well known among researchers in equivariant machine learning, but is usually overlooked among non-experts. To minimize confusion, we suggest using the term `shift equivariance' to refer to discrete shifts in pixels and `translation equivariance' to refer to continuous translations.
• Abstract（参考訳）: この短く簡単な注記の目的は、畳み込みニューラルネットワーク(cnns)に関する一般的な誤解を明らかにすることである。 CNNは、重み共有によるシフト同変である畳み込み層で構成されている。 しかし、畳み込み層は、境界効果が無視され、プールやサブサンプリングが欠如している場合でも、変換同変ではない。 これは、シフト同値が離散対称性であり、変換同値が連続対称性であるからである。 この事実は同変機械学習の研究者の間でよく知られているが、通常は非専門家の間で見過ごされている。 混乱を最小限に抑えるために、ピクセルの離散的なシフトを「シフト等分散」、連続的な変換を「変換等分散」と呼ぶことを提案している。

関連論文リスト

• Investigating how ReLU-networks encode symmetries [13.935148870831396]
  ネットワークの等式がすべての層が等式であることを示すかどうかを考察する。 等変で訓練されたCNNは階層的に等変を示すと推測する。 2つの異なるネットワークをマージするよりも、ネットワークとグループ変換されたバージョンをマージすることが通常容易であることを示す。
  論文  参考訳（メタデータ） (2023-05-26T15:23:20Z)
• Self-Supervised Learning for Group Equivariant Neural Networks [75.62232699377877]
  群同変ニューラルネットワーク(英: Group equivariant Neural Network)は、入力の変換で通勤する構造に制限されたモデルである。 自己教師型タスクには、同変プリテキストラベルと異変コントラスト損失という2つの概念を提案する。 標準画像認識ベンチマークの実験では、同変ニューラルネットワークが提案された自己教師型タスクを利用することを示した。
  論文  参考訳（メタデータ） (2023-03-08T08:11:26Z)
• The Lie Derivative for Measuring Learned Equivariance [84.29366874540217]
  我々は、CNN、トランスフォーマー、ミキサーアーキテクチャにまたがる数百の事前訓練されたモデルの同値性について検討する。 その結果,不等式違反の多くは,不等式などのユビキタスネットワーク層における空間エイリアスに関連付けられることがわかった。 例えば、トランスはトレーニング後の畳み込みニューラルネットワークよりも同種である。
  論文  参考訳（メタデータ） (2022-10-06T15:20:55Z)
• Learning Invariant Representations for Equivariant Neural Networks Using Orthogonal Moments [9.680414207552722]
  標準畳み込みニューラルネットワーク(CNN)の畳み込み層は、翻訳と等価である。 近年,従来のCNNの層を同変畳み込み,プーリング,バッチ正規化に置き換えた新しいCNNのクラスが提案されている。
  論文  参考訳（メタデータ） (2022-09-22T11:48:39Z)
• Equivariant Disentangled Transformation for Domain Generalization under Combination Shift [91.38796390449504]
  ドメインとラベルの組み合わせは、トレーニング中に観察されるのではなく、テスト環境に現れる。 我々は、同型の概念、同値性、および整合性の定義に基づく結合シフト問題の一意的な定式化を提供する。
  論文  参考訳（メタデータ） (2022-08-03T12:31:31Z)
• Equivariance Discovery by Learned Parameter-Sharing [153.41877129746223]
  データから解釈可能な等価性を発見する方法について検討する。 具体的には、モデルのパラメータ共有方式に対する最適化問題として、この発見プロセスを定式化する。 また,ガウスデータの手法を理論的に解析し,研究された発見スキームとオラクルスキームの間の平均2乗ギャップを限定する。
  論文  参考訳（メタデータ） (2022-04-07T17:59:19Z)
• Group Equivariant Subsampling [60.53371517247382]
  サブサンプリングは、プールやストライド畳み込みの形で畳み込みニューラルネットワーク(CNN)で使用される。 まず、正確な翻訳同変CNNを構築するために使用できる翻訳同変サブサンプリング/アップサンプリング層を導入する。 次に、これらの層を一般群への変換を超えて一般化し、したがって群同変部分サンプリング/アップサンプリングを提案する。
  論文  参考訳（メタデータ） (2021-06-10T16:14:00Z)
• Stride and Translation Invariance in CNNs [2.4213989921339847]
  隣接する画素間の十分な類似性が組み合わさることで,ストライドは翻訳不変性に大きな恩恵をもたらすことを示す。 また,グローバル平均プーリング,アンチエイリアス,データ拡張など,他のソリューションの有効性についても検討した。
  論文  参考訳（メタデータ） (2021-03-18T09:17:06Z)
• Learning Invariances in Neural Networks [51.20867785006147]
  ネットワークパラメータや拡張パラメータに関して,拡張性よりも分布をパラメータ化し,トレーニング損失を同時に最適化する方法を示す。 画像分類,回帰,セグメンテーション,分子特性予測における不均一性の正確なセットと範囲を,拡張の広い空間から復元することができる。
  論文  参考訳（メタデータ） (2020-10-22T17:18:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。