論文の概要: Tracking translation invariance in CNNs
- arxiv url: http://arxiv.org/abs/2104.05997v1
- Date: Tue, 13 Apr 2021 08:05:56 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-14 13:24:00.488101
- Title: Tracking translation invariance in CNNs
- Title（参考訳）: CNNにおける追跡翻訳不変性
- Authors: Johannes C.Myburgh, Coenraad Mouton, Marelie H.Davel
- Abstract要約: 標準CNNの異なるアーキテクチャコンポーネントが、そのネットワークが翻訳に対する感受性に及ぼす影響を調査します。
畳み込み型カーネルサイズとゼロパディングの量を変化させることで、生成する特徴マップのサイズを制御する。
また、CNN内の異なる場所における翻訳の不変性を測定し、それぞれの畳み込み層と完全連結層がCNN全体の翻訳の不変性に寄与する程度を決定します。
- 参考スコア（独自算出の注目度）: 2.4213989921339847
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Although Convolutional Neural Networks (CNNs) are widely used, their
translation invariance (ability to deal with translated inputs) is still
subject to some controversy. We explore this question using
translation-sensitivity maps to quantify how sensitive a standard CNN is to a
translated input. We propose the use of Cosine Similarity as sensitivity metric
over Euclidean Distance, and discuss the importance of restricting the
dimensionality of either of these metrics when comparing architectures. Our
main focus is to investigate the effect of different architectural components
of a standard CNN on that network's sensitivity to translation. By varying
convolutional kernel sizes and amounts of zero padding, we control the size of
the feature maps produced, allowing us to quantify the extent to which these
elements influence translation invariance. We also measure translation
invariance at different locations within the CNN to determine the extent to
which convolutional and fully connected layers, respectively, contribute to the
translation invariance of a CNN as a whole. Our analysis indicates that both
convolutional kernel size and feature map size have a systematic influence on
translation invariance. We also see that convolutional layers contribute less
than expected to translation invariance, when not specifically forced to do so.
- Abstract（参考訳）: 畳み込みニューラルネットワーク(CNN)は広く使われているが、その翻訳不変性(翻訳入力を扱う能力)はいまだに論争の対象となっている。
翻訳感度マップを用いて、標準CNNが翻訳された入力に対してどれほど敏感であるかを定量化する。
ユークリッド距離に対する感度指標としてのコサイン類似性(Cosine similarity)の利用を提案し、アーキテクチャの比較においてこれらの指標の次元性を制限することの重要性について議論する。
我々の主な焦点は、標準CNNの異なるアーキテクチャコンポーネントがそのネットワークの翻訳に対する感受性に与える影響を調べることである。
畳み込みカーネルサイズとゼロパディングの量を変えることで、生成した特徴写像のサイズを制御し、これらの要素が翻訳不変性に影響を与える範囲を定量化する。
また、cnn内の異なる場所での翻訳不変性を測定し、畳み込み層と完全連結層がそれぞれcnn全体の翻訳不変性に寄与する程度を決定する。
解析の結果,畳み込みカーネルサイズと特徴マップサイズの両方が翻訳不変性に系統的に影響を及ぼすことが示された。
また、畳み込み層は、特にそうせざるを得ない場合、変換不変性が予想されるよりも少ないことが分かっています。
関連論文リスト
- Metric as Transform: Exploring beyond Affine Transform for Interpretable Neural Network [2.7195102129095003]
ユークリッド距離の局所的影響に比べ,大域的影響の少ない点積ニューロンが発見されている。
我々は,解釈可能なローカル辞書に基づくニューラルネットワークを開発し,それを用いて敵の例を理解し,否定する。
論文 参考訳（メタデータ） (2024-10-21T16:22:19Z) - Revisiting Data Augmentation for Rotational Invariance in Convolutional
Neural Networks [0.29127054707887967]
画像分類のためのCNNにおける回転不変性について検討する。
実験により、データ拡張だけで訓練されたネットワークは、通常の非回転の場合と同様に、回転した画像の分類がほぼ可能であることが示された。
論文 参考訳（メタデータ） (2023-10-12T15:53:24Z) - Studying inductive biases in image classification task [0.0]
自己注意構造(SA)は、局所的に独立したフィルタを持ち、かつて人気だった畳み込みニューラルネットワーク(CNN)と矛盾する大きなカーネルを使用することができる。
文脈認識が重要な要素であることは明らかだが,CAパラメータの構築には大規模なローカル情報が必要ではなかった。
論文 参考訳（メタデータ） (2022-10-31T08:43:26Z) - The Lie Derivative for Measuring Learned Equivariance [84.29366874540217]
我々は、CNN、トランスフォーマー、ミキサーアーキテクチャにまたがる数百の事前訓練されたモデルの同値性について検討する。
その結果,不等式違反の多くは,不等式などのユビキタスネットワーク層における空間エイリアスに関連付けられることがわかった。
例えば、トランスはトレーニング後の畳み込みニューラルネットワークよりも同種である。
論文 参考訳（メタデータ） (2022-10-06T15:20:55Z) - What Can Be Learnt With Wide Convolutional Neural Networks? [69.55323565255631]
カーネルシステムにおける無限大の深層CNNについて検討する。
我々は,深部CNNが対象関数の空間スケールに適応していることを証明する。
我々は、別の深部CNNの出力に基づいて訓練された深部CNNの一般化誤差を計算して結論付ける。
論文 参考訳（メタデータ） (2022-08-01T17:19:32Z) - Group Equivariant Subsampling [60.53371517247382]
サブサンプリングは、プールやストライド畳み込みの形で畳み込みニューラルネットワーク(CNN)で使用される。
まず、正確な翻訳同変CNNを構築するために使用できる翻訳同変サブサンプリング/アップサンプリング層を導入する。
次に、これらの層を一般群への変換を超えて一般化し、したがって群同変部分サンプリング/アップサンプリングを提案する。
論文 参考訳（メタデータ） (2021-06-10T16:14:00Z) - Stride and Translation Invariance in CNNs [2.4213989921339847]
隣接する画素間の十分な類似性が組み合わさることで,ストライドは翻訳不変性に大きな恩恵をもたらすことを示す。
また,グローバル平均プーリング,アンチエイリアス,データ拡張など,他のソリューションの有効性についても検討した。
論文 参考訳（メタデータ） (2021-03-18T09:17:06Z) - What Does CNN Shift Invariance Look Like? A Visualization Study [87.79405274610681]
畳み込みニューラルネットワーク(CNN)による特徴抽出は、機械学習タスクの画像を表現する一般的な方法である。
我々は,一般的な市販CNNモデルから抽出した特徴量の変動を計測し,可視化することに注力する。
人気ネットワークから抽出された特徴はグローバルに不変ではなく,この分散の中にバイアスやアーティファクトが存在すると結論付けている。
論文 参考訳（メタデータ） (2020-11-09T01:16:30Z) - Learning Translation Invariance in CNNs [1.52292571922932]
CNNが翻訳に'アーキテクチャ的に不変'ではないとしても、実際に'学習'は翻訳に不変であることを示す。
本研究では,この事前学習が内部ネットワーク表現に与える影響について検討した。
これらの実験は、適切な「遅延」特性を持つ環境でネットワークを事前学習することで、ネットワークが深い知覚規則を学習できることを示す。
論文 参考訳（メタデータ） (2020-11-06T09:39:27Z) - Learning Invariances in Neural Networks [51.20867785006147]
ネットワークパラメータや拡張パラメータに関して,拡張性よりも分布をパラメータ化し,トレーニング損失を同時に最適化する方法を示す。
画像分類,回帰,セグメンテーション,分子特性予測における不均一性の正確なセットと範囲を,拡張の広い空間から復元することができる。
論文 参考訳（メタデータ） (2020-10-22T17:18:48Z) - ACDC: Weight Sharing in Atom-Coefficient Decomposed Convolution [57.635467829558664]
我々は,CNNにおいて,畳み込みカーネル間の構造正則化を導入する。
我々はCNNがパラメータや計算量を劇的に減らして性能を維持していることを示す。
論文 参考訳（メタデータ） (2020-09-04T20:41:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。