論文の概要: Improving Shift Invariance in Convolutional Neural Networks with Translation Invariant Polyphase Sampling
- arxiv url: http://arxiv.org/abs/2404.07410v1
- Date: Thu, 11 Apr 2024 00:49:38 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-12 15:18:26.886740
- Title: Improving Shift Invariance in Convolutional Neural Networks with Translation Invariant Polyphase Sampling
- Title(参考訳): 変換不変多相サンプリングによる畳み込みニューラルネットワークのシフト不変性の改善
- Authors: Sourajit Saha, Tejas Gokhale,
- Abstract要約: ダウンサンプリング演算子は畳み込みニューラルネットワーク(CNN)のシフト不変性を破る
翻訳不変多相サンプリング(TIPS)と呼ばれる学習可能なプーリング演算子を提案する。
TIPSは精度、シフト一貫性、シフト忠実度で一貫したパフォーマンス向上をもたらす。
- 参考スコア(独自算出の注目度): 14.731788603429774
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Downsampling operators break the shift invariance of convolutional neural networks (CNNs) and this affects the robustness of features learned by CNNs when dealing with even small pixel-level shift. Through a large-scale correlation analysis framework, we study shift invariance of CNNs by inspecting existing downsampling operators in terms of their maximum-sampling bias (MSB), and find that MSB is negatively correlated with shift invariance. Based on this crucial insight, we propose a learnable pooling operator called Translation Invariant Polyphase Sampling (TIPS) and two regularizations on the intermediate feature maps of TIPS to reduce MSB and learn translation-invariant representations. TIPS can be integrated into any CNN and can be trained end-to-end with marginal computational overhead. Our experiments demonstrate that TIPS results in consistent performance gains in terms of accuracy, shift consistency, and shift fidelity on multiple benchmarks for image classification and semantic segmentation compared to previous methods and also leads to improvements in adversarial and distributional robustness. TIPS results in the lowest MSB compared to all previous methods, thus explaining our strong empirical results.
- Abstract(参考訳): ダウンサンプリング演算子は、畳み込みニューラルネットワーク(CNN)のシフト不変性を破り、小さなピクセルレベルのシフトを扱う際にも、CNNによって学習された機能の堅牢性に影響を与える。
大規模相関分析フレームワークを用いて,既存のダウンサンプリング演算子を最大サンプリングバイアス(MSB)で検証し,MSBがシフト不変性と負の相関関係があることを見出した。
この重要な知見に基づいて,翻訳不変多相サンプリング (TIPS) と呼ばれる学習可能なプーリング演算子とTIPSの中間特徴写像上の2つの正規化を提案し,MSBの削減と翻訳不変表現の学習を行う。
TIPSは任意のCNNに統合することができ、限界計算オーバーヘッドでエンドツーエンドにトレーニングすることができる。
画像分類とセマンティックセマンティックセグメンテーションのための複数のベンチマークにおいて, 精度, シフト整合性, シフト忠実度の観点からTIPSが一貫した性能向上をもたらすことを示すとともに, 対向的および分布的ロバスト性の向上をもたらすことを示した。
TIPSは従来の手法と比較してMSBが低い結果となり,強い経験結果が得られた。
関連論文リスト
- Investigating Shift Equivalence of Convolutional Neural Networks in
Industrial Defect Segmentation [3.843350895842836]
産業欠陥分割タスクでは、モデルの出力整合性(等価性とも呼ばれる)がしばしば見過ごされる。
CNNにおける従来のサンプリングレイヤの代替として,コンポーネントアテンション多相サンプリング(CAPS)と呼ばれる新しいダウン/アップサンプリング層が提案されている。
マイクロサーフェス欠陥(MSD)データセットと4つの実世界の産業的欠陥データセットの実験結果から,提案手法は高い等価性とセグメンテーション性能を示すことが示された。
論文 参考訳(メタデータ) (2023-09-29T00:04:47Z) - SO(2) and O(2) Equivariance in Image Recognition with
Bessel-Convolutional Neural Networks [63.24965775030674]
この研究はベッセル畳み込みニューラルネットワーク(B-CNN)の開発を示す
B-CNNは、ベッセル関数に基づく特定の分解を利用して、画像とフィルタの間のキー操作を変更する。
他の手法と比較して,B-CNNの性能を評価するために検討を行った。
論文 参考訳(メタデータ) (2023-04-18T18:06:35Z) - Deep Neural Networks with Efficient Guaranteed Invariances [77.99182201815763]
我々は、性能改善の問題、特にディープニューラルネットワークのサンプル複雑性に対処する。
群同変畳み込みは同変表現を得るための一般的なアプローチである。
本稿では,各ストリームが異なる変換に不変なマルチストリームアーキテクチャを提案する。
論文 参考訳(メタデータ) (2023-03-02T20:44:45Z) - Improving the Sample-Complexity of Deep Classification Networks with
Invariant Integration [77.99182201815763]
変換によるクラス内分散に関する事前知識を活用することは、ディープニューラルネットワークのサンプル複雑性を改善するための強力な方法である。
そこで本研究では,アプリケーションの複雑な問題に対処するために,プルーニング法に基づく新しい単項選択アルゴリズムを提案する。
本稿では,Rotated-MNIST,SVHN,CIFAR-10データセットにおけるサンプルの複雑さの改善について述べる。
論文 参考訳(メタデータ) (2022-02-08T16:16:11Z) - Implicit Equivariance in Convolutional Networks [1.911678487931003]
IEN(Implicitly Equivariant Networks)は標準CNNモデルの異なる層で同変を誘導する。
IENは、高速な推論速度を提供しながら、最先端の回転同変追跡法よりも優れた性能を示す。
論文 参考訳(メタデータ) (2021-11-28T14:44:17Z) - Improving Sound Event Classification by Increasing Shift Invariance in
Convolutional Neural Networks [14.236193187116047]
近年の研究では、畳み込みネットワークの一般に仮定されるシフト不変性に疑問が呈されている。
我々は、低域フィルタと入ってくる特徴写像の適応サンプリングに基づいて、CNNにおけるシフト不変性を改善する2つの方法を評価する。
これらの修正は、トレーニング可能なパラメータを追加(あるいはごく少数)することなく、考慮すべきすべてのケースにおいて、音事象の分類を一貫して改善することを示します。
論文 参考訳(メタデータ) (2021-07-01T17:21:02Z) - Truly shift-equivariant convolutional neural networks with adaptive
polyphase upsampling [28.153820129486025]
画像分類において、適応型多相ダウンサンプリング(APS-D)はCNNを完全に不変にするために最近提案されている。
本稿では,従来のアップサンプリングの非線形拡張であるaps-u(adaptive polyphase upsampling)を提案する。
論文 参考訳(メタデータ) (2021-05-09T22:33:53Z) - Sampling-free Variational Inference for Neural Networks with
Multiplicative Activation Noise [51.080620762639434]
サンプリングフリー変動推論のための後方近似のより効率的なパラメータ化を提案する。
提案手法は,標準回帰問題に対する競合的な結果をもたらし,大規模画像分類タスクに適している。
論文 参考訳(メタデータ) (2021-03-15T16:16:18Z) - Truly shift-invariant convolutional neural networks [0.0]
近年の研究では、CNNの出力は入力の小さなシフトで大きく変化することが示されている。
本稿では,適応型多相サンプリング(APS)を提案する。これは,畳み込みニューラルネットワークが,シフト下での分類性能において100%整合性を実現するための,単純なサブサンプリング手法である。
論文 参考訳(メタデータ) (2020-11-28T20:57:35Z) - Learning Invariances in Neural Networks [51.20867785006147]
ネットワークパラメータや拡張パラメータに関して,拡張性よりも分布をパラメータ化し,トレーニング損失を同時に最適化する方法を示す。
画像分類,回帰,セグメンテーション,分子特性予測における不均一性の正確なセットと範囲を,拡張の広い空間から復元することができる。
論文 参考訳(メタデータ) (2020-10-22T17:18:48Z) - Bandit Samplers for Training Graph Neural Networks [63.17765191700203]
グラフ畳み込みネットワーク(GCN)の訓練を高速化するために, ばらつきを低減したサンプリングアルゴリズムが提案されている。
これらのサンプリングアルゴリズムは、グラフ注意ネットワーク(GAT)のような固定重みよりも学習重量を含む、より一般的なグラフニューラルネットワーク(GNN)には適用できない。
論文 参考訳(メタデータ) (2020-06-10T12:48:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。