論文の概要: Improving Shift Invariance in Convolutional Neural Networks with Translation Invariant Polyphase Sampling

• arxiv url: http://arxiv.org/abs/2404.07410v2
• Date: Sun, 01 Dec 2024 18:48:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-03 16:56:01.598853
• Title: Improving Shift Invariance in Convolutional Neural Networks with Translation Invariant Polyphase Sampling
• Title（参考訳）: 変換不変多相サンプリングによる畳み込みニューラルネットワークのシフト不変性の改善
• Authors: Sourajit Saha, Tejas Gokhale,
• Abstract要約: ダウンサンプリング演算子は畳み込みニューラルネットワーク(CNN)のシフト不変性を破る 翻訳不変多相サンプリング(TIPS)と呼ばれる学習可能なプーリング演算子を提案する。 TIPSは精度、シフト一貫性、シフト忠実度で一貫したパフォーマンス向上をもたらす。
• 参考スコア（独自算出の注目度）: 14.731788603429774
• License:
• Abstract: Downsampling operators break the shift invariance of convolutional neural networks (CNNs) and this affects the robustness of features learned by CNNs when dealing with even small pixel-level shift. Through a large-scale correlation analysis framework, we study shift invariance of CNNs by inspecting existing downsampling operators in terms of their maximum-sampling bias (MSB), and find that MSB is negatively correlated with shift invariance. Based on this crucial insight, we propose a learnable pooling operator called Translation Invariant Polyphase Sampling (TIPS) and two regularizations on the intermediate feature maps of TIPS to reduce MSB and learn translation-invariant representations. TIPS can be integrated into any CNN and can be trained end-to-end with marginal computational overhead. Our experiments demonstrate that TIPS results in consistent performance gains in terms of accuracy, shift consistency, and shift fidelity on multiple benchmarks for image classification and semantic segmentation compared to previous methods and also leads to improvements in adversarial and distributional robustness. TIPS results in the lowest MSB compared to all previous methods, thus explaining our strong empirical results.
• Abstract（参考訳）: ダウンサンプリング演算子は、畳み込みニューラルネットワーク(CNN)のシフト不変性を破り、小さなピクセルレベルのシフトを扱う際にも、CNNによって学習された機能の堅牢性に影響を与える。 大規模相関分析フレームワークを用いて,既存のダウンサンプリング演算子を最大サンプリングバイアス(MSB)で検証し,MSBがシフト不変性と負の相関関係があることを見出した。 この重要な知見に基づいて,翻訳不変多相サンプリング (TIPS) と呼ばれる学習可能なプーリング演算子とTIPSの中間特徴写像上の2つの正規化を提案し,MSBの削減と翻訳不変表現の学習を行う。 TIPSは任意のCNNに統合することができ、限界計算オーバーヘッドでエンドツーエンドにトレーニングすることができる。 画像分類とセマンティックセマンティックセグメンテーションのための複数のベンチマークにおいて, 精度, シフト整合性, シフト忠実度の観点からTIPSが一貫した性能向上をもたらすことを示すとともに, 対向的および分布的ロバスト性の向上をもたらすことを示した。 TIPSは従来の手法と比較してMSBが低い結果となり,強い経験結果が得られた。

関連論文リスト

• PseudoNeg-MAE: Self-Supervised Point Cloud Learning using Conditional Pseudo-Negative Embeddings [55.55445978692678]
  PseudoNeg-MAEは,ポイントマスク自動エンコーダのグローバルな特徴表現を強化する,自己教師型学習フレームワークである。 PseudoNeg-MAE は ModelNet40 と ScanObjectNN のデータセット上で最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2024-09-24T07:57:21Z)
• A Probabilistic Approach to Learning the Degree of Equivariance in Steerable CNNs [5.141137421503899]
  ステアブル畳み込みニューラルネットワーク(SCNN)は、幾何学的対称性をモデル化することによってタスク性能を向上させる。 しかし、未知あるいは様々な対称性は、過剰に制約された重量と性能を低下させる可能性がある。 本稿では,SCNNの等価度を学習するための確率的手法を提案する。
  論文  参考訳（メタデータ） (2024-06-06T10:45:19Z)
• Investigating Shift Equivalence of Convolutional Neural Networks in Industrial Defect Segmentation [3.843350895842836]
  産業欠陥分割タスクでは、モデルの出力整合性(等価性とも呼ばれる)がしばしば見過ごされる。 CNNにおける従来のサンプリングレイヤの代替として,コンポーネントアテンション多相サンプリング(CAPS)と呼ばれる新しいダウン/アップサンプリング層が提案されている。 マイクロサーフェス欠陥(MSD)データセットと4つの実世界の産業的欠陥データセットの実験結果から,提案手法は高い等価性とセグメンテーション性能を示すことが示された。
  論文  参考訳（メタデータ） (2023-09-29T00:04:47Z)
• SO(2) and O(2) Equivariance in Image Recognition with Bessel-Convolutional Neural Networks [63.24965775030674]
  この研究はベッセル畳み込みニューラルネットワーク(B-CNN)の開発を示す B-CNNは、ベッセル関数に基づく特定の分解を利用して、画像とフィルタの間のキー操作を変更する。 他の手法と比較して,B-CNNの性能を評価するために検討を行った。
  論文  参考訳（メタデータ） (2023-04-18T18:06:35Z)
• Deep Neural Networks with Efficient Guaranteed Invariances [77.99182201815763]
  我々は、性能改善の問題、特にディープニューラルネットワークのサンプル複雑性に対処する。 群同変畳み込みは同変表現を得るための一般的なアプローチである。 本稿では,各ストリームが異なる変換に不変なマルチストリームアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-03-02T20:44:45Z)
• Improving the Sample-Complexity of Deep Classification Networks with Invariant Integration [77.99182201815763]
  変換によるクラス内分散に関する事前知識を活用することは、ディープニューラルネットワークのサンプル複雑性を改善するための強力な方法である。 そこで本研究では,アプリケーションの複雑な問題に対処するために,プルーニング法に基づく新しい単項選択アルゴリズムを提案する。 本稿では,Rotated-MNIST,SVHN,CIFAR-10データセットにおけるサンプルの複雑さの改善について述べる。
  論文  参考訳（メタデータ） (2022-02-08T16:16:11Z)
• Implicit Equivariance in Convolutional Networks [1.911678487931003]
  IEN(Implicitly Equivariant Networks)は標準CNNモデルの異なる層で同変を誘導する。 IENは、高速な推論速度を提供しながら、最先端の回転同変追跡法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2021-11-28T14:44:17Z)
• Truly shift-equivariant convolutional neural networks with adaptive polyphase upsampling [28.153820129486025]
  画像分類において、適応型多相ダウンサンプリング(APS-D)はCNNを完全に不変にするために最近提案されている。 本稿では,従来のアップサンプリングの非線形拡張であるaps-u(adaptive polyphase upsampling)を提案する。
  論文  参考訳（メタデータ） (2021-05-09T22:33:53Z)
• Sampling-free Variational Inference for Neural Networks with Multiplicative Activation Noise [51.080620762639434]
  サンプリングフリー変動推論のための後方近似のより効率的なパラメータ化を提案する。 提案手法は,標準回帰問題に対する競合的な結果をもたらし,大規模画像分類タスクに適している。
  論文  参考訳（メタデータ） (2021-03-15T16:16:18Z)
• Truly shift-invariant convolutional neural networks [0.0]
  近年の研究では、CNNの出力は入力の小さなシフトで大きく変化することが示されている。 本稿では,適応型多相サンプリング(APS)を提案する。これは,畳み込みニューラルネットワークが,シフト下での分類性能において100%整合性を実現するための,単純なサブサンプリング手法である。
  論文  参考訳（メタデータ） (2020-11-28T20:57:35Z)
• Learning Invariances in Neural Networks [51.20867785006147]
  ネットワークパラメータや拡張パラメータに関して,拡張性よりも分布をパラメータ化し,トレーニング損失を同時に最適化する方法を示す。 画像分類,回帰,セグメンテーション,分子特性予測における不均一性の正確なセットと範囲を,拡張の広い空間から復元することができる。
  論文  参考訳（メタデータ） (2020-10-22T17:18:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。