論文の概要: Impact of Aliasing on Generalization in Deep Convolutional Networks

• arxiv url: http://arxiv.org/abs/2108.03489v1
• Date: Sat, 7 Aug 2021 17:12:03 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-10 15:45:20.763627
• Title: Impact of Aliasing on Generalization in Deep Convolutional Networks
• Title（参考訳）: 深層畳み込みネットワークの一般化に及ぼすエイリアシングの影響
• Authors: Cristina Vasconcelos, Hugo Larochelle, Vincent Dumoulin, Rob Romijnders, Nicolas Le Roux, Ross Goroshin
• Abstract要約: 深層畳み込みネットワークの一般化におけるエイリアスの影響について検討する。 キー位置で非トレーニング可能な低域通過フィルタを挿入することでエイリアスを緩和する方法を示す。
• 参考スコア（独自算出の注目度）: 29.41652467340308
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We investigate the impact of aliasing on generalization in Deep Convolutional Networks and show that data augmentation schemes alone are unable to prevent it due to structural limitations in widely used architectures. Drawing insights from frequency analysis theory, we take a closer look at ResNet and EfficientNet architectures and review the trade-off between aliasing and information loss in each of their major components. We show how to mitigate aliasing by inserting non-trainable low-pass filters at key locations, particularly where networks lack the capacity to learn them. These simple architectural changes lead to substantial improvements in generalization on i.i.d. and even more on out-of-distribution conditions, such as image classification under natural corruptions on ImageNet-C [11] and few-shot learning on Meta-Dataset [26]. State-of-the art results are achieved on both datasets without introducing additional trainable parameters and using the default hyper-parameters of open source codebases.
• Abstract（参考訳）: 深層畳み込みネットワークの一般化に対するエイリアシングの影響を調査し,広く使用されているアーキテクチャの構造上の制約により,データ拡張方式だけでは防止できないことを示した。 周波数解析理論からの洞察を引き合いに出し、resnet と efficientnet のアーキテクチャを詳しく調べ、それぞれの主要コンポーネントにおけるエイリアスと情報損失のトレードオフをレビューする。 特にネットワークが学習能力に欠ける場所で,訓練不能な低パスフィルタを重要箇所に挿入することにより,エイリアスを緩和する方法を示す。 これらの単純なアーキテクチャの変更は、i.i.d.の一般化に大きな改善をもたらす。 ImageNet-C [11] の自然汚職によるイメージ分類や Meta-Dataset [26] での少数ショット学習など,配布外条件もさらに強化されている。 最先端の成果は、トレーニング可能なパラメータの追加や、オープンソースのコードベースのデフォルトのハイパーパラメータを使用することなく、両方のデータセットで達成される。

関連論文リスト

• Component-based Sketching for Deep ReLU Nets [55.404661149594375]
  各種タスクのためのディープネットコンポーネントに基づくスケッチ手法を開発した。 我々はディープネットトレーニングを線形経験的リスク最小化問題に変換する。 提案したコンポーネントベーススケッチは飽和関数の近似においてほぼ最適であることを示す。
  論文  参考訳（メタデータ） (2024-09-21T15:30:43Z)
• An Enhanced Encoder-Decoder Network Architecture for Reducing Information Loss in Image Semantic Segmentation [6.596361762662328]
  残差接続により拡張された革新的なエンコーダ・デコーダネットワーク構造を導入する。 提案手法では,様々な画像スケールにまたがる複雑な情報保存を効果的に行うために,マルチレジデント接続戦略を採用している。 ネットワークトレーニングの収束率を高め,サンプルの不均衡問題を緩和するために,改良されたクロスエントロピー損失関数を考案した。
  論文  参考訳（メタデータ） (2024-05-26T05:15:53Z)
• Zero-shot generalization across architectures for visual classification [0.0]
  未確認データへの一般化はディープネットワークにとって重要なデシダータムであるが、その分類精度との関係は不明確である。 我々は、ディープ・コンボリューショナル・ネットワーク(CNN)からトランスフォーマー(transformer)に至るまで、一般的なネットワークが、レイヤやアーキテクチャ全体にわたって、目に見えないクラスに外挿する能力に変化があることを示します。
  論文  参考訳（メタデータ） (2024-02-21T19:45:05Z)
• Rotation Equivariant Proximal Operator for Deep Unfolding Methods in Image Restoration [62.41329042683779]
  本稿では, 回転対称性を組み込んだ高精度な回転同変近位ネットワークを提案する。 本研究は, 回転対称性の先行を深く展開する枠組みに効果的に組み込む, 高精度な回転同変近位ネットワークを提案する。
  論文  参考訳（メタデータ） (2023-12-25T11:53:06Z)
• Towards Architecture-Agnostic Untrained Network Priors for Image Reconstruction with Frequency Regularization [14.73423587548693]
  ネットワーク先行のスペクトルバイアスを直接変調する効率的なアーキテクチャ非依存手法を提案する。 ほんの数行のコードで、パフォーマンスの低いアーキテクチャでの過度な適合を減らし、パフォーマンスの低いアーキテクチャとパフォーマンスのギャップを埋めることができます。 その結果、アーキテクチャ上のバイアス、過度な適合、および未トレーニングのネットワークプリエントのランタイム上の問題に、アーキテクチャの変更なしに同時に対処できることが初めて明らかとなった。
  論文  参考訳（メタデータ） (2023-12-15T18:01:47Z)
• Distance Weighted Trans Network for Image Completion [52.318730994423106]
  本稿では,DWT(Distance-based Weighted Transformer)を利用した画像コンポーネント間の関係をよりよく理解するためのアーキテクチャを提案する。 CNNは、粗い事前の局所的なテクスチャ情報を強化するために使用される。 DWTブロックは、特定の粗いテクスチャやコヒーレントな視覚構造を復元するために使用される。
  論文  参考訳（メタデータ） (2023-10-11T12:46:11Z)
• Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
  画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。 本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。 本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
  論文  参考訳（メタデータ） (2023-03-16T21:06:13Z)
• SIRe-Networks: Skip Connections over Interlaced Multi-Task Learning and Residual Connections for Structure Preserving Object Classification [28.02302915971059]
  本稿では、オブジェクト分類タスクにおける消失勾配を低減するために、SIReを定義したインターレース型マルチタスク学習戦略を提案する。 提案手法は、自動エンコーダを介して入力画像構造を保存することにより、畳み込みニューラルネットワーク(CNN)を直接改善する。 提案手法を検証するため、SIRe戦略を介して単純なCNNと有名なネットワークの様々な実装を拡張し、CIFAR100データセットで広範囲にテストする。
  論文  参考訳（メタデータ） (2021-10-06T13:54:49Z)
• Generic Perceptual Loss for Modeling Structured Output Dependencies [78.59700528239141]
  トレーニングされた重みではなく、ネットワーク構造が重要であることを示す。 我々は、出力の構造化依存関係をモデル化するためにランダムに重み付けされたディープcnnが使用できることを実証する。
  論文  参考訳（メタデータ） (2021-03-18T23:56:07Z)
• An Effective Anti-Aliasing Approach for Residual Networks [27.962502376542588]
  周波数エイリアス(英: Frequency aliasing)とは、画像や特徴マップなどの信号のサブサンプリング時に発生する現象であり、サブサンプリング出力の歪みを引き起こす。 トレーニング不能なぼかしフィルタを配置し,キー位置でスムーズなアクティベーション関数を用いることで,この効果を緩和できることを示す。 これらの単純なアーキテクチャ変更は、ImageNet-C上の自然な汚職による画像分類とMeta-Datasetでの少数ショット学習の両方において、アウト・オブ・ディストリビューションの一般化を大幅に改善する。
  論文  参考訳（メタデータ） (2020-11-20T22:55:57Z)
• On Robustness and Transferability of Convolutional Neural Networks [147.71743081671508]
  現代の深層畳み込みネットワーク(CNN)は、分散シフトの下で一般化しないとしてしばしば批判される。 現代画像分類CNNにおける分布外と転送性能の相互作用を初めて検討した。 トレーニングセットとモデルサイズを増大させることで、分散シフトロバスト性が著しく向上することがわかった。
  論文  参考訳（メタデータ） (2020-07-16T18:39:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。