論文の概要: Do CNNs Encode Data Augmentations?

• arxiv url: http://arxiv.org/abs/2003.08773v3
• Date: Wed, 27 Oct 2021 23:58:06 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-27 19:58:53.638971
• Title: Do CNNs Encode Data Augmentations?
• Title（参考訳）: CNNはデータ拡張をエンコードしているか?
• Authors: Eddie Yan and Yanping Huang
• Abstract要約: ニューラルネットワークのどの層が拡張変換の最も予測可能な層かを検討する。 驚くべきことに、ニューラルネットワークはデータ拡張変換を予測するだけでなく、高い精度で多くの変換を予測する。
• 参考スコア（独自算出の注目度）: 7.837188916803094
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Data augmentations are important ingredients in the recipe for training robust neural networks, especially in computer vision. A fundamental question is whether neural network features encode data augmentation transformations. To answer this question, we introduce a systematic approach to investigate which layers of neural networks are the most predictive of augmentation transformations. Our approach uses features in pre-trained vision models with minimal additional processing to predict common properties transformed by augmentation (scale, aspect ratio, hue, saturation, contrast, and brightness). Surprisingly, neural network features not only predict data augmentation transformations, but they predict many transformations with high accuracy. After validating that neural networks encode features corresponding to augmentation transformations, we show that these features are encoded in the early layers of modern CNNs, though the augmentation signal fades in deeper layers.
• Abstract（参考訳）: データ拡張は、堅牢なニューラルネットワーク、特にコンピュータビジョンのトレーニングのレシピにおいて重要な要素である。 根本的な問題は、ニューラルネットワークがデータ拡張変換をエンコードするかどうかである。 この質問に答えるために、ニューラルネットワークのどの層が拡張変換の最も予測されるかを調べるための体系的なアプローチを導入する。 提案手法では,事前学習した視覚モデルの特徴を最小の処理で活用し,拡張によって変換される共通特性(スケール,アスペクト比,色相,彩度,コントラスト,明るさ)を予測する。 驚くべきことに、ニューラルネットワークはデータ拡張変換を予測するだけでなく、高い精度で多くの変換を予測する。 ニューラルネットワークが拡張変換に対応する特徴を符号化していることを検証すると、これらの特徴が現代のCNNの初期層に符号化されていることを示す。

関連論文リスト

• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• Unleashing the Power of Depth and Pose Estimation Neural Networks by Designing Compatible Endoscopic Images [12.412060445862842]
  内視鏡画像の特性を詳細に解析し、画像とニューラルネットワークの互換性を改善する。 まず,完全な画像情報の代わりに部分的な画像情報を入力するMask Image Modelling (MIM) モジュールを導入する。 第2に、画像とニューラルネットワークの互換性を明確に向上させるために、内視鏡画像を強化する軽量ニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2023-09-14T02:19:38Z)
• A Scalable Walsh-Hadamard Regularizer to Overcome the Low-degree Spectral Bias of Neural Networks [79.28094304325116]
  任意の関数を学習するニューラルネットワークの能力にもかかわらず、勾配降下によって訓練されたモデルは、しばしばより単純な関数に対するバイアスを示す。 我々は、この低度周波数に対するスペクトルバイアスが、現実のデータセットにおけるニューラルネットワークの一般化を実際にいかに損なうかを示す。 本稿では,ニューラルネットワークによる高次周波数学習を支援する,スケーラブルな機能正規化手法を提案する。
  論文  参考訳（メタデータ） (2023-05-16T20:06:01Z)
• Neural networks trained with SGD learn distributions of increasing complexity [78.30235086565388]
  勾配降下法を用いてトレーニングされたニューラルネットワークは、まず低次入力統計を用いて入力を分類する。 その後、トレーニング中にのみ高次の統計を利用する。 本稿では,DSBと他の単純度バイアスとの関係について論じ,学習における普遍性の原理にその意味を考察する。
  論文  参考訳（メタデータ） (2022-11-21T15:27:22Z)
• A Faster Approach to Spiking Deep Convolutional Neural Networks [0.0]
  スパイキングニューラルネットワーク(SNN)は、現在のディープニューラルネットワークよりも脳に近いダイナミクスを持つ。 ネットワークのランタイムと精度を改善するために,従来の作業に基づくネットワーク構造を提案する。
  論文  参考訳（メタデータ） (2022-10-31T16:13:15Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• A Sparse Coding Interpretation of Neural Networks and Theoretical Implications [0.0]
  深層畳み込みニューラルネットワークは、様々なコンピュータビジョンタスクにおいて前例のない性能を達成した。 本稿では、ReLUアクティベーションを持つニューラルネットワークのスパース符号化解釈を提案する。 正規化やプーリングなしに完全な畳み込みニューラルネットワークを導出する。
  論文  参考訳（メタデータ） (2021-08-14T21:54:47Z)
• On Robustness and Transferability of Convolutional Neural Networks [147.71743081671508]
  現代の深層畳み込みネットワーク(CNN)は、分散シフトの下で一般化しないとしてしばしば批判される。 現代画像分類CNNにおける分布外と転送性能の相互作用を初めて検討した。 トレーニングセットとモデルサイズを増大させることで、分散シフトロバスト性が著しく向上することがわかった。
  論文  参考訳（メタデータ） (2020-07-16T18:39:04Z)
• Curriculum By Smoothing [52.08553521577014]
  畳み込みニューラルネットワーク(CNN)は、画像分類、検出、セグメンテーションなどのコンピュータビジョンタスクにおいて顕著な性能を示している。 アンチエイリアスフィルタやローパスフィルタを用いてCNNの機能埋め込みを円滑化するエレガントなカリキュラムベースのスキームを提案する。 トレーニング中に特徴マップ内の情報量が増加するにつれて、ネットワークはデータのより優れた表現を徐々に学習することができる。
  論文  参考訳（メタデータ） (2020-03-03T07:27:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。