論文の概要: How deep convolutional neural networks lose spatial information with training

• arxiv url: http://arxiv.org/abs/2210.01506v1
• Date: Tue, 4 Oct 2022 10:21:03 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-05 13:40:01.433627
• Title: How deep convolutional neural networks lose spatial information with training
• Title（参考訳）: 深層畳み込みニューラルネットワークがトレーニングで空間情報を失う方法
• Authors: Umberto M. Tomasini, Leonardo Petrini, Francesco Cagnetta, Matthieu Wyart
• Abstract要約: 画像の微分同相性に対する安定性は, 前半の空間プール, 後半のチャネルプールによって達成されることを示す。 ノイズに対する感度の上昇は、ReLUユニットによって修正された後、プール中に発生する摂動騒音によるものである。
• 参考スコア（独自算出の注目度）: 0.7328100870402177
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A central question of machine learning is how deep nets manage to learn tasks in high dimensions. An appealing hypothesis is that they achieve this feat by building a representation of the data where information irrelevant to the task is lost. For image datasets, this view is supported by the observation that after (and not before) training, the neural representation becomes less and less sensitive to diffeomorphisms acting on images as the signal propagates through the net. This loss of sensitivity correlates with performance, and surprisingly correlates with a gain of sensitivity to white noise acquired during training. These facts are unexplained, and as we demonstrate still hold when white noise is added to the images of the training set. Here, we (i) show empirically for various architectures that stability to image diffeomorphisms is achieved by spatial pooling in the first half of the net, and by channel pooling in the second half, (ii) introduce a scale-detection task for a simple model of data where pooling is learned during training, which captures all empirical observations above and (iii) compute in this model how stability to diffeomorphisms and noise scale with depth. The scalings are found to depend on the presence of strides in the net architecture. We find that the increased sensitivity to noise is due to the perturbing noise piling up during pooling, after being rectified by ReLU units.
• Abstract（参考訳）: 機械学習における中心的な問題は、ディープネットが高次元のタスクをどのように学習するかである。 魅力的な仮説は、タスクに関係のない情報が失われるデータの表現を構築することで、この成果を達成することである。 画像データセットの場合、この見解は、トレーニング後に、信号がネットを介して伝播するときに画像に作用する微分同相に対して神経表現が次第に敏感になるという観察によって支持される。 この感度の喪失は性能と相関し、トレーニング中に取得したホワイトノイズに対する感度の上昇と驚くほど相関する。 これらの事実は説明がつかず、トレーニングセットのイメージに白色のノイズが加えられた時点では、まだ証明されていない。 ここでは (i) 画像の微分同相性に対する安定性は, ネットの前半に空間プール, 後半にチャネルプールによって達成される, 様々なアーキテクチャを実証的に示す。 (二)トレーニング中にプールを学習する簡単なデータモデルのためのスケール検出タスクを導入し、上記の経験的観察をすべて捉え、 (iii) このモデルにおいて、微分同相写像に対する安定性と深さによる雑音スケールを計算する。 スケーリングは、netアーキテクチャにおけるstridesの存在に依存することが分かる。 ノイズに対する感度の上昇は、ReLUユニットによって修正された後、プール中に発生する摂動騒音によるものである。

関連論文リスト

• Localized Gaussians as Self-Attention Weights for Point Clouds Correspondence [92.07601770031236]
  本稿では,エンコーダのみのトランスフォーマーアーキテクチャのアテンションヘッドにおける意味的意味パターンについて検討する。 注意重みの修正はトレーニングプロセスの促進だけでなく,最適化の安定性の向上にも寄与する。
  論文  参考訳（メタデータ） (2024-09-20T07:41:47Z)
• Assessing Neural Network Representations During Training Using Noise-Resilient Diffusion Spectral Entropy [55.014926694758195]
  ニューラルネットワークにおけるエントロピーと相互情報は、学習プロセスに関する豊富な情報を提供する。 データ幾何を利用して基礎となる多様体にアクセスし、これらの情報理論測度を確実に計算する。 本研究は,高次元シミュレーションデータにおける固有次元と関係強度の耐雑音性の測定結果である。
  論文  参考訳（メタデータ） (2023-12-04T01:32:42Z)
• Generalization in diffusion models arises from geometry-adaptive harmonic representations [21.384922363202335]
  画像復調のために訓練されたディープニューラルネットワーク(DNN)は、スコアベースの逆拡散アルゴリズムを用いて高品質なサンプルを生成することができる。 トレーニングセットの記憶に関する最近の報告は、これらのネットワークがデータの「真の」連続密度を学習しているかどうかという疑問を提起している。 データセットの重複しない部分集合でトレーニングされた2つのDNNは、ほぼ同じスコア関数を学習し、したがってトレーニング画像の数が十分に大きい場合、同じ密度を学習する。
  論文  参考訳（メタデータ） (2023-10-04T03:30:32Z)
• Ambiguity in solving imaging inverse problems with deep learning based operators [0.0]
  大規模な畳み込みニューラルネットワークは、画像分解のためのツールとして広く利用されている。 画像の劣化は, 逆問題として数学的にモデル化され, ノイズがデータに与える影響を近似することは困難である。 本稿では,深層学習に基づく画像の復号化に多くの精度を損なうことなく,安定性を向上する手法を提案する。
  論文  参考訳（メタデータ） (2023-05-31T12:07:08Z)
• Deep Semantic Statistics Matching (D2SM) Denoising Network [70.01091467628068]
  本稿では,Deep Semantic Statistics Matching (D2SM) Denoising Networkを紹介する。 事前訓練された分類ネットワークの意味的特徴を利用して、意味的特徴空間における明瞭な画像の確率的分布と暗黙的に一致させる。 識別画像のセマンティックな分布を学習することで,ネットワークの認知能力を大幅に向上させることを実証的に見出した。
  論文  参考訳（メタデータ） (2022-07-19T14:35:42Z)
• Learning sparse features can lead to overfitting in neural networks [9.2104922520782]
  機能学習は遅延トレーニングよりもパフォーマンスが良くないことを示す。 空間性は異方性データの学習に不可欠であることが知られているが、対象関数が一定あるいは滑らかな場合に有害である。
  論文  参考訳（メタデータ） (2022-06-24T14:26:33Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Stereopagnosia: Fooling Stereo Networks with Adversarial Perturbations [71.00754846434744]
  知覚不能な加法的摂動は,差分マップを著しく変更できることを示す。 敵データ拡張に使用すると、我々の摂動はより堅牢なトレーニングされたモデルをもたらすことを示す。
  論文  参考訳（メタデータ） (2020-09-21T19:20:09Z)
• Identity Enhanced Residual Image Denoising [61.75610647978973]
  我々は、アイデンティティマッピングモジュールのチェーンと、画像の復号化のための残像アーキテクチャの残像からなる、完全な畳み込みネットワークモデルを学ぶ。 提案するネットワークは,従来の最先端・CNNアルゴリズムよりも極めて高い数値精度と画像品質を実現している。
  論文  参考訳（メタデータ） (2020-04-26T04:52:22Z)
• Extracting dispersion curves from ambient noise correlations using deep learning [1.0237120900821557]
  本研究では,表面波の分散曲線の位相を分類する機械学習手法を提案する。 受信機のアレイで観測された表面の標準FTAN解析を画像に変換する。 我々は、教師付き学習目標を備えた畳み込みニューラルネットワーク(U-net)アーキテクチャを使用し、伝達学習を取り入れる。
  論文  参考訳（メタデータ） (2020-02-05T23:41:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。