論文の概要: Gradient Descent Robustly Learns the Intrinsic Dimension of Data in Training Convolutional Neural Networks

• arxiv url: http://arxiv.org/abs/2504.08628v1
• Date: Fri, 11 Apr 2025 15:29:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-14 14:20:07.514964
• Title: Gradient Descent Robustly Learns the Intrinsic Dimension of Data in Training Convolutional Neural Networks
• Title（参考訳）: 畳み込みニューラルネットワークの学習における本質的なデータ次元の学習
• Authors: Chenyang Zhang, Peifeng Gao, Difan Zou, Yuan Cao,
• Abstract要約: 勾配降下法により訓練された畳み込みニューラルネットワーク(CNN)のランクについて検討した。 比較的大きな背景雑音が存在するにもかかわらず、勾配降下により訓練されたCNNがクリーン画像の本質的な次元を学習できることを実証する。
• 参考スコア（独自算出の注目度）: 25.691362553629588
• License:
• Abstract: Modern neural networks are usually highly over-parameterized. Behind the wide usage of over-parameterized networks is the belief that, if the data are simple, then the trained network will be automatically equivalent to a simple predictor. Following this intuition, many existing works have studied different notions of "ranks" of neural networks and their relation to the rank of data. In this work, we study the rank of convolutional neural networks (CNNs) trained by gradient descent, with a specific focus on the robustness of the rank to image background noises. Specifically, we point out that, when adding background noises to images, the rank of the CNN trained with gradient descent is affected far less compared with the rank of the data. We support our claim with a theoretical case study, where we consider a particular data model to characterize low-rank clean images with added background noises. We prove that CNNs trained by gradient descent can learn the intrinsic dimension of clean images, despite the presence of relatively large background noises. We also conduct experiments on synthetic and real datasets to further validate our claim.
• Abstract（参考訳）: 現代のニューラルネットワークは通常、過度にパラメータ化されている。 過度にパラメータ化されたネットワークが広く使われている背景には、データが単純であれば、トレーニングされたネットワークは、自動的に単純な予測器と等価である、という信念がある。 この直観に続いて、多くの既存の研究は、ニューラルネットワークの「ランク」の異なる概念と、それらのデータのランクとの関係を研究してきた。 本研究では、勾配降下により訓練された畳み込みニューラルネットワーク(CNN)のランクについて検討し、背景雑音に対する階調の堅牢性に着目した。 具体的には、画像に背景雑音を加えると、勾配降下で訓練されたCNNのランクが、データのランクよりもはるかに小さいことが指摘される。 理論的ケーススタディでは,背景雑音を付加した低ランククリーンイメージを特徴付ける特定のデータモデルを検討する。 比較的大きな背景雑音が存在するにもかかわらず、勾配降下により訓練されたCNNがクリーン画像の本質的な次元を学習できることを実証する。 また、我々の主張をさらに検証するために、合成データセットと実データセットの実験も行います。

関連論文リスト

• Opening the Black Box: predicting the trainability of deep neural networks with reconstruction entropy [0.0]
  本稿では,ディープフィードフォワードニューラルネットワーク(DNN)のパラメータ空間におけるトレーニング可能な状態予測手法を提案する。 トレーニングの1つのエポックは、データセットの幅でディープフィードフォワードネットワークのトレーニング可能性を予測するのに十分であることを示す。
  論文  参考訳（メタデータ） (2024-06-13T18:00:05Z)
• Implicit Bias of Gradient Descent for Two-layer ReLU and Leaky ReLU Networks on Nearly-orthogonal Data [66.1211659120882]
  好ましい性質を持つ解に対する暗黙の偏見は、勾配に基づく最適化によって訓練されたニューラルネットワークがうまく一般化できる重要な理由であると考えられている。 勾配流の暗黙バイアスは、均質ニューラルネットワーク(ReLUやリークReLUネットワークを含む)に対して広く研究されているが、勾配降下の暗黙バイアスは現在、滑らかなニューラルネットワークに対してのみ理解されている。
  論文  参考訳（メタデータ） (2023-10-29T08:47:48Z)
• Neural networks trained with SGD learn distributions of increasing complexity [78.30235086565388]
  勾配降下法を用いてトレーニングされたニューラルネットワークは、まず低次入力統計を用いて入力を分類する。 その後、トレーニング中にのみ高次の統計を利用する。 本稿では,DSBと他の単純度バイアスとの関係について論じ,学習における普遍性の原理にその意味を考察する。
  論文  参考訳（メタデータ） (2022-11-21T15:27:22Z)
• How deep convolutional neural networks lose spatial information with training [0.7328100870402177]
  画像の微分同相性に対する安定性は, 前半の空間プール, 後半のチャネルプールによって達成されることを示す。 ノイズに対する感度の上昇は、ReLUユニットによって修正された後、プール中に発生する摂動騒音によるものである。
  論文  参考訳（メタデータ） (2022-10-04T10:21:03Z)
• Reconstructing Training Data from Trained Neural Networks [42.60217236418818]
  いくつかのケースでは、トレーニングデータのかなりの部分が、実際にトレーニングされたニューラルネットワーク分類器のパラメータから再構成可能であることを示す。 本稿では,勾配に基づくニューラルネットワークの学習における暗黙バイアスに関する最近の理論的結果から,新たな再構成手法を提案する。
  論文  参考訳（メタデータ） (2022-06-15T18:35:16Z)
• Neural Maximum A Posteriori Estimation on Unpaired Data for Motion Deblurring [87.97330195531029]
  本稿では、ニューラルネットワークをトレーニングし、失明したデータから視覚情報や鋭いコンテンツを復元するためのニューラルネットワークの最大Aポストエリオリ(NeurMAP)推定フレームワークを提案する。 提案されたNeurMAPは、既存のデブロアリングニューラルネットワークに対するアプローチであり、未使用データセット上のイメージデブロアリングネットワークのトレーニングを可能にする最初のフレームワークである。
  論文  参考訳（メタデータ） (2022-04-26T08:09:47Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• What Do Neural Networks Learn When Trained With Random Labels? [20.54410239839646]
  我々は、完全にランダムなラベルを持つ自然画像データに基づいて訓練されたディープニューラルネットワーク(DNN)について研究する。 ネットワークパラメータとデータの主成分間のアライメントをランダムラベルでトレーニングする場合に行う畳み込みネットワークと完全連結ネットワークを解析的に示す。 ランダムラベルで事前トレーニングされたネットワークは、スクラッチからのトレーニングに比べて、下流でのトレーニングを高速化する。
  論文  参考訳（メタデータ） (2020-06-18T12:07:22Z)
• The Neural Tangent Link Between CNN Denoisers and Non-Local Filters [4.254099382808598]
  畳み込みニューラルネットワーク(CNN)は現在、計算画像問題を解決するための確立されたツールである。 ニューラルネットワークタンジェント(NTK)とよく知られた非局所フィルタリング技術によるネットワーク間の公式なリンクを導入する。 本研究は,広範囲な画像復号化実験により評価した。
  論文  参考訳（メタデータ） (2020-06-03T16:50:54Z)
• Compressive sensing with un-trained neural networks: Gradient descent finds the smoothest approximation [60.80172153614544]
  訓練されていない畳み込みニューラルネットワークは、画像の回復と復元に非常に成功したツールとして登場した。 トレーニングされていない畳み込みニューラルネットワークは、ほぼ最小限のランダムな測定値から、十分に構造化された信号や画像を概ね再構成可能であることを示す。
  論文  参考訳（メタデータ） (2020-05-07T15:57:25Z)
• Curriculum By Smoothing [52.08553521577014]
  畳み込みニューラルネットワーク(CNN)は、画像分類、検出、セグメンテーションなどのコンピュータビジョンタスクにおいて顕著な性能を示している。 アンチエイリアスフィルタやローパスフィルタを用いてCNNの機能埋め込みを円滑化するエレガントなカリキュラムベースのスキームを提案する。 トレーニング中に特徴マップ内の情報量が増加するにつれて、ネットワークはデータのより優れた表現を徐々に学習することができる。
  論文  参考訳（メタデータ） (2020-03-03T07:27:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。