論文の概要: What Do Neural Networks Learn When Trained With Random Labels?

• arxiv url: http://arxiv.org/abs/2006.10455v2
• Date: Wed, 11 Nov 2020 16:12:56 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-19 12:38:05.639459
• Title: What Do Neural Networks Learn When Trained With Random Labels?
• Title（参考訳）: ランダムラベルでトレーニングすると、ニューラルネットワークは何を学ぶのか?
• Authors: Hartmut Maennel and Ibrahim Alabdulmohsin and Ilya Tolstikhin and Robert J. N. Baldock and Olivier Bousquet and Sylvain Gelly and Daniel Keysers
• Abstract要約: 我々は、完全にランダムなラベルを持つ自然画像データに基づいて訓練されたディープニューラルネットワーク(DNN)について研究する。 ネットワークパラメータとデータの主成分間のアライメントをランダムラベルでトレーニングする場合に行う畳み込みネットワークと完全連結ネットワークを解析的に示す。 ランダムラベルで事前トレーニングされたネットワークは、スクラッチからのトレーニングに比べて、下流でのトレーニングを高速化する。
• 参考スコア（独自算出の注目度）: 20.54410239839646
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study deep neural networks (DNNs) trained on natural image data with entirely random labels. Despite its popularity in the literature, where it is often used to study memorization, generalization, and other phenomena, little is known about what DNNs learn in this setting. In this paper, we show analytically for convolutional and fully connected networks that an alignment between the principal components of network parameters and data takes place when training with random labels. We study this alignment effect by investigating neural networks pre-trained on randomly labelled image data and subsequently fine-tuned on disjoint datasets with random or real labels. We show how this alignment produces a positive transfer: networks pre-trained with random labels train faster downstream compared to training from scratch even after accounting for simple effects, such as weight scaling. We analyze how competing effects, such as specialization at later layers, may hide the positive transfer. These effects are studied in several network architectures, including VGG16 and ResNet18, on CIFAR10 and ImageNet.
• Abstract（参考訳）: 我々は、完全にランダムなラベルを持つ自然画像データに基づいて訓練されたディープニューラルネットワーク(DNN)を研究する。 記憶、一般化、その他の現象を研究するためにしばしば使われる文学での人気にもかかわらず、DNNがこの環境で何を学ぶかについてはほとんど知られていない。 本稿では,ネットワークパラメータの主成分とデータとのアライメントがランダムラベルのトレーニング時に発生するような,畳み込みネットワークと完全連結ネットワークを解析的に示す。 このアライメント効果を,ランダムラベル付き画像データに事前学習し,その後,ランダムラベルまたは実ラベル付き不連続データセットに微調整することにより検討する。 ランダムラベルで事前訓練されたネットワークは、ウェイトスケーリングなどの単純な効果を考慮しても、スクラッチからのトレーニングに比べ、下流でのトレーニングを高速化する。 我々は,後続層での特殊化などの競合効果が正の伝達を隠蔽する可能性を解析する。 これらの効果は、CIFAR10とImageNet上のVGG16やResNet18などのネットワークアーキテクチャで研究されている。

関連論文リスト

• Training Convolutional Neural Networks with the Forward-Forward algorithm [1.74440662023704]
  Forward Forward (FF)アルゴリズムは、現在まで完全に接続されたネットワークでしか使われていない。 FFパラダイムをCNNに拡張する方法を示す。 我々のFF学習したCNNは、空間的に拡張された新しいラベリング手法を特徴とし、MNISTの手書き桁データセットにおいて99.16%の分類精度を実現している。
  論文  参考訳（メタデータ） (2023-12-22T18:56:35Z)
• Diffused Redundancy in Pre-trained Representations [98.55546694886819]
  事前訓練された表現で機能がどのようにコード化されているか、より詳しく見ていきます。 与えられた層における学習された表現は拡散冗長性を示す。 我々の発見は、事前訓練されたディープニューラルネットワークによって学習された表現の性質に光を当てた。
  論文  参考訳（メタデータ） (2023-05-31T21:00:50Z)
• Neural networks trained with SGD learn distributions of increasing complexity [78.30235086565388]
  勾配降下法を用いてトレーニングされたニューラルネットワークは、まず低次入力統計を用いて入力を分類する。 その後、トレーニング中にのみ高次の統計を利用する。 本稿では,DSBと他の単純度バイアスとの関係について論じ,学習における普遍性の原理にその意味を考察する。
  論文  参考訳（メタデータ） (2022-11-21T15:27:22Z)
• Reconstructing Training Data from Trained Neural Networks [42.60217236418818]
  いくつかのケースでは、トレーニングデータのかなりの部分が、実際にトレーニングされたニューラルネットワーク分類器のパラメータから再構成可能であることを示す。 本稿では,勾配に基づくニューラルネットワークの学習における暗黙バイアスに関する最近の理論的結果から,新たな再構成手法を提案する。
  論文  参考訳（メタデータ） (2022-06-15T18:35:16Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Background Invariant Classification on Infrared Imagery by Data Efficient Training and Reducing Bias in CNNs [1.2891210250935146]
  畳み込みニューラルネットワークは 画像中の物体を 正確に分類できます ネットワークの注意が常にシーンのセマンティックな重要な領域にあるとは限らないことはよく知られている。 我々は、赤外線画像とRGBデータの両方におけるCNNのバイアスを低減するために、textitsplit trainingと呼ばれる2段階のトレーニング手順を提案する。
  論文  参考訳（メタデータ） (2022-01-22T23:29:42Z)
• Understanding Feature Transfer Through Representation Alignment [45.35473578109525]
  異なるアーキテクチャによるニューラルネットワークのトレーニングや、ランダムなラベルや真のラベルの一般化は、隠れた表現とトレーニングラベルの同じ関係を強制する。 古典的な合成伝達問題において、アライメントが、類似および異種タスクへの正および負の転送の決定因子であることを示す。
  論文  参考訳（メタデータ） (2021-12-15T00:20:29Z)
• Redundant representations help generalization in wide neural networks [71.38860635025907]
  様々な最先端の畳み込みニューラルネットワークの最後に隠された層表現について検討する。 最後に隠された表現が十分に広ければ、そのニューロンは同一の情報を持つグループに分裂し、統計的に独立したノイズによってのみ異なる傾向にある。
  論文  参考訳（メタデータ） (2021-06-07T10:18:54Z)
• Variational models for signal processing with Graph Neural Networks [3.5939555573102853]
  本稿では,ニューラルネットワークを用いた点雲の信号処理について述べる。 本研究では,このようなグラフニューラルネットワークの変分モデルを用いて,教師なし学習のためのグラフ上の信号を処理する方法を検討する。
  論文  参考訳（メタデータ） (2021-03-30T13:31:11Z)
• Curriculum By Smoothing [52.08553521577014]
  畳み込みニューラルネットワーク(CNN)は、画像分類、検出、セグメンテーションなどのコンピュータビジョンタスクにおいて顕著な性能を示している。 アンチエイリアスフィルタやローパスフィルタを用いてCNNの機能埋め込みを円滑化するエレガントなカリキュラムベースのスキームを提案する。 トレーニング中に特徴マップ内の情報量が増加するにつれて、ネットワークはデータのより優れた表現を徐々に学習することができる。
  論文  参考訳（メタデータ） (2020-03-03T07:27:44Z)
• Analyzing Neural Networks Based on Random Graphs [77.34726150561087]
  様々なタイプのランダムグラフに対応するアーキテクチャを用いて,ニューラルネットワークの大規模評価を行う。 古典的な数値グラフ不変量は、それ自体が最良のネットワークを選び出すことができない。 また、主に短距離接続を持つネットワークは、多くの長距離接続が可能なネットワークよりも性能が良いことも見出した。
  論文  参考訳（メタデータ） (2020-02-19T11:04:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。