論文の概要: Data-Dependence of Plateau Phenomenon in Learning with Neural Network --- Statistical Mechanical Analysis

• arxiv url: http://arxiv.org/abs/2001.03371v1
• Date: Fri, 10 Jan 2020 10:17:08 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-12 22:46:19.023398
• Title: Data-Dependence of Plateau Phenomenon in Learning with Neural Network --- Statistical Mechanical Analysis
• Title（参考訳）: ニューラルネットワークを用いた学習におけるプラトー現象のデータ依存 ---統計力学的解析-
• Authors: Yuki Yoshida, Masato Okada
• Abstract要約: 学習の過程で損失値の減少が止まるプラトー現象は、様々な研究者によって報告されている。 本稿では,統計力学的定式化を用いて,高原現象と得られたデータの統計的特性との関係を明らかにする。
• 参考スコア（独自算出の注目度）: 5.299781502918034
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The plateau phenomenon, wherein the loss value stops decreasing during the process of learning, has been reported by various researchers. The phenomenon is actively inspected in the 1990s and found to be due to the fundamental hierarchical structure of neural network models. Then the phenomenon has been thought as inevitable. However, the phenomenon seldom occurs in the context of recent deep learning. There is a gap between theory and reality. In this paper, using statistical mechanical formulation, we clarified the relationship between the plateau phenomenon and the statistical property of the data learned. It is shown that the data whose covariance has small and dispersed eigenvalues tend to make the plateau phenomenon inconspicuous.
• Abstract（参考訳）: 学習過程で損失値の減少が止まる高原現象は、様々な研究者によって報告されている。 この現象は1990年代に積極的に検査され、ニューラルネットワークモデルの基本階層構造に起因することが判明した。 その後、この現象は避けられなくなった。 しかし、この現象は近年の深層学習の文脈ではほとんど起こらない。 理論と現実の間にはギャップがある。 本稿では,統計力学的定式化を用いて,台地現象と得られたデータの統計特性の関係を明らかにする。 共分散が小さく分散した固有値を持つデータは高原現象を目立たずにする傾向がある。

関連論文リスト

• Losing dimensions: Geometric memorization in generative diffusion [10.573546162574235]
  生成拡散における記憶理論を多様体支援データに拡張する。 理論的および実験的な結果から,異なる臨界時間における記憶効果とデータセットサイズにより,異なる部分空間が失われることが示唆された。 おそらく反故意に、ある条件下では、高い分散の部分空間は、暗記効果によって最初に失われることが分かる。
  論文  参考訳（メタデータ） (2024-10-11T11:31:20Z)
• Multiple Descents in Unsupervised Learning: The Role of Noise, Domain Shift and Anomalies [14.399035468023161]
  教師なし学習における二重の子孫の存在について検討するが、これはほとんど注目されず、まだ完全には理解されていない領域である。 我々は、合成データと実データを用いて、様々なアプリケーションに対してモデルワイド、エポックワイド、サンプルワイドの二重降下を識別する。
  論文  参考訳（メタデータ） (2024-06-17T16:24:23Z)
• Disentangling the Causes of Plasticity Loss in Neural Networks [55.23250269007988]
  可塑性の喪失は複数の独立したメカニズムに分解できることを示す。 種々の非定常学習タスクにおいて, 層正規化と重み劣化の組み合わせは, 可塑性維持に極めて有効であることを示す。
  論文  参考訳（メタデータ） (2024-02-29T00:02:33Z)
• Deep Machine Learning Reconstructing Lattice Topology with Strong Thermal Fluctuations [10.55785051508181]
  深部畳み込みニューラルネットワーク(CNN)は、強い熱ゆらぎと不均衡なデータの存在下で格子トポロジーを再構築した。 提案手法は,ノードのダイナミクスに関する知識を必要とする従来の手法と区別する。 我々は、未学習の初期スピン構成から進化したインスタンスを扱うためのCNNの一般化を公表する。
  論文  参考訳（メタデータ） (2022-08-08T13:28:21Z)
• Memorization-Dilation: Modeling Neural Collapse Under Label Noise [10.134749691813344]
  ディープニューラルネットワークをトレーニングする最終フェーズでは、同じクラスのすべての例の特徴埋め込みが単一の表現に崩壊する傾向にある。 経験的証拠は、ノイズのあるデータポイントの記憶が神経崩壊の劣化(拡散)を引き起こすことを示唆している。 実験により, ラベルの平滑化が正規化効果を生み出すために経験的に観察された交叉エントロピーの修正が, 分類タスクの一般化に繋がることを示す。
  論文  参考訳（メタデータ） (2022-06-11T13:40:37Z)
• Multi-scale Feature Learning Dynamics: Insights for Double Descent [71.91871020059857]
  一般化誤差の「二重降下」現象について検討する。 二重降下は、異なるスケールで学習される異なる特徴に起因する可能性がある。
  論文  参考訳（メタデータ） (2021-12-06T18:17:08Z)
• The Interplay Between Implicit Bias and Benign Overfitting in Two-Layer Linear Networks [51.1848572349154]
  ノイズの多いデータに完全に適合するニューラルネットワークモデルは、見当たらないテストデータにうまく一般化できる。 我々は,2層線形ニューラルネットワークを2乗損失の勾配流で補間し,余剰リスクを導出する。
  論文  参考訳（メタデータ） (2021-08-25T22:01:01Z)
• Gradient Starvation: A Learning Proclivity in Neural Networks [97.02382916372594]
  グラディエント・スターベーションは、タスクに関連する機能のサブセットのみをキャプチャすることで、クロスエントロピー損失を最小化するときに発生する。 この研究は、ニューラルネットワークにおけるそのような特徴不均衡の出現に関する理論的説明を提供する。
  論文  参考訳（メタデータ） (2020-11-18T18:52:08Z)
• Vulnerability Under Adversarial Machine Learning: Bias or Variance? [77.30759061082085]
  本研究では,機械学習が訓練された深層ニューラルネットワークのバイアスと分散に与える影響について検討する。 我々の分析は、ディープニューラルネットワークが対向的摂動下で性能が劣っている理由に光を当てている。 本稿では,計算処理の複雑さをよく知られた機械学習手法よりも低く抑えた,新しい逆機械学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-08-01T00:58:54Z)
• On Disentangled Representations Learned From Correlated Data [59.41587388303554]
  相関データに対する最も顕著な絡み合うアプローチの挙動を解析することにより、現実のシナリオにギャップを埋める。 本研究では,データセットの体系的相関が学習され,潜在表現に反映されていることを示す。 また、トレーニング中の弱い監督や、少数のラベルで事前訓練されたモデルを修正することで、これらの潜伏相関を解消する方法を実証する。
  論文  参考訳（メタデータ） (2020-06-14T12:47:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。