論文の概要: The Accuracy Well: Nonmonotone Accuracy Dynamics at Vanishing Initialization

• arxiv url: http://arxiv.org/abs/2610.20439v1
• Date: Wed, 14 Oct 2026 16:28:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:16.252097
• Title: The Accuracy Well: Nonmonotone Accuracy Dynamics at Vanishing Initialization
• Title（参考訳）: 精度井戸:消滅初期化における非モノトン精度ダイナミクス
• Abstract要約: 分類力学を研究し,その精度をよく呼ぶ非単調な非単調な精度を同定する。 我々は、この現象を、深い線形ネットワーク、MNIST上の完全連結ReLUネットワーク、CIFAR-10上の深部畳み込みネットワーク、および制御された合成タスクで観察する。 単純な合成分類タスクでは、精度100%に上昇し、0に崩壊し、後に100%に回復する極端なケースを証明します。
• 参考スコア（独自算出の注目度）: 16.079947052768205
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study classification dynamics under small initialization and identify a pronounced non-monotone behavior of accuracy that we call the accuracy well: accuracy rises rapidly early in training, subsequently drops, and only much later recovers. We observe this phenomenon in deep linear networks, fully connected ReLU networks on MNIST, deep convolutional networks on CIFAR-10, and controlled synthetic tasks, across different losses and optimizers and in both training and test accuracy. We propose a three-stage explanation in terms of target-driven organization, a degeneracy bottleneck, and subsequent recruitment and recovery. We develop a rigorous theory of these dynamics for shallow and deep linear networks, showing in particular that high accuracy can emerge while the predictor and the change in loss remain asymptotically vanishing, before continued optimization causes accuracy to deteriorate. For a simple synthetic classification task, we prove an extreme instance in which accuracy asymptotically rises to 100%, collapses to 0, and later recovers permanently to 100%. Our results show that classification accuracy can reveal aspects of learning dynamics that are not captured by the training loss alone.
• Abstract（参考訳）: 分類力学を小さな初期化下で研究し、精度の顕著な非単調な振る舞いを同定し、精度をよく呼ぶ: 精度は訓練の早い段階で急速に上昇し、その後、低下し、その後に回復する。 我々は、この現象を、深い線形ネットワーク、MNIST上の完全に接続されたReLUネットワーク、CIFAR-10上の深部畳み込みネットワーク、異なる損失とオプティマイザ、トレーニングとテストの精度で制御する合成タスクで観察する。 本稿では,目標主導型組織,創発的ボトルネック,その後の採用と回復の3段階的説明を提案する。 特に, 予測器と損失の変化が漸近的に消失し, 継続最適化が精度を低下させる前に, 高い精度で予測器と損失の変化が相変わらず現れることを示す。 単純な合成分類タスクでは、漸近的に100%に上昇し、0に崩壊し、後に100%に回復する極端なケースを証明します。 以上の結果から,学習障害のみに捕らわれない学習力学の側面を,分類精度によって明らかにすることができることがわかった。

関連論文リスト

• Predicting Deep Neural Network Training Outcomes from Early Training Telemetry [2.310157248304176]
  我々は,1つのトレーニングランの早期テレメトリが,他のランに言及することなく,そのランの最終的な結果を予測することができるかどうかを調査する。 23,788のトレーニングは、6つのアーキテクチャ/データセットの組み合わせにまたがって実行され、最初の5つのテレメトリのエポックだけが最終精度の回帰のためにR2 = 0.92-0.99を達成する。 これらの結果から,早期学習テレメトリは計算割当のための実用的な意思決定支援信号を提供する可能性が示唆された。
  論文  参考訳（メタデータ） (2026-08-04T14:13:21Z)
• The Forward-Forward Algorithm: Characterizing Training Behavior [0.0]
  フォワード・フォワードアルゴリズムは、フォワードパスとバックプロパゲーションによって使用されるバックパスではなく、2つのフォワードパスからなる代替学習手法である。 この研究は、フォワード・フォワードネットワークにおけるモデルとレイヤーの精度変化のダイナミクスを探求し、トレーニングが進むにつれて、内部挙動の機械的理解を追求する。
  論文  参考訳（メタデータ） (2025-04-15T14:30:18Z)
• What Do Learning Dynamics Reveal About Generalization in LLM Reasoning? [83.83230167222852]
  モデルの一般化動作は,事前記憶列車の精度と呼ばれるトレーニング指標によって効果的に特徴づけられることがわかった。 モデルの学習行動と一般化を結びつけることで、トレーニング戦略に目標とする改善を導くことができる。
  論文  参考訳（メタデータ） (2024-11-12T09:52:40Z)
• Dichotomy of Early and Late Phase Implicit Biases Can Provably Induce Grokking [81.57031092474625]
  Powerらによる最近の研究は、算術のタスクを学習する際の驚くべき"グロキング"現象を強調した。 ニューラルネットワークはまずトレーニングセットを“記憶”し、完全なトレーニング精度を持つが、ほぼランダムなテスト精度を実現する。 本論文は, 理論設定におけるグルーキング現象を考察し, 初期および後期の暗黙バイアスの2分法により誘導可能であることを示す。
  論文  参考訳（メタデータ） (2023-11-30T18:55:38Z)
• Robust Learning via Persistency of Excitation [4.674053902991301]
  勾配勾配勾配を用いたネットワークトレーニングは力学系パラメータ推定問題と等価であることを示す。 極値理論を用いて対応するリプシッツ定数を推定する効率的な手法を提案する。 我々の手法は、様々な最先端の対数訓練モデルにおいて、対数精度を0.1%から0.3%に普遍的に向上させる。
  論文  参考訳（メタデータ） (2021-06-03T18:49:05Z)
• A Simple Fine-tuning Is All You Need: Towards Robust Deep Learning Via Adversarial Fine-tuning [90.44219200633286]
  我々は,$textitslow start, fast decay$ learning rate schedulingストラテジーに基づく,単純かつ非常に効果的な敵の微調整手法を提案する。 実験の結果,提案手法はCIFAR-10, CIFAR-100, ImageNetデータセットの最先端手法よりも優れていた。
  論文  参考訳（メタデータ） (2020-12-25T20:50:15Z)
• Gradient Starvation: A Learning Proclivity in Neural Networks [97.02382916372594]
  グラディエント・スターベーションは、タスクに関連する機能のサブセットのみをキャプチャすることで、クロスエントロピー損失を最小化するときに発生する。 この研究は、ニューラルネットワークにおけるそのような特徴不均衡の出現に関する理論的説明を提供する。
  論文  参考訳（メタデータ） (2020-11-18T18:52:08Z)
• Explicitly Trained Spiking Sparsity in Spiking Neural Networks with Backpropagation [7.952659059689134]
  スパイキングニューラルネットワーク(SNN)は、スパースでイベント駆動の計算によって生じる潜在的なエネルギー効率について検討されている。 本稿では,損失関数のスパイク数と従来の誤差損失とを明示的に含み,精度とスパイク間隔の両方の重みパラメータを最適化する手法を提案する。
  論文  参考訳（メタデータ） (2020-03-02T23:39:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。