論文の概要: Radial Suppression Accelerates Algorithmic Generalization: A Geometric Analysis of Delayed Generalization

• arxiv url: http://arxiv.org/abs/2606.32000v1
• Date: Tue, 30 Jun 2026 17:34:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-01 18:27:19.328519
• Title: Radial Suppression Accelerates Algorithmic Generalization: A Geometric Analysis of Delayed Generalization
• Title（参考訳）: ラジアル抑圧はアルゴリズム一般化を加速する:遅延一般化の幾何学的解析
• Abstract要約: 本稿では、一般化が構造された低次元回路の発見を必要とするタスクにおいて、暗記-一般化遅延は、クロスエントロピー最適化の下で隠蔽表現の半径インフレーションによって引き起こされることを示す幾何学的ケーススタディを示す。 活性化空間力学の放射角分解を形式化し、(i)半径インフレーションのペナル化が異方性、データ依存的な重み規則化を誘導する、(ii)等方的ランダムベースラインの下の放射エネルギーを抑制し、主に角の更新を強制する、(iii)平坦なミニマに向けて収束をバイアスする、という3つの証明可能な命題を導出する。
• 参考スコア（独自算出の注目度）: 0.30586855806896046
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Why do neural networks memorize algorithmic training data long before they generalize? We present a geometric case study demonstrating that, on tasks where generalization requires discovering structured low-dimensional circuits, the memorization-generalization delay is driven by radial inflation of hidden representations under cross-entropy optimization. We formalize a radial-angular decomposition of activation-space dynamics and derive three testable propositions: (i) that penalizing radial inflation induces anisotropic, data-dependent weight regularization; (ii) that it suppresses radial gradient energy below the isotropic random baseline, forcing predominantly angular updates; and (iii) that it biases convergence toward flatter minima. To empirically validate these propositions, we study a single-hyperparameter norm penalty that softly constrains activations to a sqrt(d)-radius hypersphere. On modular arithmetic, this penalty accelerates grokking up to 6x across MLPs and Transformers, and halves training steps for a 10M-parameter nanoGPT on 3-digit addition.
• Abstract（参考訳）: なぜニューラルネットワークはアルゴリズムのトレーニングデータを一般化するずっと前に記憶するのか? 本稿では、一般化が構造された低次元回路の発見を必要とするタスクにおいて、暗記-一般化遅延は、クロスエントロピー最適化の下で隠蔽表現の半径インフレーションによって引き起こされることを示す幾何学的ケーススタディを示す。 活性化空間力学の半径角分解を形式化し、3つの証明可能な命題を導出する。 一 半径インフレーションのペナル化は、異方性、データ依存量正規化を誘導する。 (II)等方的ランダムベースライン以下の半径勾配エネルギーを抑え、主に角の更新を強制すること。 三 収束を平らなミニマに偏らせること。 これらの命題を実証的に検証するために、sqrt(d)-radiusハイパースフィアへのアクティベーションをソフトに制限する単一ハイパーパラメータノルムペナルティについて検討する。 モジュラー演算では、このペナルティはMPPとトランスフォーマーで最大6倍の速度で加速し、3桁の加算で10MパラメートルのナノGPTをトレーニングする。

関連論文リスト

• Across the Loss Landscape with Progressive Growth [51.366966420881646]
  成長を漸進的緩和と見なして、より平坦な地域に向けての訓練戦略がいかに成長・最適化されるかを示す。 制御されたおもちゃの流域や現実的なResNet/CI-100環境でこれらの予測を実証的に検証する。 プログレッシブな部分空間成長は、より平坦な解を確実に生成するが、曲率の低減は、普遍的にテスト性能の向上に変換されず、平坦性一般化接続における微妙さを強調している。
  論文  参考訳（メタデータ） (2026-08-25T13:50:48Z)
• Predicting When Random Low-Dimensional Reparameterizations Train Neural Networks [3.980892205755342]
  本稿では、曲率スペクトルと基準解の変位プロファイルの両方からランダムスライス残差を予測できる配向分解2次マスター式を提案する。 次にRandom Mapping Networks (RaMaN)を導入し, 予測潜在次元を, 構造化アダマールあるいはシード再生ガウス写像を用いてインスタンス化する。 RaMaNは、測定された遷移位置を追尾し、変位方向が重要となるとき、向きに依存しない近似を上回ります。
  論文  参考訳（メタデータ） (2026-08-12T21:09:54Z)
• A Stochastic--Geometric Theory of Scaling Laws in Grokking [6.109217901547081]
  遅延一般化(delayed generalization、egrokking)とは、ニューラルネットワークがトレーニングの初期にトレーニングデータに適合するが、長い遅延の後のみ一般化を開始する現象である。 まず、Adamの最適化力学と重み収縮正則化により誘導される到達可能な解空間のシェルコア位相構成を理論的に特徴づける。 次に、この位相配置の幾何学と最適化軌道が記憶多様体から逃れる解遷移時間を分析する。
  論文  参考訳（メタデータ） (2026-06-29T14:43:02Z)
• A Theory of Generalization in Deep Learning [0.0]
  本稿では、経験的ニューラルネットワークカーネルが出力空間を分割する深層学習における一般化の非漸近理論を提案する。 信号チャネル内において、ミニバッチSGDは、コヒーレント集団信号が高速な線形ドリフトを介して蓄積されることを保証する一方、慣用的暗記は遅く、拡散的なランダムウォークに抑制される。 この理論は、良心過剰、二重降下、暗黙の偏見、滑稽といった深層学習理論の異なる現象を自然に説明している。
  論文  参考訳（メタデータ） (2026-05-02T00:21:36Z)
• Adaptive regularization parameter selection for high-dimensional inverse problems: A Bayesian approach with Tucker low-rank constraints [1.6936594801109557]
  高次元空間からタッカー分解による低次元コアテンソル空間への変分推論を変換することにより、計算複雑性を低減する。 鍵となる革新は、異方性構造に対する適応正則化を可能にするモードごとの精度パラメータの導入である。 この手法は110,000の変数を持つ問題にスケールし、従来の手法を0.73-2.09dB、熱伝導率6.75dBで上回っている。
  論文  参考訳（メタデータ） (2026-03-17T02:23:44Z)
• Revisiting Zeroth-Order Optimization: Minimum-Variance Two-Point Estimators and Directionally Aligned Perturbations [57.179679246370114]
  乱摂動の分布は, 摂動段差がゼロになる傾向にあるため, 推定子の分散を最小限に抑える。 以上の結果から, 一定の長さを維持するのではなく, 真の勾配に方向を合わせることが可能であることが示唆された。
  論文  参考訳（メタデータ） (2025-10-22T19:06:39Z)
• Generalization Below the Edge of Stability: The Role of Data Geometry [60.147710896851045]
  安定性の限界以下で訓練されたReLUネットワークにおいて,データ幾何が一般化を制御するかを示す。 低次元球の混合に支持されるデータ分布について、本質的な次元に確実に適応する一般化境界を導出する。 文献に現れる異種の経験的所見を総合的に検討した。
  論文  参考訳（メタデータ） (2025-10-20T21:40:36Z)
• Mirror Descent and Novel Exponentiated Gradient Algorithms Using Trace-Form Entropies and Deformed Logarithms [17.422938130292827]
  本稿では,ミラー輝き(MD)と一般化指数勾配(GEG)アルゴリズムについて紹介する。 これらの一般化エントロピーを活用することで、MD & GEGアルゴリズムは収束挙動の改善、消滅と爆発勾配への堅牢性、非ユークリッド幾何学への固有の適応性をもたらす。
  論文  参考訳（メタデータ） (2025-03-11T10:50:07Z)
• NeuRBF: A Neural Fields Representation with Adaptive Radial Basis Functions [93.02515761070201]
  本稿では,信号表現に一般放射状基底を用いる新しいタイプのニューラルネットワークを提案する。 提案手法は, 空間適応性が高く, ターゲット信号により密着可能な, フレキシブルなカーネル位置と形状を持つ一般ラジアルベース上に構築する。 ニューラルラジアンス場再構成に適用した場合,本手法はモデルサイズが小さく,訓練速度が同等である最先端のレンダリング品質を実現する。
  論文  参考訳（メタデータ） (2023-09-27T06:32:05Z)
• Decomposed Diffusion Sampler for Accelerating Large-Scale Inverse Problems [64.29491112653905]
  本稿では, 拡散サンプリング法とクリロフ部分空間法を相乗的に組み合わせた, 新規で効率的な拡散サンプリング手法を提案する。 具体的には、ツイーディの公式による分母化標本における接空間がクリロフ部分空間を成すならば、その分母化データによるCGは、接空間におけるデータの整合性更新を確実に維持する。 提案手法は,従来の最先端手法よりも80倍以上高速な推論時間を実現する。
  論文  参考訳（メタデータ） (2023-03-10T07:42:49Z)
• Instance-Dependent Generalization Bounds via Optimal Transport [51.71650746285469]
  既存の一般化境界は、現代のニューラルネットワークの一般化を促進する重要な要因を説明することができない。 データ空間における学習予測関数の局所リプシッツ正則性に依存するインスタンス依存の一般化境界を導出する。 ニューラルネットワークに対する一般化境界を実験的に解析し、有界値が有意義であることを示し、トレーニング中の一般的な正規化方法の効果を捉える。
  論文  参考訳（メタデータ） (2022-11-02T16:39:42Z)
• Demystifying the Global Convergence Puzzle of Learning Over-parameterized ReLU Nets in Very High Dimensions [1.3401746329218014]
  本稿では,超次元データ学習という難解なシナリオにおいて,グローバル収束現象をデミステマイズするための厳密な理論に焦点をあてる。 この説の主な要素は、それがそれがそれが事実であるということであり、それがそれが事実であるということであり、それが事実であるということであり、それがそれが事実であるということであり、それがそれがそれがそれが事実であるということであるということである、というものである。
  論文  参考訳（メタデータ） (2022-06-05T02:14:21Z)
• Nonconvex Stochastic Scaled-Gradient Descent and Generalized Eigenvector Problems [98.34292831923335]
  オンライン相関解析の問題から,emphStochastic Scaled-Gradient Descent (SSD)アルゴリズムを提案する。 我々はこれらのアイデアをオンライン相関解析に適用し、局所収束率を正規性に比例した最適な1時間スケールのアルゴリズムを初めて導いた。
  論文  参考訳（メタデータ） (2021-12-29T18:46:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。