論文の概要: Structured Features Overfit Where Random Features Grok

• arxiv url: http://arxiv.org/abs/2609.15047v1
• Date: Mon, 14 Sep 2026 05:06:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 07:15:06.081578
• Title: Structured Features Overfit Where Random Features Grok
• Title（参考訳）: 構造的特徴はRandom機能に匹敵する
• Abstract要約: 構造化された特徴写像上では、同じ遅延が出現しないことを示す。 アクティブモードの数は、経験的グラム行列の教師重み付きスペクトルを介して作用する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Xu, Vardi and Safran (ICML 2026) prove that over-parameterized ridge regression over an unstructured random Gaussian feature map groks, with the delay between memorization and generalization growing as $1/λ$ in the weight decay. We show that on a structured feature map the same delay does not appear. For a band-limited Fourier feature map over $\mathbb{Z}_p^2$ carrying a single-character target that lies inside the expressible class, enlarging the band at fixed positive weight decay drives peak held-out accuracy monotonically from $1.00$ to $0.07$, with no memorize-then-generalize regime anywhere along the sweep. The degradation is not an interpolation effect. It sets in at capacity ratio $q/n = 0.638$, far below the interpolation threshold, on separate grounds from the exact null space that appears above it. What does have a sharp boundary is the active support. Holding the nominal dimension fixed and masking the band back to $1089$ active modes restores held-out accuracy of $1.000$ with zero variance across seeds, while the full $4225$-mode band collapses to $0.185$. The number of active modes acts through the teacher-weighted spectrum of the empirical Gram matrix and not through the capacity ratio, which makes this a statement about feature geometry and not a restatement of double descent.
• Abstract（参考訳）: Xu, Vardi and Safran (ICML 2026) は、非構造ランダムなガウス的特徴写像 groks 上の過度パラメータ化された尾根の回帰を証明し、暗記と一般化の間の遅延は重量崩壊において1/λ$まで増加することを示した。 構造化された特徴写像上では、同じ遅延が出現しないことを示す。 表現可能なクラスの中に1文字のターゲットを乗せた$\mathbb{Z}_p^2$上のバンド限定フーリエ特徴写像では、固定された正の重みの減衰でバンドを大きくすることで、ピーク保留精度を1.00$から0.07$に単調に駆動する。 劣化は補間効果ではない。 キャパシティ比は$q/n = 0.638$で、補間しきい値よりはるかに低い。 明確な境界があるのは、アクティブなサポートです。 名目上のディメンションを固定し、アクティブモードを1089ドルに戻すと、シード間のばらつきがゼロのホールドアウト精度が1.000ドル、フルの4225ドルモードのバンドは0.185ドルに崩壊する。 アクティブモードの数は経験的グラム行列の教師重み付きスペクトルで作用し、容量比では作用しない。

関連論文リスト

• Quantifying the Memorization-to-Generalization Transition: Scaling Laws and Phase Structure in Grokking [0.0]
  モジュラー算術上の 2 つの隠れた一般化の 384 構成に対して、0.8-to- Generalization 境界を写像する。 データ複雑性は、モデルキャパシティではなく、政権移行の主要な要因である。
  論文  参考訳（メタデータ） (2026-09-09T16:47:03Z)
• Constrained Online Learning with Noisy Constraint Values [55.29259818039367]
  一般的な実現可能性の下では、我々のLEDGERアルゴリズムは、期待される損失$O(sqrt T)と期待される予算違反$O(sqrtTlog(eT))を達成します。 スレーター条件、フィードバックチャネル間の独立性、絶対的制約値境界は不要である。
  論文  参考訳（メタデータ） (2026-09-07T01:38:41Z)
• Decay versus dephasing in Rydberg analog optimization: exchange rate, mechanism, and schedule design [0.05427878000393745]
  ノイズレスリドバーグ原子最適化はデコヒーレンスとデフォーカスの観点から研究されている。 一階摂動理論はノイズのない伝播だけで$$を再現する。 コストモデル全体がノイズを伴わないため、ノイズのないシミュレーションをすることなく、スケジュールをデバイスのチャネルミックスに調整することができる。
  論文  参考訳（メタデータ） (2026-08-30T15:41:02Z)
• Exact Quasiprobability Hierarchy of the Double-Morse Oscillator: From Potential Geometry to Operator Ordering [0.0]
  我々は、対称二重モード発振器の最低準エクサクサクサクサクタ基底状態の正確な表現整合解析を開発する。 ダブルモースポテンシャルでは、次元のないパラメータ$A$がミニマと中心障壁の分離を制御する。 A$が同じ非ガウス的および非古典的状態が相補表現で解決されるかを制御することを示す。
  論文  参考訳（メタデータ） (2026-08-24T14:33:31Z)
• SANE: State Anomaly Neutralization for Stable Extreme-Context Delta-Rule Models [53.86918766240095]
  Delta-Ruleリカレントモデルは固定サイズの状態を維持しており、$O(1)$の推論メモリが可能であるが、極端なコンテキスト外挿では不安定になる可能性がある。 我々は,チャンク内並列構造を保ちながら,チャンク境界における適応$tanh$圧縮を適用したtextbfState Anomaly Neutralization (SANE)を提案する。
  論文  参考訳（メタデータ） (2026-08-23T10:41:07Z)
• How Neural Reward Models Learn Features for Policy Optimization: A Single-Index Analysis [53.063298916923976]
  r*(x) = *(langle *, xrangle)$ と $x sim N(0, I_d)$ でガウスの単一インデックスモデルでフィードバックを研究する。 まず、報酬重み付きサンプルから隠れた方向を*$で学習し、次に重み付きリッジ回帰により読み出し層に適合する2段階のニューラル報酬モデルを分析する。
  論文  参考訳（メタデータ） (2026-05-23T22:00:38Z)
• Hidden-State Privacy Has an Empty Middle [51.56484100374058]
  すべてのフルランクガウス解放を$O(1)$ Fisher utility で表すと、マハラノビス信号が隠れた幅で直線的に成長する方向を認める。 スクラッチからトレーニングされたスプリットメモリトランスフォーマーは、[20, 33]$90MでG_mathrmMahに達し、固定言語損失ペナルティにおいて、30Mから1Bまでの同じ予算のGPTベースラインに対して6ドル～24ドルという優位性を維持する。
  論文  参考訳（メタデータ） (2026-05-21T20:12:09Z)
• Wavelet Variance Equipartition as a Threshold for World-Model Quality and Quantum Kernel TN-Simulability [0.0]
  我々はウェーブレットスケーリング指数$$を臨界診断として同定する。 振幅符号化された量子カーネルの古典的シミュラビリティのシャープな遷移境界として$=1/2$を確立する。 この分散は、厳密には$Var[X] = (d-2)$としてスケールする。
  論文  参考訳（メタデータ） (2026-05-12T05:41:12Z)
• Self-Normalized Martingales and Uniform Regret Bounds for Linear Regression [65.82017723631897]
  自己正規化マルティンガレのスケール不変上界が可能であることを示す。 通常の正規化ペナルティを含まない自己正規化濃度不等式を導出する。
  論文  参考訳（メタデータ） (2026-05-02T22:39:00Z)
• The Spectral Edge Thesis: A Mathematical Framework for Intra-Signal Phase Transitions in Neural Network Training [0.0]
  ニューラルネットワークトレーニングにおける位相遷移は,パラメータ更新の回転ウィンドウグラム行列のスペクトルギャップによって制御されることを示す。 adiabatic parameter $mathcalA = |G|_F / (, g2)$ control circuit stability: $mathcalA ll 1$ (plateau), $mathcalA sim 1$ (phase transition), $mathcalA gg 1$ (forgetting)
  論文  参考訳（メタデータ） (2026-03-30T20:10:22Z)
• Improved Algorithm for Adversarial Linear Mixture MDPs with Bandit Feedback and Unknown Transition [71.33787410075577]
  線形関数近似,未知遷移,および逆損失を用いた強化学習について検討した。 我々は高い確率で$widetildeO(dsqrtHS3K + sqrtHSAK)$ regretを実現する新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-03-07T15:03:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。