論文の概要: Scaling Laws from Sequential Feature Recovery: A Solvable Hierarchical Model

• arxiv url: http://arxiv.org/abs/2605.14567v1
• Date: Thu, 14 May 2026 08:37:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-15 21:45:34.726751
• Title: Scaling Laws from Sequential Feature Recovery: A Solvable Hierarchical Model
• Title（参考訳）: 逐次的特徴回復から法則をスケールする:解決可能な階層モデル
• Authors: Arie Wortsman-Zurich, Hugo Tabanelli, Yatin Dandi, Florent Krzakala, Bruno Loureiro,
• Abstract要約: 電力法則として重量が減少する潜在構成特徴の組み合わせで表されるグローバルな高次関数について検討した。 この構造に適応した層ワイドスペクトルアルゴリズムは、浅い非適応的な手法と比較してスケーリングの改善を実現する。 特徴量回復しきい値の鮮明さを証明し、これらの遷移を集約すると、予測誤差の明らかなパワーロッド崩壊が生じることを示す。
• 参考スコア（独自算出の注目度）: 23.79711176655533
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose a simple mechanism by which scaling laws emerge from feature learning in multi-layer networks. We study a high-dimensional hierarchical target that is a globally high-degree function, but that can be represented by a combination of latent compositional features whose weights decrease as a power law. We show that a layer-wise spectral algorithm adapted to this compositional structure achieves improved scaling relative to shallow, non-adaptive methods, and recovers the latent directions sequentially: strong features become detectable at small sample sizes, while weaker features require more data. We prove sharp feature-wise recovery thresholds and show that aggregating these transitions yields an explicit power-law decay of the prediction error. Technically, the analysis relies on random matrix methods and a resolvent-based perturbation argument, which gives matching upper and lower bounds for individual eigenvector recovery beyond what standard gap-based perturbation bounds provide. Numerical experiments confirm the predicted sequential recovery, finite-size smoothing of the thresholds, and separation from non-hierarchical kernel baselines. Together, these results show how smooth scaling laws can emerge from a cascade of sharp feature-learning transitions.
• Abstract（参考訳）: マルチ層ネットワークにおける特徴学習から,スケーリング法則が出現する単純なメカニズムを提案する。 グローバルな高次関数である高次元階層的対象について検討するが,重みが電力法則として減少する潜在構成特徴の組み合わせで表すことができる。 この構成構造に適応した層ワイドスペクトルアルゴリズムは、浅層・非適応的な手法に対するスケーリングの改善を実現し、遅延方向を逐次的に回復することを示し、より弱い特徴はより多くのデータを必要とする一方で、小さなサンプルサイズで強い特徴が検出可能であることを示す。 特徴量回復しきい値の鮮明さを証明し、これらの遷移を集約すると、予測誤差の明らかなパワーロッド崩壊が生じることを示す。 技術的には、この分析はランダム行列法とリゾルダーベースの摂動論に依存しており、これは標準ギャップベースの摂動境界が与える以上の個々の固有ベクトルの回復に一致する上下境界を与える。 数値実験により予測された逐次回復、しきい値の有限サイズ平滑化、非階層的カーネルベースラインからの分離が確認された。 これらの結果は、急激な特徴学習遷移のカスケードから、いかにスムーズなスケーリング法則が現れるかを示している。

関連論文リスト

• Optimal scaling laws in learning hierarchical multi-index models [28.495611422425238]
  我々は、部分空間の回復と予測誤差に関する正確な情報理論スケーリング法則を導出する。 これらの最適速度は、単純で目標に依存しないスペクトル推定器によって達成されることを示す。
  論文  参考訳（メタデータ） (2026-02-05T16:33:51Z)
• SIGMA: Scalable Spectral Insights for LLM Collapse [51.863164847253366]
  SIGMA(Spectral Inequalities for Gram Matrix Analysis)は,モデル崩壊のための統一的なフレームワークである。 行列のスペクトル上の決定論的境界を導出するベンチマークを利用することで、SIGMAは表現空間の収縮を追跡するために数学的に基底化された計量を提供する。 我々は、SIGMAが状態への遷移を効果的に捉え、崩壊のメカニズムに関する理論的知見の両方を提供することを示した。
  論文  参考訳（メタデータ） (2026-01-06T19:47:11Z)
• Low-Rank Tensor Recovery via Variational Schatten-p Quasi-Norm and Jacobian Regularization [49.85875869048434]
  暗黙的神経表現のためのニューラルネットワークによりパラメータ化されたCPベースの低ランクテンソル関数を提案する。 本研究では、スペーサーCP分解を実現するために、冗長なランク1成分に変分Schatten-p quasi-normを導入する。 滑らか性のために、ヤコビアンとハッチンソンのトレース推定器のスペクトルノルムに基づく正規化項を提案する。
  論文  参考訳（メタデータ） (2025-06-27T11:23:10Z)
• An Accelerated Alternating Partial Bregman Algorithm for ReLU-based Matrix Decomposition [0.0]
  本稿では,非負行列上に補正されたスパース低ランク特性について検討する。 本稿では,クラスタリングと圧縮タスクに有用な構造を取り入れた新しい正規化項を提案する。 我々は、任意の$Lge 1$に対して常に持つ$L$-smoothプロパティを維持しながら、対応する閉形式解を導出する。
  論文  参考訳（メタデータ） (2025-03-04T08:20:34Z)
• Scaling and renormalization in high-dimensional regression [72.59731158970894]
  リッジ回帰に関する最近の結果について統一的な視点を提示する。 我々は、物理とディープラーニングの背景を持つ読者を対象に、ランダム行列理論と自由確率の基本的なツールを使用する。 我々の結果は拡張され、初期のスケーリング法則のモデルについて統一的な視点を提供する。
  論文  参考訳（メタデータ） (2024-05-01T15:59:00Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• Regularization, early-stopping and dreaming: a Hopfield-like setup to address generalization and overfitting [0.0]
  正規化損失関数に勾配降下を適用し,最適ネットワークパラメータを求める。 この枠組みの中で、最適なニューロン相互作用行列は、繰り返し学習プロトコルによって修正されたヘビアン核に対応する。
  論文  参考訳（メタデータ） (2023-08-01T15:04:30Z)
• Screening for Sparse Online Learning [11.523471275501855]
  スパーシティ促進レギュラライザーは、低複素構造(例えば)を課すために広く使用されている。 l1-norm for sparsity) 教師付き学習の回帰係数に対する。 ほとんどのオンラインアルゴリズムは、ステップサイズと非消去の分散のためにプロパティを持っていません。 本稿では,オンラインアルゴリズムが生成するイテレートの不要な特徴を解消する方法を示し,有限なアクティビティ同定を強制する。
  論文  参考訳（メタデータ） (2021-01-18T10:40:47Z)
• Investigating the Scalability and Biological Plausibility of the Activation Relaxation Algorithm [62.997667081978825]
  アクティベーション・リラクシエーション(AR)アルゴリズムは、誤りアルゴリズムのバックプロパゲーションを近似するためのシンプルでロバストなアプローチを提供する。 このアルゴリズムは、学習可能な後方重みセットを導入することにより、さらに単純化され、生物学的に検証可能であることを示す。 また、元のARアルゴリズム(凍結フィードフォワードパス)の別の生物学的に信じられない仮定が、パフォーマンスを損なうことなく緩和できるかどうかについても検討する。
  論文  参考訳（メタデータ） (2020-10-13T08:02:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。