論文の概要: Spectral Reach: Understanding Neural Scaling as Progress into the Spectral Tail

• arxiv url: http://arxiv.org/abs/2605.31244v1
• Date: Fri, 29 May 2026 12:43:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-01 20:56:50.607623
• Title: Spectral Reach: Understanding Neural Scaling as Progress into the Spectral Tail
• Title（参考訳）: スペクトラルリーチ:ニューラルスケーリングをスペクトラルテールの進歩として理解する
• Abstract要約: スペクトル位置」は、経験的ニューラルネットワークカーネル(eNTK)の固有値が現在損失低減を駆動しているスケーラブルな尺度である。 より大きなモデルは、より小さなモデルよりもテールに到達し、"スペクトルリーチ"と呼ばれるサイズ依存キャパシティを明らかにします。 我々は,特徴学習をスペクトル到達の鍵となる要因として認識し,凍結表現が停止した場合には,学習が進行するにつれて等級を適応的に増幅する。
• 参考スコア（独自算出の注目度）: 0.17398560678845074
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural scaling laws describe predictable power-law relationships between model size, dataset size, compute, and performance. While these laws guide the development of modern foundation models, the mechanisms underpinning them remain poorly understood, in part due to the absence of scalable analysis tools. To close this gap, we introduce "spectral position": a scalable measure of which eigenvalues of the empirical neural tangent kernel (eNTK) currently drive loss reduction. Applying this measure to scaling experiments, we find that spectral position decreases throughout training: learning shifts from dominant eigenmodes into the spectral tail. Larger models reach further into the tail than smaller models, revealing a size-dependent capacity we call "spectral reach". This suggests why larger models achieve lower losses: they sustain learning on weak spectral signals inaccessible to smaller models. We further identify feature learning as a key enabler of spectral reach. It adaptively amplifies gradient magnitudes as learning advances, sustaining progress where frozen representations stall. This points to concrete interventions through architecture and optimizer design.
• Abstract（参考訳）: ニューラルスケーリング法則は、モデルサイズ、データセットサイズ、計算、パフォーマンスの間の予測可能なパワー-ルール関係を記述している。 これらの法則は、現代の基礎モデルの発展を導くものであるが、その基盤となるメカニズムは、スケーラブルな分析ツールが欠如していることもあって、いまだに理解されていない。 このギャップを埋めるために、経験的ニューラルネットワークカーネル(eNTK)の固有値が現在損失削減を駆動しているスケーラブルな尺度である「スペクトル位置」を導入する。 この尺度をスケール実験に適用すると、スペクトル位置はトレーニングを通して減少し、学習は支配的な固有モードからスペクトルのテールへとシフトする。 より大きなモデルは、より小さなモデルよりもテールに到達し、"スペクトルリーチ"と呼ばれるサイズ依存のキャパシティを明らかにします。 これは、より大きなモデルが損失を小さくする理由を示唆しており、より小さなモデルに到達できない弱いスペクトル信号の学習を継続している。 我々はさらに、スペクトル到達の鍵となる特徴学習を同定する。 学習が進むにつれて勾配の等級を適応的に増幅し、凍結表現が停止する進行を持続する。 これはアーキテクチャとオプティマイザ設計による具体的な介入を示している。

関連論文リスト

• Scaling Laws from Sequential Feature Recovery: A Solvable Hierarchical Model [23.79711176655533]
  電力法則として重量が減少する潜在構成特徴の組み合わせで表されるグローバルな高次関数について検討した。 この構造に適応した層ワイドスペクトルアルゴリズムは、浅い非適応的な手法と比較してスケーリングの改善を実現する。 特徴量回復しきい値の鮮明さを証明し、これらの遷移を集約すると、予測誤差の明らかなパワーロッド崩壊が生じることを示す。
  論文  参考訳（メタデータ） (2026-05-14T08:37:28Z)
• On Neural Scaling Laws for Weather Emulation through Continual Training [76.70310203875866]
  我々はScientific Machine Learningにおけるニューラルスケーリングについて研究し、天気予報モデルに焦点を当てた。 可能な限り簡単な設定でスケーリング動作を解析するために、最小限でスケーラブルで汎用的なSwin Transformerアーキテクチャを採用する。 この最小限の方法でトレーニングされたモデルは、予測可能なスケーリングトレンドに従っており、標準的なコサイン学習率のスケジュールよりも優れています。
  論文  参考訳（メタデータ） (2026-03-26T17:37:25Z)
• Beyond Scaling Curves: Internal Dynamics of Neural Networks Through the NTK Lens [0.5745241788717261]
  我々は、ニューラルネットワークがデータの下でどのように振る舞うかを経験的に分析し、ニューラル・タンジェント・カーネル(NTK)のレンズを通してモデルをスケーリングする。 我々の標準的な視覚タスクの発見は、内部モデル力学が逆の挙動を示すにもかかわらず、同様のパフォーマンススケーリング指数が生じることを示している。 また、無限幅制限への収束が有限幅モデルにおけるスケーリングの挙動にどのように影響するかという未解決のニューラルスケーリング問題にも対処する。
  論文  参考訳（メタデータ） (2025-07-07T14:17:44Z)
• Scaling Collapse Reveals Universal Dynamics in Compute-Optimally Trained Neural Networks [59.552873049024775]
  計算最適化モデルでは, 極めて高精度な普遍性を示すことを示す。 学習速度が減衰すると、崩壊は非常に厳しくなり、モデル間の正規化曲線の差はノイズフロアより下になる。 これらの現象は、典型的なニューラルスケーリング法則において、崩壊とパワー・ロー構造を結びつけることによって説明される。
  論文  参考訳（メタデータ） (2025-07-02T20:03:34Z)
• Superposition Yields Robust Neural Scaling [22.05527470952902]
  表現重畳は、LLMが次元よりも多くの特徴を表現していることを意味するが、損失や神経スケーリングの原因となる重要な要因であることを示す。 結果は,表現重畳をニューラルスケーリング法則の中心的要因として認識し,ニューラルスケーリング法則がいつ改善され,いつ崩壊するかといった問題に対する洞察を提供する。
  論文  参考訳（メタデータ） (2025-05-15T16:18:13Z)
• Do Larger Language Models Generalize Better? A Scaling Law for Implicit Reasoning at Pretraining Time [73.22651918134808]
  この研究は、モデルサイズのスケーリングによる直感的効果を示し、言語モデル(LM)におけるスケーリングと推論の関係に関する新たな洞察を提供する。 我々は,実世界の大規模知識グラフの構造と分布を再現する合成暗黙のマルチホップ推論環境において,ゼロからLMを事前学習する。 次に、実世界の事前学習における暗黙的推論の単純化とみなすことができるマルチホップ推論を必要とする、グラフの欠落したエッジを完遂するLMの能力を評価する。
  論文  参考訳（メタデータ） (2025-04-04T17:57:22Z)
• A Dynamical Model of Neural Scaling Laws [79.59705237659547]
  ネットワークトレーニングと一般化の解決可能なモデルとして,勾配降下で訓練されたランダムな特徴モデルを分析する。 我々の理論は、データの繰り返し再利用により、トレーニングとテスト損失のギャップが徐々に増大することを示している。
  論文  参考訳（メタデータ） (2024-02-02T01:41:38Z)
• On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
  我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。 アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
  論文  参考訳（メタデータ） (2023-12-13T02:11:07Z)
• Assessing Neural Network Representations During Training Using Noise-Resilient Diffusion Spectral Entropy [55.014926694758195]
  ニューラルネットワークにおけるエントロピーと相互情報は、学習プロセスに関する豊富な情報を提供する。 データ幾何を利用して基礎となる多様体にアクセスし、これらの情報理論測度を確実に計算する。 本研究は,高次元シミュレーションデータにおける固有次元と関係強度の耐雑音性の測定結果である。
  論文  参考訳（メタデータ） (2023-12-04T01:32:42Z)
• Spectral Evolution and Invariance in Linear-width Neural Networks [8.419660614226816]
  線形幅フィードフォワードニューラルネットワークのスペクトル特性について検討する。 この高次元構造における重みのスペクトルは、小さな定常学習率の勾配降下によって訓練されたときに不変であることを示す。 また,テストエラーや特徴学習の少ない適応的勾配学習では,重みとカーネルの両方に重みが認められた。
  論文  参考訳（メタデータ） (2022-11-11T23:00:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。