論文の概要: Spectral Edge Dynamics of Training Trajectories: Signal--Noise Geometry Across Scales

• arxiv url: http://arxiv.org/abs/2603.15678v2
• Date: Wed, 18 Mar 2026 22:22:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-20 12:39:48.213298
• Title: Spectral Edge Dynamics of Training Trajectories: Signal--Noise Geometry Across Scales
• Title（参考訳）: 訓練軌道のスペクトルエッジダイナミクス:信号-雑音幾何学
• Abstract要約: コンヒーレントな方向のみにおいてトランスフォーマー訓練軌道が発展することを示す。 共同作業では、同じスペクトル幾何学がグラッキングの早期警戒信号を提供する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite hundreds of millions of parameters, transformer training trajectories evolve within only a few coherent directions. We introduce Spectral Edge Dynamics (SED) to quantify this structure: a rolling-window SVD of parameter updates reveals a sharp boundary -- the spectral edge -- between coherent optimization directions and stochastic noise, identified via the maximum consecutive singular value ratio $σ_k / σ_{k+1}$. Across a 51M-parameter TinyStories model (4 seeds) and GPT-2 124M under distribution shift, the spectral edge exhibits a universal three-phase pattern (rise, plateau, collapse). The effective signal rank adapts to task complexity ($k^* = 2$ at 51M, $k^* = 3$ at 124M), and the directional coupling between spectral geometry and validation loss reverses with window size -- a lag flip reflecting the timescale of trajectory integration. Johnson--Lindenstrauss projection to $d = 10W$ dimensions (e.g., $d = 100$ for $W = 10$) preserves the spectral gap within $5.7\%$, making the framework applicable to models of arbitrary scale. In companion work, the same spectral geometry provides early-warning signals of grokking -- predicting generalization $600$--$1{,}700$ steps before it occurs across modular arithmetic, Dyck languages, and the SCAN benchmark.
• Abstract（参考訳）: 数億のパラメータにもかかわらず、トランスフォーマーの訓練軌道はわずか数個のコヒーレントな方向で進化する。 パラメータ更新のロールウインドウSVDは、コヒーレント最適化方向と確率ノイズの間の鋭い境界(スペクトルエッジ)を明らかにし、最大連続特異値比$σ_k / σ_{k+1}$で識別する。 分布シフト中の51MパラメータTinyStoriesモデル(4種)とGPT-2 124Mの範囲で、スペクトルエッジは普遍的な3相パターン(ライズ、プラトー、崩壊)を示す。 効果的な信号ランクはタスクの複雑さに適応し(k^* = 2$ at 51M, $k^* = 3$ at 124M)、スペクトル幾何学と検証損失の間の方向的結合はウィンドウサイズと逆転する -- 軌道積分の時間スケールを反映したラグフリップである。Johnson-Lindenstraussの射影は$d = 10W$(例:$d = 100$ for $W = 10$)であり、任意のスケールのモデルに適用できる。 同じスペクトル幾何学は、モジュラー算術、Dyck言語、SCANベンチマークで起こる前に600$--$1{,}700$の一般化を予測する。

関連論文リスト

• Two-Stage Deformable-Convolutional Inverse Design of Nanophotonic Absorbers from Optical Spectra [2.4149105714758545]
  データ駆動逆設計により、所定の光学応答を持つナノフォトニック構造を効率的に生成することができる。 本研究は, 金属-絶縁体-金属共振器を80次元吸収スペクトルから再構成するための2段階の変形・畳み込み機構を示す。
  論文  参考訳（メタデータ） (2026-08-12T09:47:06Z)
• Round-Trip Consistency: Bidirectional Diffusion Models Can Predict Their Own Rollout Errors [51.56484100374058]
  自動回帰モデルは、長時間のロールアウトでエラーを蓄積しますが、デプロイ時には、それを測定するための基本的な真実はありません。 我々は、方向フラグを介して動的システムを前方または後方にステップする単一の条件付き潜在拡散モデルを訓練する。 この双方向性は測定不要なテスト時間誤差信号を提供することを示す。
  論文  参考訳（メタデータ） (2026-08-01T13:49:46Z)
• Dead-Direction Signatures: A Cheap Spectral Reading of Singular Complexity [5.67642958049511]
  特異学習理論は、損失特異点の幾何学を通して深いネットワークの複雑さを特徴づける。 単体構造をもつ安価でクローズドなスペクトル読影器であるDeadDirection Signatures (DDS)を紹介する。 それぞれが選択された層でネットワークの活性化行列またはサンプル単位のフィッシャーグラムを読み、後鎖スペクトル線型代数を置き換える。
  論文  参考訳（メタデータ） (2026-06-19T06:49:09Z)
• Closed-Form Spectral Regularization for Multi-Task Model Merging [96.82449201305234]
  モデルマージは、個別に調整された複数の専門家をトレーニングデータなしで単一のマルチタスクモデルに結合する。 State-of-the-art merging method formulate merging as a layer-wise interference problem。 本稿では,逐次降下の勾配-流路に一致するソフト指数フィルタを組み合わせた閉形式手法SWUDIを提案する。
  論文  参考訳（メタデータ） (2026-06-05T14:00:47Z)
• Concepts Whisper While Syntax Shouts: Spectral Anti-Concentration and the Dual Geometry of Transformer Representations [0.0]
  5つのアーキテクチャファミリにまたがる残留ストリーム差分ベクトルでは,反集束が観察される。 その結果、コンテクスト化された処理中に意味内容をスペクトル的に静かな領域に回転させることが示唆された。
  論文  参考訳（メタデータ） (2026-05-02T21:20:55Z)
• Optimal Decay Spectra for Linear Recurrences [6.508284558109273]
  PoSTは任意の対角線再帰をオーバーヘッドなく統合する。 Mamba RWKV-7、Gated DeltaNet、Gated Linear Attention、RetNetでインスタンス化します。
  論文  参考訳（メタデータ） (2026-04-08T23:54:57Z)
• The Spectral Edge Thesis: A Mathematical Framework for Intra-Signal Phase Transitions in Neural Network Training [0.0]
  ニューラルネットワークトレーニングにおける位相遷移は,パラメータ更新の回転ウィンドウグラム行列のスペクトルギャップによって制御されることを示す。 adiabatic parameter $mathcalA = |G|_F / (, g2)$ control circuit stability: $mathcalA ll 1$ (plateau), $mathcalA sim 1$ (phase transition), $mathcalA gg 1$ (forgetting)
  論文  参考訳（メタデータ） (2026-03-30T20:10:22Z)
• GST-VLA: Structured Gaussian Spatial Tokens for 3D Depth-Aware Vision-Language-Action Models [6.2676602262188625]
  VLAモデルは、内在的な幾何学構造を持たない2次元パッチトークンとして視覚観察を符号化する。 GST-VLAを2つのコントリビューションで紹介する。 第一に、ガウス空間Tokenizer (GST) は凍った深度と凍ったセマンティックパッチの特徴を3Dプリミティブに変換する。 第二に、DA-CoT推論は4つの構造化された中間空間的思考を監督する。
  論文  参考訳（メタデータ） (2026-03-10T01:39:38Z)
• Do Foundation Models Know Geometry? Probing Frozen Features for Continuous Physical Measurement [0.0]
  視覚言語モデルは、それらのテキスト経路が表現できないような幾何学を符号化する。 ロラ微調整(r=16, 2,000枚)は、このギャップを6.5度に縮める。 これらの知見は、単一の凍結したバックボーンがマルチタスク幾何学的センサーとして機能することを可能にした。
  論文  参考訳（メタデータ） (2026-03-06T16:48:27Z)
• Anatomy of Capability Emergence: Scale-Invariant Representation Collapse and Top-Down Reorganization in Neural Networks [1.5567685129899713]
  5つのモデルスケールで5つの幾何測度をトラックする。 トレーニングは、タスク固有のフロアへの普遍的な表現の崩壊から始まります。 ピキアでは、グローバルな幾何学的パターンが再現されるが、タスクごとの前兆信号は再現しない。
  論文  参考訳（メタデータ） (2026-02-17T20:39:02Z)
• Structure-Informed Estimation for Pilot-Limited MIMO Channels via Tensor Decomposition [51.56484100374058]
  本稿では、スパース観測から低ランクテンソル完備化としてパイロットリミテッドチャネル推定を定式化する。 合成チャネル実験による最小二乗平均二乗誤差(NMSE)の最小二乗平均誤差(LS)に対する改善 DeepMIMO線トレーシングチャネルの評価では、純粋なテンソル法よりも24-44%NMSEが減少している。
  論文  参考訳（メタデータ） (2026-02-03T23:38:05Z)
• Robust inverse material design with physical guarantees using the Voigt-Reuss Net [0.0]
  本稿では, ハード物理保証を伴う前方および逆機械的均質化のためのスペクトル正規化サロゲートを提案する。 バイファシック・マイクロ構造のオープンデータセット上の3次元線形弾性では、完全に接続されたVoigt-Reussネットは、236のイソトロピーインディスクリプタを持つFFTベースのラベルでトレーニングされている。 全体として、Voigt-Reussネットは、大バッチで制約に一貫性のある逆設計で正確で物理的に許容できる前方予測を統一する。
  論文  参考訳（メタデータ） (2025-11-14T15:17:37Z)
• Robust Layerwise Scaling Rules by Proper Weight Decay Tuning [50.11170157029911]
  現代のスケール不変アーキテクチャでは、トレーニングは急速に劣化したグラデーション状態に入る。 我々は,AdamWに対して,幅をまたいだサブ層ゲインを保ったウェイトデカイスケーリングルールを導入する。 この結果は,パラメータが設定した定常スケールを明示的に制御することにより,ほぼ入出力体制を超えて$mu$Pを拡大する。
  論文  参考訳（メタデータ） (2025-10-17T02:58:35Z)
• Near-Optimal Online Learning for Multi-Agent Submodular Coordination: Tight Approximation and Communication Efficiency [52.60557300927007]
  離散部分モジュラー問題を連続的に最適化するために,$textbfMA-OSMA$アルゴリズムを提案する。 また、一様分布を混合することによりKLの発散を効果的に活用する、プロジェクションフリーな$textbfMA-OSEA$アルゴリズムも導入する。 我々のアルゴリズムは最先端OSGアルゴリズムによって提供される$(frac11+c)$-approximationを大幅に改善する。
  論文  参考訳（メタデータ） (2025-02-07T15:57:56Z)
• Transformers as Support Vector Machines [54.642793677472724]
  自己アテンションの最適化幾何と厳密なSVM問題との間には,形式的等価性を確立する。 勾配降下に最適化された1層変圧器の暗黙バイアスを特徴付ける。 これらの発見は、最適なトークンを分離し選択するSVMの階層としてのトランスフォーマーの解釈を刺激していると信じている。
  論文  参考訳（メタデータ） (2023-08-31T17:57:50Z)
• Spectral density estimation with the Gaussian Integral Transform [91.3755431537592]
  スペクトル密度作用素 $hatrho(omega)=delta(omega-hatH)$ は線形応答論において中心的な役割を果たす。 スペクトル密度を近似する近似量子アルゴリズムについて述べる。
  論文  参考訳（メタデータ） (2020-04-10T03:14:38Z)
• Minimum optical depth multiport interferometers for approximating arbitrary unitary operations and pure states [37.69303106863453]
  我々は、マルチポート干渉計を用いて、純状態の準備とユニタリ操作を与えられた不忠実さで近似する問題に対処する。 数値計算により、任意の次元$d$の純粋な状態が不忠実で作成できることが示される。
  論文  参考訳（メタデータ） (2020-02-04T15:40:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。