論文の概要: Fast Escape, Slow Convergence: Learning Dynamics of Phase Retrieval under Power-Law Data

• arxiv url: http://arxiv.org/abs/2511.18661v1
• Date: Mon, 24 Nov 2025 00:21:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-25 18:34:24.956112
• Title: Fast Escape, Slow Convergence: Learning Dynamics of Phase Retrieval under Power-Law Data
• Title（参考訳）: 高速エスケープ・スローコンバージェンス:電力線データに基づく位相検索のダイナミクスの学習
• Authors: Guillaume Braun, Bruno Loureiro, Ha Quang Minh, Masaaki Imaizumi,
• Abstract要約: スケーリング法則は、データ、計算、トレーニング時間によって学習のパフォーマンスがどのように改善され、現代のディープラーニングにおける中心的なテーマとなったかを記述している。 共分散スペクトルがパワー則に従う異方性ガウス入力による位相探索を正準非線形モデルで行う。 力学が二次元系に崩壊する等方性の場合とは異なり、異方性は、方程式の無限階層が要約統計の進化を支配する定性的に新しい状態をもたらす。
• 参考スコア（独自算出の注目度）: 15.766916122461923
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Scaling laws describe how learning performance improves with data, compute, or training time, and have become a central theme in modern deep learning. We study this phenomenon in a canonical nonlinear model: phase retrieval with anisotropic Gaussian inputs whose covariance spectrum follows a power law. Unlike the isotropic case, where dynamics collapse to a two-dimensional system, anisotropy yields a qualitatively new regime in which an infinite hierarchy of coupled equations governs the evolution of the summary statistics. We develop a tractable reduction that reveals a three-phase trajectory: (i) fast escape from low alignment, (ii) slow convergence of the summary statistics, and (iii) spectral-tail learning in low-variance directions. From this decomposition, we derive explicit scaling laws for the mean-squared error, showing how spectral decay dictates convergence times and error curves. Experiments confirm the predicted phases and exponents. These results provide the first rigorous characterization of scaling laws in nonlinear regression with anisotropic data, highlighting how anisotropy reshapes learning dynamics.
• Abstract（参考訳）: スケーリング法則は、データ、計算、トレーニング時間によって学習のパフォーマンスがどのように改善され、現代のディープラーニングにおける中心的なテーマとなったかを記述している。 共分散スペクトルがパワー則に従う異方性ガウス入力による位相探索を正準非線形モデルで行う。 力学が二次元系に崩壊する等方性の場合とは異なり、異方性は、結合方程式の無限階層が要約統計の進化を支配する定性的に新しい状態をもたらす。 我々は,三相軌道を呈するトラクタブル・リダクションを開発する。 (i)低いアライメントから素早く脱出する (二)要約統計の緩やかな収束、及び 3)低分散方向のスペクトルテール学習。 この分解から平均二乗誤差に対する明示的なスケーリング法則を導出し、スペクトル崩壊が収束時間と誤差曲線をどのように予測するかを示す。 実験は予測フェーズと指数を確認する。 これらの結果は、非等方性データを用いた非線形回帰におけるスケーリング法則の厳密な評価を初めて提供し、異方性が学習力学にどう影響するかを浮き彫りにした。

関連論文リスト

• Exact Dynamics of Multi-class Stochastic Gradient Descent [4.1538344141902135]
  ワンパス勾配勾配法(SGD)を用いて学習した多種多様な高次元最適化問題の学習・学習速度ダイナミクスを解析するためのフレームワークを開発する。 我々は、ODEのシステムに対する決定論的解という観点から、リスクや真の信号との重なり合いを含む、制限力学の関数の大規模なクラスに対して、正確な表現を与える。
  論文  参考訳（メタデータ） (2025-10-15T20:31:49Z)
• Functional Scaling Laws in Kernel Regression: Loss Dynamics and Learning Rate Schedules [9.332823269318842]
  スケーリング法則は、大きな言語モデルのトレーニングを理解し、導くための統一レンズとして登場した。 我々は任意のLSSの下で全損失軌跡を捕捉する機能スケーリング法を確立した。 データ制限と計算制限の両方で明示的なスケーリング関係を導出する。
  論文  参考訳（メタデータ） (2025-09-23T16:05:16Z)
• Scaling Collapse Reveals Universal Dynamics in Compute-Optimally Trained Neural Networks [59.552873049024775]
  計算最適化モデルでは, 極めて高精度な普遍性を示すことを示す。 学習速度が減衰すると、崩壊は非常に厳しくなり、モデル間の正規化曲線の差はノイズフロアより下になる。 これらの現象は、典型的なニューラルスケーリング法則において、崩壊とパワー・ロー構造を結びつけることによって説明される。
  論文  参考訳（メタデータ） (2025-07-02T20:03:34Z)
• An Analytical Theory of Spectral Bias in the Learning Dynamics of Diffusion Models [29.972063833424215]
  本研究では,拡散モデル学習中に生成した分布がどのように進化するかを理解するための解析的枠組みを開発する。 結果の確率フローODEを統合し、生成した分布の解析式を生成する。
  論文  参考訳（メタデータ） (2025-03-05T05:50:38Z)
• Rao-Blackwell Gradient Estimators for Equivariant Denoising Diffusion [55.95767828747407]
  分子やタンパク質の生成のようなドメインでは、物理系はモデルにとって重要な固有の対称性を示す。 学習のばらつきを低減し、確率的に低い分散勾配推定器を提供するフレームワークを提案する。 また,軌道拡散法(Orbit Diffusion)と呼ばれる手法を用いて,損失とサンプリングの手順を取り入れた推定器の実用的実装を提案する。
  論文  参考訳（メタデータ） (2025-02-14T03:26:57Z)
• Scaling Law for Stochastic Gradient Descent in Quadratically Parameterized Linear Regression [5.801904710149222]
  機械学習において、スケーリング法則は、モデルとデータサイズをスケールアップすることで、モデルパフォーマンスがどのように改善されるかを記述する。 本稿では,2次パラメータ化モデルを用いた線形回帰のスケーリング法則について検討する。 その結果、正準線形回帰では、特徴学習による一般化と不要な曲線と、パラメトリゼーション法とアルゴリズムに対する情報理論の下界との明確な分離が提供される。
  論文  参考訳（メタデータ） (2025-02-13T09:29:04Z)
• Scaling and renormalization in high-dimensional regression [72.59731158970894]
  リッジ回帰に関する最近の結果について統一的な視点を提示する。 我々は、物理とディープラーニングの背景を持つ読者を対象に、ランダム行列理論と自由確率の基本的なツールを使用する。 我々の結果は拡張され、初期のスケーリング法則のモデルについて統一的な視点を提供する。
  論文  参考訳（メタデータ） (2024-05-01T15:59:00Z)
• Machine learning in and out of equilibrium [58.88325379746631]
  我々の研究は、統計物理学から適応したフォッカー・プランク法を用いて、これらの平行線を探索する。 我々は特に、従来のSGDでは平衡が切れている長期的限界におけるシステムの定常状態に焦点を当てる。 本稿では,ミニバッチの置き換えを伴わない新しいランゲヴィンダイナミクス(SGLD)を提案する。
  論文  参考訳（メタデータ） (2023-06-06T09:12:49Z)
• Multi-scale Feature Learning Dynamics: Insights for Double Descent [71.91871020059857]
  一般化誤差の「二重降下」現象について検討する。 二重降下は、異なるスケールで学習される異なる特徴に起因する可能性がある。
  論文  参考訳（メタデータ） (2021-12-06T18:17:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。