論文の概要: A Function-Space Approach to the Statistical Mechanics of Learning Dynamics

• arxiv url: http://arxiv.org/abs/2609.09589v1
• Date: Wed, 09 Sep 2026 01:30:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:08.863246
• Title: A Function-Space Approach to the Statistical Mechanics of Learning Dynamics
• Title（参考訳）: 学習力学の統計力学に対する関数空間的アプローチ
• Abstract要約: 本研究では,関数空間における学習の統計的・機械的記述を開発する。 平均二乗損失の場合、正確な誤差ダイナミクスは学習演算子(M=JJast)によって制御される。 穏やかな統計的条件下でのReLU型函数空間に対して、(B=_2Lastmathcal K L) は粗粒二階構造を測定する。
• 参考スコア（独自算出の注目度）: 16.495935745587936
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep neural networks exhibit regular macroscopic behavior despite highly nonlinear dynamics in vast parameter spaces. We develop a statistical-mechanical description of learning directly in function space, treating parameter configurations as microscopic realizations and functions with their dynamical operators as macroscopic variables. For mean-squared loss, the exact error dynamics are governed by the learning operator \(M=JJ^\ast\). Combining the dynamical Boltzmann weight of the conditional stochastic dynamics with the parameter-space density of states, whose local curvature defines a statistical operator \(B\), and integrating over local fluctuations yields $$ Φ_{\mathrm{fluc}}(M;B)=\frac{σ_ξ^2}{2}\log\det(M^{-1}+B)+\mathrm{const}. $$ At fixed spectrum, this term is rotationally stationary when \([M,B]=0\), is minimized by pairing large eigenvalues of \(M\) with small eigenvalues of \(B\), and generates a local restoring contribution against rotational mismatch. For ReLU-type function spaces under mild stable statistical conditions, \(B=σ_ξ^2L^\ast\mathcal K L\), where \(L\) measures coarse-grained second-order structure. Thus the low-\(B\) sector corresponds, up to bounded anisotropy of \(\mathcal K\), to low structural curvature, implying a preference for faster relaxation along smooth, data-adaptive directions. These results identify function space as a natural macroscopic level for studying stable collective organization in learning.
• Abstract（参考訳）: ディープニューラルネットワークは、広いパラメータ空間において非常に非線形なダイナミクスにもかかわらず、定期的にマクロな振る舞いを示す。 本研究では,関数空間で直接学習する統計力学的な記述を開発し,パラメータ構成を顕微鏡的実現として扱い,動的演算子をマクロ的変数として機能する。 平均二乗損失の場合、正確な誤差ダイナミクスは学習演算子 \(M=JJ^\ast\) によって制御される。 条件確率力学の力学ボルツマン重みと、局所曲率によって統計作用素 \(B\) が定義される状態のパラメータ空間密度を組み合わせることで、局所的ゆらぎを積分すると$$$ \_{\mathrm{fluc}}(M;B)=\frac{σ_\^2}{2}\log\det(M^{-1}+B)+\mathrm{const} が得られる。 $$ 固定スペクトルでは、この項は \([M, B]=0\) の大きな固有値と \(B\) の小さな固有値とをペアにすることで最小化され、回転ミスマッチに対する局所的な再帰的寄与を生成する。 穏やかな統計条件下でのReLU型函数空間では、(B=σ_n^2L^\ast\mathcal K L\) は粗粒状二次構造を測る。 したがって、低(B) セクターは、(\mathcal K\) の有界異方性から低構造曲率までに対応し、滑らかでデータ適応的な方向に沿ったより高速な緩和を好むことを意味する。 これらの結果は, 機能空間を, 学習における安定した集合組織を研究するための自然なマクロレベルとして認識する。

関連論文リスト

• Scalable Lindblad Noise Learning via Stochastic Tensor-Network Simulation [48.887627688666974]
  大規模オープン量子システムにおける学習散逸率は、短期量子技術の大きな障害である。 本稿では,シミュレーション手法であるJump Method(TJM)を組み合わせたLindblad散逸率のスケーラブルなノイズ学習フレームワークを提案する。 我々は,Isingモデルにおける2つのノイズモデルに対するアプローチを実証し,各サイトについて,N_mathrmsite=16$まで独立散逸率を学習した。 スケーラブルな数値と厳密な理論的保証の組み合わせは、TJMベースのノイズ学習を大きな量子デバイスにおける散逸を特徴づける実用的な基礎として位置づけている。
  論文  参考訳（メタデータ） (2026-08-25T15:07:11Z)
• Effective Covariance Dynamics in Solvable High-Dimensional GANs [2.639628765667673]
  線形生成器がデータから低次元部分空間を学習するGANトレーニングの可解な高次元モデルについて検討する。 顕微鏡トレーニングプロセスが高次元の極限において、この効果的な共分散によって支配される決定論的常微分方程式に収束することを証明する。
  論文  参考訳（メタデータ） (2026-06-25T16:33:54Z)
• Anderson Localization: A Floquet operator Krylov space perspective [0.0]
  連続時間ではなく、ストロボスコープで力学を研究することは、その利点があることが示される。 ストロボスコピック力学では、作用素クリロフ空間は不均一なフロケ横場イジングモデルのエッジ作用素の力学に対応する。 局所化-非局在化遷移は作用素 Krylov 空間でも示される。
  論文  参考訳（メタデータ） (2026-05-22T18:22:47Z)
• Expectation-Maximization as a Spectrally Governed Relaxation Flow [10.371607616433966]
  グローバル降下と局所収束を接続する潜在変数作用素を明示する。 この結果から, グローバル降下, 局所スペクトル挙動, 最適局所緩和を, 共通の動的枠組み内に配置した。
  論文  参考訳（メタデータ） (2026-05-08T14:49:24Z)
• The Curvature Rate λ: A Scalar Measure of Input-Space Sharpness in Neural Networks [0.0]
  曲線は一般化、堅牢性、ニューラルネットワークが小さな入力摂動にいかに確実に反応するかに影響を及ぼす。 入力空間で直接定義されるスカラー曲率測度、すなわち曲率ラムダを導入する。 ラムダは、決定境界における高周波構造の出現を追跡する。
  論文  参考訳（メタデータ） (2025-11-03T10:46:03Z)
• Nonparametric learning of stochastic differential equations from sparse and noisy data [2.389598109913754]
  強い構造仮定なしでデータから直接ドリフト関数を学習する。 我々は,新しいモンテカルロ法(SMC)を用いた期待最大化法(EM)アルゴリズムを開発した。 EM-SMC-RKHS法により、低データ状態における力学系のドリフト関数を正確に推定できる。
  論文  参考訳（メタデータ） (2025-08-15T17:01:59Z)
• A Mean-Field Analysis of Neural Stochastic Gradient Descent-Ascent for Functional Minimax Optimization [90.87444114491116]
  本稿では,超パラメトリック化された2層ニューラルネットワークの無限次元関数クラス上で定義される最小最適化問題について検討する。 i) 勾配降下指数アルゴリズムの収束と, (ii) ニューラルネットワークの表現学習に対処する。 その結果、ニューラルネットワークによって誘導される特徴表現は、ワッサーシュタイン距離で測定された$O(alpha-1)$で初期表現から逸脱することが許された。
  論文  参考訳（メタデータ） (2024-04-18T16:46:08Z)
• Machine learning in and out of equilibrium [58.88325379746631]
  我々の研究は、統計物理学から適応したフォッカー・プランク法を用いて、これらの平行線を探索する。 我々は特に、従来のSGDでは平衡が切れている長期的限界におけるシステムの定常状態に焦点を当てる。 本稿では,ミニバッチの置き換えを伴わない新しいランゲヴィンダイナミクス(SGLD)を提案する。
  論文  参考訳（メタデータ） (2023-06-06T09:12:49Z)
• Kernel-based off-policy estimation without overlap: Instance optimality beyond semiparametric efficiency [53.90687548731265]
  本研究では,観測データに基づいて線形関数を推定するための最適手順について検討する。 任意の凸および対称函数クラス $mathcalF$ に対して、平均二乗誤差で有界な非漸近局所ミニマックスを導出する。
  論文  参考訳（メタデータ） (2023-01-16T02:57:37Z)
• Implicit Bias of MSE Gradient Optimization in Underparameterized Neural Networks [0.0]
  勾配流による平均二乗誤差の最適化において,関数空間におけるニューラルネットワークのダイナミクスについて検討する。 ニューラルタンジェントカーネル(NTK)により決定された積分作用素$T_Kinfty$の固有関数をネットワークが学習することを示す。 減衰偏差は2乗誤差を最適化する際の力学の単純かつ統一的な視点を与えると結論付けている。
  論文  参考訳（メタデータ） (2022-01-12T23:28:41Z)
• Sinkhorn Natural Gradient for Generative Models [125.89871274202439]
  本研究では,シンクホーンの発散による確率空間上の最も急降下法として機能するシンクホーン自然勾配(SiNG)アルゴリズムを提案する。 本稿では,SiNG の主要成分であるシンクホーン情報行列 (SIM) が明示的な表現を持ち,対数的スケールの複雑さを正確に評価できることを示す。 本実験では,SiNGと最先端のSGD型解法を定量的に比較し,その有効性と有効性を示す。
  論文  参考訳（メタデータ） (2020-11-09T02:51:17Z)
• Understanding Implicit Regularization in Over-Parameterized Single Index Model [55.41685740015095]
  我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。 暗黙正則化現象の理論的保証を提供する。
  論文  参考訳（メタデータ） (2020-07-16T13:27:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。