論文の概要: Gradient Flow Through Diagram Expansions: Learning Regimes and Explicit Solutions

• arxiv url: http://arxiv.org/abs/2602.04548v1
• Date: Wed, 04 Feb 2026 13:38:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-05 19:45:11.545401
• Title: Gradient Flow Through Diagram Expansions: Learning Regimes and Explicit Solutions
• Title（参考訳）: ダイアグラム拡張によるグラディエントフロー:レジームの学習と明示的解法
• Authors: Dmitry Yarotsky, Eugene Golikov, Yaroslav Gusev,
• Abstract要約: 本研究では,スケーリングレジームを解析し,勾配流問題に対する明示的な解析解を導出する一般的なフレームワークを開発する。 鍵となる革新は損失進化の形式的なパワー級数展開であり、係数はファインマン図形に似た図形でエンコードされる。 この拡張は、異なる学習フェーズを明らかにするために使用可能な、明確に定義された大規模な制限を持つことを示す。
• 参考スコア（独自算出の注目度）: 16.079947052768205
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We develop a general mathematical framework to analyze scaling regimes and derive explicit analytic solutions for gradient flow (GF) in large learning problems. Our key innovation is a formal power series expansion of the loss evolution, with coefficients encoded by diagrams akin to Feynman diagrams. We show that this expansion has a well-defined large-size limit that can be used to reveal different learning phases and, in some cases, to obtain explicit solutions of the nonlinear GF. We focus on learning Canonical Polyadic (CP) decompositions of high-order tensors, and show that this model has several distinct extreme lazy and rich GF regimes such as free evolution, NTK and under- and over-parameterized mean-field. We show that these regimes depend on the parameter scaling, tensor order, and symmetry of the model in a specific and subtle way. Moreover, we propose a general approach to summing the formal loss expansion by reducing it to a PDE; in a wide range of scenarios, it turns out to be 1st order and solvable by the method of characteristics. We observe a very good agreement of our theoretical predictions with experiment.
• Abstract（参考訳）: 我々は,大規模学習問題において,スケーリングレジームを解析し,勾配流(GF)の明示的な解析解を導出するための一般的な数学的枠組みを開発する。 我々の重要な革新は損失進化の形式的なパワー級数展開であり、係数はファインマン図形に似た図式でエンコードされる。 この拡張は、異なる学習フェーズを明らかにし、場合によっては非線形GFの明示的な解を得るために使用できる、明確に定義された大域限界を持つことを示す。 我々は高次テンソルのカノニカルポリアディクス(CP)分解の学習に重点を置いており、このモデルには自由進化、NTK、過パラメータ化平均場など、いくつかの際立った遅延とリッチなGF体制が存在することを示す。 これらの規則は, パラメータスケーリング, テンソルオーダー, 対称性を, 具体的かつ微妙な方法で依存していることが示される。 さらに,PDEに還元することで,形式的損失拡大を要約する一般的な手法を提案する。 我々は、実験による理論的な予測について、非常に良好な一致を観察する。

関連論文リスト

• Graph Neural Regularizers for PDE Inverse Problems [62.49743146797144]
  本稿では,偏微分方程式(PDE)によって支配される多種多様な不測の逆問題を解くための枠組みを提案する。 有限要素法(FEM)を用いて前方問題の数値解法 我々は、物理に着想を得たグラフニューラルネットワークを学習正規化器として採用し、標準アプローチの頑健で解釈可能な、一般化可能な代替手段を提供する。
  論文  参考訳（メタデータ） (2025-10-23T21:43:25Z)
• Exact Dynamics of Multi-class Stochastic Gradient Descent [4.1538344141902135]
  ワンパス勾配勾配法(SGD)を用いて学習した多種多様な高次元最適化問題の学習・学習速度ダイナミクスを解析するためのフレームワークを開発する。 我々は、ODEのシステムに対する決定論的解という観点から、リスクや真の信号との重なり合いを含む、制限力学の関数の大規模なクラスに対して、正確な表現を与える。
  論文  参考訳（メタデータ） (2025-10-15T20:31:49Z)
• Supercharging Graph Transformers with Advective Diffusion [28.40109111316014]
  本稿では,この課題に対処するために,物理に着想を得たグラフトランスモデルであるAdvDIFFormerを提案する。 本稿では,AdvDIFFormerが位相シフトによる一般化誤差を制御できることを示す。 経験的に、このモデルは情報ネットワーク、分子スクリーニング、タンパク質相互作用の様々な予測タスクにおいて優位性を示す。
  論文  参考訳（メタデータ） (2023-10-10T08:40:47Z)
• Differentiable Turbulence: Closure as a partial differential equation constrained optimization [1.8749305679160366]
  我々は、ディープラーニングアーキテクチャの物理に着想を得た選択と組み合わせて、エンドツーエンドの微分可能解法を使用する、微分可能な乱流の概念を活用する。 微分可能な物理パラダイムは、オフラインのテキストタプリオリ学習よりも成功しており、深層学習へのハイブリッド・ソルバ・イン・ザ・ループアプローチは、計算効率、精度、一般化の理想的なバランスを提供することを示す。
  論文  参考訳（メタデータ） (2023-07-07T15:51:55Z)
• Theory on variational high-dimensional tensor networks [2.0307382542339485]
  ランダムな高次元ネットワーク状態の創発的統計特性とテンソルネットワークのトレーニング可能性について検討する。 変動高次元ネットワークが大域的損失関数のバレンプラトーに悩まされていることを証明した。 この結果は、将来の理論的研究と実践的応用の道を開くものである。
  論文  参考訳（メタデータ） (2023-03-30T15:26:30Z)
• High-dimensional limit theorems for SGD: Effective dynamics and critical scaling [6.950316788263433]
  我々は、勾配降下(SGD)の要約統計の軌跡に対する極限定理を証明する。 下記の有効弾道力学が人口減少の勾配流と一致するステップサイズにおける重要なスケーリング体制を示す。 この実効力学の固定点について、対応する拡散極限は極めて複雑であり、さらに退化することもある。
  論文  参考訳（メタデータ） (2022-06-08T17:42:18Z)
• A Variational Inference Approach to Inverse Problems with Gamma Hyperpriors [60.489902135153415]
  本稿では,ガンマハイパープライヤを用いた階層的逆問題に対する変分反復交替方式を提案する。 提案した変分推論手法は正確な再構成を行い、意味のある不確実な定量化を提供し、実装が容易である。
  論文  参考訳（メタデータ） (2021-11-26T06:33:29Z)
• Fractal Structure and Generalization Properties of Stochastic Optimization Algorithms [71.62575565990502]
  最適化アルゴリズムの一般化誤差は、その一般化尺度の根底にあるフラクタル構造の複雑性'にバウンドできることを示す。 さらに、特定の問題(リニア/ロジスティックレグレッション、隠れ/層ニューラルネットワークなど)とアルゴリズムに対して、結果をさらに専門化します。
  論文  参考訳（メタデータ） (2021-06-09T08:05:36Z)
• On the Implicit Bias of Initialization Shape: Beyond Infinitesimal Mirror Descent [55.96478231566129]
  学習モデルを決定する上で,相対スケールが重要な役割を果たすことを示す。 勾配流の誘導バイアスを導出する手法を開発した。
  論文  参考訳（メタデータ） (2021-02-19T07:10:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。