論文の概要: Fokker-Planck to Callan-Symanzik: evolution of weight matrices under training

• arxiv url: http://arxiv.org/abs/2501.09659v1
• Date: Thu, 16 Jan 2025 16:54:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-17 15:09:38.661398
• Title: Fokker-Planck to Callan-Symanzik: evolution of weight matrices under training
• Title（参考訳）: Fokker-PlanckからCallan-Symanzikへ : トレーニング中の重量行列の進化
• Authors: Wei Bu, Uri Kol, Ziming Liu,
• Abstract要約: 本稿では,Fokker-Planckを用いて,単純な2-bottleneck層自動エンコーダのボトルネック層における個々の重み行列の確率密度進化をシミュレートする。 また、カルン=シマンツィクやカルダル=パリ=チャン方程式のような物理的に関係のある偏微分方程式は、我々が持つ力学方程式から導出する。
• 参考スコア（独自算出の注目度）: 9.257985820123
• License:
• Abstract: The dynamical evolution of a neural network during training has been an incredibly fascinating subject of study. First principal derivation of generic evolution of variables in statistical physics systems has proved useful when used to describe training dynamics conceptually, which in practice means numerically solving equations such as Fokker-Planck equation. Simulating entire networks inevitably runs into the curse of dimensionality. In this paper, we utilize Fokker-Planck to simulate the probability density evolution of individual weight matrices in the bottleneck layers of a simple 2-bottleneck-layered auto-encoder and compare the theoretical evolutions against the empirical ones by examining the output data distributions. We also derive physically relevant partial differential equations such as Callan-Symanzik and Kardar-Parisi-Zhang equations from the dynamical equation we have.
• Abstract（参考訳）: トレーニング中のニューラルネットワークの動的進化は、驚くほど興味深い研究対象となっている。 統計物理学系における変数の一般的な進化の第一原理的導出は、Fokker-Planck方程式のような数値解法を概念的に記述する際に有用であることが証明されている。 ネットワーク全体をシミュレートすることは必然的に次元性の呪いに陥る。 本稿では、Fokker-Planckを用いて、単純な2-bottleneck層自動エンコーダのボトルネック層における個々の重み行列の確率密度進化をシミュレートし、出力データ分布を調べて理論的進化を比較する。 また、カルン=シマンツィクやカルダル=パリ=チャン方程式のような物理的に関係のある偏微分方程式は、我々が持つ力学方程式から導出する。

関連論文リスト

• Dyson Brownian motion and random matrix dynamics of weight matrices during learning [0.0]
  まず、ダイソン・ブラウン運動を用いて、ダイナミクスを汎用的に記述できることを実証する。 レベルは学習率とミニバッチサイズに比例して示される。 次に,初期化時の固有値に対するマルテンコ・パストゥル分布から学習終了時の付加構造との組合せへの進化に続く変圧器の重み行列ダイナミクスについて検討する。
  論文  参考訳（メタデータ） (2024-11-20T18:05:39Z)
• Learning Controlled Stochastic Differential Equations [61.82896036131116]
  本研究では,非一様拡散を伴う連続多次元非線形微分方程式のドリフト係数と拡散係数の両方を推定する新しい手法を提案する。 我々は、(L2)、(Linfty)の有限サンプル境界や、係数の正則性に適応する学習率を持つリスクメトリクスを含む、強力な理論的保証を提供する。 当社のメソッドはオープンソースPythonライブラリとして利用可能です。
  論文  参考訳（メタデータ） (2024-11-04T11:09:58Z)
• Neural stochastic Volterra equations: learning path-dependent dynamics [0.0]
  ボルテラ方程式(Volterra equation、SVE)は、記憶効果と不規則な振る舞いを持つランダムシステムの時間進化の数学的モデルとして機能する。 ニューラルボルテラ方程式を物理に着想を得たアーキテクチャとして導入し、ニューラル微分方程式のクラスを一般化し、理論的基礎を提供する。 混乱した振り子方程式、一般化されたオルンシュタイン-ウレンベック過程、粗いヘストンモデルなど、様々なSVEに関する数値実験を示す。
  論文  参考訳（メタデータ） (2024-07-28T18:44:49Z)
• HyperSINDy: Deep Generative Modeling of Nonlinear Stochastic Governing Equations [5.279268784803583]
  本稿では,データからのスパース制御方程式の深部生成モデルを用いた動的モデリングフレームワークHyperSINDyを紹介する。 一度訓練すると、HyperSINDyは、係数が白色雑音によって駆動される微分方程式を介して力学を生成する。 実験では、HyperSINDyはデータと一致するように学習度をスケーリングすることで、基底的真理支配方程式を復元する。
  論文  参考訳（メタデータ） (2023-10-07T14:41:59Z)
• Machine learning in and out of equilibrium [58.88325379746631]
  我々の研究は、統計物理学から適応したフォッカー・プランク法を用いて、これらの平行線を探索する。 我々は特に、従来のSGDでは平衡が切れている長期的限界におけるシステムの定常状態に焦点を当てる。 本稿では,ミニバッチの置き換えを伴わない新しいランゲヴィンダイナミクス(SGLD)を提案する。
  論文  参考訳（メタデータ） (2023-06-06T09:12:49Z)
• Capturing dynamical correlations using implicit neural representations [85.66456606776552]
  実験データから未知のパラメータを復元するために、モデルハミルトンのシミュレーションデータを模倣するために訓練されたニューラルネットワークと自動微分を組み合わせた人工知能フレームワークを開発する。 そこで本研究では, 実時間から多次元散乱データに適用可能な微分可能なモデルを1回だけ構築し, 訓練する能力について述べる。
  論文  参考訳（メタデータ） (2023-04-08T07:55:36Z)
• Capturing Actionable Dynamics with Structured Latent Ordinary Differential Equations [68.62843292346813]
  本稿では,その潜在表現内でのシステム入力の変動をキャプチャする構造付き潜在ODEモデルを提案する。 静的変数仕様に基づいて,本モデルではシステムへの入力毎の変動要因を学習し,潜在空間におけるシステム入力の影響を分離する。
  論文  参考訳（メタデータ） (2022-02-25T20:00:56Z)
• Equivariant vector field network for many-body system modeling [65.22203086172019]
  Equivariant Vector Field Network (EVFN) は、新しい同変層と関連するスカラー化およびベクトル化層に基づいて構築されている。 シミュレーションされたニュートン力学系の軌跡を全観測データと部分観測データで予測する手法について検討した。
  論文  参考訳（メタデータ） (2021-10-26T14:26:25Z)
• Inference of Stochastic Dynamical Systems from Cross-Sectional Population Data [8.905677748354364]
  生物化学、疫学、金融数学、その他多くの科学分野において、個体群や時間経過データから力学系の駆動方程式を推測することは重要である。 本研究では, 微分方程式に基づいて, 人口の確率密度の進化を記述するフォッカー・プランク方程式を推定し, 計算的に推定する。 そして、USDLアプローチに従って、Fokker-Planck方程式を適切なテスト関数の集合に投影し、方程式の線形系に変換する。
  論文  参考訳（メタデータ） (2020-12-09T14:02:29Z)
• Learning Stochastic Behaviour from Aggregate Data [52.012857267317784]
  集約データから非線形ダイナミクスを学習することは、各個人の完全な軌道が利用できないため、難しい問題である。 本稿では,Fokker Planck Equation (FPE) の弱い形式を用いて,サンプル形式のデータの密度変化を記述する手法を提案する。 このようなサンプルベースのフレームワークでは、偏微分方程式(PDE)FPEを明示的に解くことなく、集約データから非線形ダイナミクスを学習することができる。
  論文  参考訳（メタデータ） (2020-02-10T03:20:13Z)
• Physics Informed Deep Learning for Transport in Porous Media. Buckley Leverett Problem [0.0]
  貯水池モデリングのためのハイブリッド物理に基づく機械学習手法を提案する。 この手法は、物理に基づく正則化を伴う一連の深い敵対的ニューラルネットワークアーキテクチャに依存している。 提案手法は,物理知識を機械学習アルゴリズムに応用するためのシンプルでエレガントな手法である。
  論文  参考訳（メタデータ） (2020-01-15T08:20:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。