論文の概要: A Gaussian Comparison Theorem for Training Dynamics in Machine Learning
- arxiv url: http://arxiv.org/abs/2603.09310v1
- Date: Tue, 10 Mar 2026 07:42:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-11 15:25:24.128495
- Title: A Gaussian Comparison Theorem for Training Dynamics in Machine Learning
- Title（参考訳）: 機械学習におけるトレーニングダイナミクスのガウス比較理論
- Authors: Ashkan Panahi,
- Abstract要約: ガウス混合モデルに基づくデータを用いた学習アルゴリズムについて検討する。
非漸近的な結果を示し、モデルの進化を代理力学系に結びつける。
- 参考スコア（独自算出の注目度）: 4.277729131346358
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We study training algorithms with data following a Gaussian mixture model. For a specific family of such algorithms, we present a non-asymptotic result, connecting the evolution of the model to a surrogate dynamical system, which can be easier to analyze. The proof of our result is based on the celebrated Gordon comparison theorem. Using our theorem, we rigorously prove the validity of the dynamic mean-field (DMF) expressions in the asymptotic scenarios. Moreover, we suggest an iterative refinement scheme to obtain more accurate expressions in non-asymptotic scenarios. We specialize our theory to the analysis of training a perceptron model with a generic first-order (full-batch) algorithm and demonstrate that fluctuation parameters in a non-asymptotic domain emerge in addition to the DMF kernels.
- Abstract（参考訳）: ガウス混合モデルに基づくデータを用いた学習アルゴリズムについて検討する。
このようなアルゴリズムの特定のファミリーに対して、モデルの進化を代理力学系に結びつける非漸近的な結果を示し、解析しやすくする。
結果の証明は、祝福されたゴードン比較定理に基づいている。
この定理を用いて,漸近的シナリオにおける動的平均場(DMF)式の有効性を厳密に証明する。
さらに,非漸近的シナリオにおいて,より正確な表現を得るための反復的洗練手法を提案する。
我々は,一般の1次(フルバッチ)アルゴリズムでパーセプトロンモデルを訓練し,DMFカーネルに加えて,非漸近領域における変動パラメータが出現することを示した。
関連論文リスト
- InfoNCE Induces Gaussian Distribution [7.8922077372145685]
対照的なトレーニングの損失はInfoNCEとその変種である。
我々は、InfoNCEの目的が、対照的な訓練から現れる表現においてガウス構造を誘導することを示す。
ガウスモデルにより、学習された表現の原理的な分析処理が可能となり、コントラスト学習における幅広い応用を支援することが期待されている。
論文 参考訳（メタデータ） (2026-02-27T13:35:58Z) - A Geometric Perspective on Diffusion Models [57.27857591493788]
本稿では,人気のある分散拡散型SDEのODEに基づくサンプリングについて検討する。
我々は、最適なODEベースのサンプリングと古典的な平均シフト(モード探索)アルゴリズムの理論的関係を確立する。
論文 参考訳（メタデータ） (2023-05-31T15:33:16Z) - Capturing dynamical correlations using implicit neural representations [85.66456606776552]
実験データから未知のパラメータを復元するために、モデルハミルトンのシミュレーションデータを模倣するために訓練されたニューラルネットワークと自動微分を組み合わせた人工知能フレームワークを開発する。
そこで本研究では, 実時間から多次元散乱データに適用可能な微分可能なモデルを1回だけ構築し, 訓練する能力について述べる。
論文 参考訳（メタデータ） (2023-04-08T07:55:36Z) - Distributed Bayesian Learning of Dynamic States [65.7870637855531]
提案アルゴリズムは有限状態隠れマルコフモデルに対する分散ベイズフィルタタスクである。
逐次状態推定や、動的環境下でのソーシャルネットワーク上での意見形成のモデル化に使用できる。
論文 参考訳（メタデータ） (2022-12-05T19:40:17Z) - Double Descent in Random Feature Models: Precise Asymptotic Analysis for
General Convex Regularization [4.8900735721275055]
より広い凸正規化項のクラスの下で回帰の一般化を正確に表現する。
我々は,本フレームワークの予測能力を数値的に示すとともに,非漸近的状態においても予測されたテスト誤差が正確であることを実験的に示す。
論文 参考訳（メタデータ） (2022-04-06T08:59:38Z) - Fractal Structure and Generalization Properties of Stochastic
Optimization Algorithms [71.62575565990502]
最適化アルゴリズムの一般化誤差は、その一般化尺度の根底にあるフラクタル構造の複雑性'にバウンドできることを示す。
さらに、特定の問題(リニア/ロジスティックレグレッション、隠れ/層ニューラルネットワークなど)とアルゴリズムに対して、結果をさらに専門化します。
論文 参考訳（メタデータ） (2021-06-09T08:05:36Z) - Multiplicative noise and heavy tails in stochastic optimization [62.993432503309485]
経験的最適化は現代の機械学習の中心であるが、その成功における役割はまだ不明である。
分散による離散乗法雑音のパラメータによく現れることを示す。
最新のステップサイズやデータを含む重要な要素について、詳細な分析を行い、いずれも最先端のニューラルネットワークモデルで同様の結果を示す。
論文 参考訳（メタデータ） (2020-06-11T09:58:01Z) - Understanding the dynamics of message passing algorithms: a free
probability heuristics [2.8021833233819486]
本研究では,大規模系の極限における密結合行列を持つ確率モデルに対する推論アルゴリズムの挙動を解析する。
玩具Isingモデルでは,有効記憶の消失特性やアルゴリズムの解析収束率などの過去の結果を復元することができる。
論文 参考訳（メタデータ） (2020-02-03T19:50:31Z) - Analysis of Bayesian Inference Algorithms by the Dynamical Functional
Approach [2.8021833233819486]
学生自明なシナリオにおいて,大ガウス潜在変数モデルを用いて近似推論のアルゴリズムを解析する。
完全データモデルマッチングの場合、レプリカ法から派生した静的順序パラメータの知識により、効率的なアルゴリズム更新が得られる。
論文 参考訳（メタデータ） (2020-01-14T17:22:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。