Fugu-MT 論文翻訳(概要): Almost Bayesian: The Fractal Dynamics of Stochastic Gradient Descent

論文の概要: Almost Bayesian: The Fractal Dynamics of Stochastic Gradient Descent

arxiv url: http://arxiv.org/abs/2503.22478v1
Date: Fri, 28 Mar 2025 14:38:39 GMT
ステータス: 翻訳完了
システム内更新日: 2025-03-31 15:31:55.301044
Title: Almost Bayesian: The Fractal Dynamics of Stochastic Gradient Descent
Title（参考訳）: ほぼベイジアン:確率勾配のフラクタルダイナミクス
Authors: Max Hennick, Stijn De Baerdemacker,
Abstract要約: 本研究では, フラクタル次元を純粋にベイズ的手法で説明できるフラクタルランドスケープにおいて, 勾配降下が効果的に拡散していることを示す。トレーニング中の重量の拡散を調べることにより,実験結果の検証を行った。
参考スコア（独自算出の注目度）: 0.0
License:
Abstract: We show that the behavior of stochastic gradient descent is related to Bayesian statistics by showing that SGD is effectively diffusion on a fractal landscape, where the fractal dimension can be accounted for in a purely Bayesian way. By doing this we show that SGD can be regarded as a modified Bayesian sampler which accounts for accessibility constraints induced by the fractal structure of the loss landscape. We verify our results experimentally by examining the diffusion of weights during training. These results offer insight into the factors which determine the learning process, and seemingly answer the question of how SGD and purely Bayesian sampling are related.
Abstract（参考訳）: 本研究では,SGDがフラクタル次元を純粋にベイズ的手法で説明できるフラクタルランドスケープ上で効果的に拡散していることを示すことにより,確率勾配勾配の挙動がベイズ統計と関係していることを示す。これにより、SGDは、損失ランドスケープのフラクタル構造によって引き起こされるアクセシビリティ制約を考慮に入れた改良されたベイズサンプルと見なせることを示す。トレーニング中の重量の拡散を調べることにより,実験結果の検証を行った。これらの結果は、学習過程を決定する要因についての洞察を与え、SGDと純粋ベイズサンプリングがどのように関連しているかという疑問に答えるように見える。

関連論文リスト

Generative Modeling with Bayesian Sample Inference [50.07758840675341]
我々はガウス的後代推論の単純な作用から新しい生成モデルを導出する。生成したサンプルを未知変数として推論することで、ベイズ確率の言語でサンプリングプロセスを定式化する。我々のモデルは、未知のサンプルを広い初期信念から絞り込むために、一連の予測と後続の更新ステップを使用する。
論文参考訳（メタデータ） (2025-02-11T14:27:10Z)
Diffusion Models for Inverse Problems in the Exponential Family [45.560812800359685]
指数族からの分布を観測する逆問題に対処するために拡散モデルを拡張する。提案手法は,確率スコアの抽出可能な近似法であるエビデンストリックを導入する。我々は、サハラ以南のアフリカにおけるマラリアの流行予測において、現在の最先端技術と競争力を発揮することを示すことによって、我々の方法論の現実的な影響を実証する。
論文参考訳（メタデータ） (2025-02-09T18:56:57Z)
Parameter Inference via Differentiable Diffusion Bridge Importance Sampling [1.747623282473278]
本研究では,高次元非線形拡散過程においてパラメータ推論を行う手法を提案する。本研究は、祖先の状態復元を含む種間の進化と関係に関する知見を得るために、その適用性について述べる。この, 数値的に安定な, スコアマッチングに基づくパラメータ推定フレームワークを, 生物学的2次元および3次元形態計測データ上で提示し, 実証した。
論文参考訳（メタデータ） (2024-11-13T19:33:47Z)
A Note on Bayesian Networks with Latent Root Variables [56.86503578982023]
残りの, 証明, 変数に対する限界分布もまたベイズ的ネットワークとして分解され, 経験的と呼ぶ。マニフェスト変数の観測のデータセットにより、経験的ベイズネットのパラメータを定量化することができる。
論文参考訳（メタデータ） (2024-02-26T23:53:34Z)
Stochastic Modified Flows for Riemannian Stochastic Gradient Descent [0.5735035463793009]
RSGD は無限次元ウィナー過程によって駆動される RSMF の解によって近似できることを示す。 RSGDはリトラクションマップの概念、すなわち指数写像のコスト効率の良い近似を用いて構築されている。リトラクション写像、多様体の幾何、勾配のランダムな推定子の仮定の下で拡散近似の弱い誤差について定量的な境界を証明した。
論文参考訳（メタデータ） (2024-02-02T14:29:38Z)
Dynamical versus Bayesian Phase Transitions in a Toy Model of Superposition [2.3249139042158853]
SLT(Singular Learning Theory)を用いた重ね合わせのトイモデル(TMS)における位相遷移について検討する。本稿では,局所学習係数がベイズ後部の相転移をトレーニング標本サイズとして決定することを示す支持理論を提案する。この図は、SGD学習軌跡が逐次学習機構の対象となるという予想を裏付けるものである。
論文参考訳（メタデータ） (2023-10-10T04:26:04Z)
Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
論文参考訳（メタデータ） (2022-11-30T05:33:29Z)
Adversarial Bayesian Simulation [0.9137554315375922]
我々は,敵対的ネットワーク(GAN)と敵対的変動ベイズに基づく深いニューラル暗黙的サンプリング器を用いてベイズ近似計算(ABC)を橋渡しする。我々は,逆最適化問題を解くことにより,後部を直接対象とするベイズ型GANを開発した。本研究は, ニューラルネットワーク生成器と識別器において, 真と近似後部の典型的な総変動距離が0に収束することを示す。
論文参考訳（メタデータ） (2022-08-25T14:18:39Z)
BaCaDI: Bayesian Causal Discovery with Unknown Interventions [118.93754590721173]
BaCaDIは因果構造と介入の両方の潜在確率的表現の連続的な空間で機能する。 BaCaDIは、合成因果発見タスクとシミュレートされた遺伝子発現データの実験において、因果構造と介入ターゲットを識別する関連手法より優れている。
論文参考訳（メタデータ） (2022-06-03T16:25:48Z)
Deconfounded Score Method: Scoring DAGs with Dense Unobserved Confounding [101.35070661471124]
本研究では,観測データ分布に特徴的フットプリントが残っており,突発的・因果的影響を解消できることを示す。汎用ソルバで実装し,高次元問題へのスケールアップが可能なスコアベース因果検出アルゴリズムを提案する。
論文参考訳（メタデータ） (2021-03-28T11:07:59Z)
Learning Disentangled Representations with Latent Variation Predictability [102.4163768995288]
本稿では,潜在不整合表現の変動予測可能性について述べる。逆生成プロセス内では、潜時変動と対応する画像対の相互情報を最大化することにより、変動予測可能性を高める。本研究では,潜在表現の絡み合いを測るために,基礎的構造的生成因子に依存しない評価指標を開発する。
論文参考訳（メタデータ） (2020-07-25T08:54:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。