論文の概要: Mean-Field Microcanonical Gradient Descent

• arxiv url: http://arxiv.org/abs/2403.08362v2
• Date: Mon, 27 May 2024 13:50:55 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-29 06:36:16.093783
• Title: Mean-Field Microcanonical Gradient Descent
• Title（参考訳）: 平均場マイクロカノニカルグラディエント染料
• Authors: Marcus Häggbom, Morten Karlsmark, Joakim Andén,
• Abstract要約: マイクロカノニカル勾配降下はエネルギーモデルのためのサンプリング手順である。 我々は、不必要な量のエントロピーを失うことによって、しばしば過度に適合することを示す。 弱結合した複数のデータポイントを同時にサンプリングする平均場マイクロカノニカル勾配勾配について提案する。
• 参考スコア（独自算出の注目度）: 0.09558392439655014
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Microcanonical gradient descent is a sampling procedure for energy-based models allowing for efficient sampling of distributions in high dimension. It works by transporting samples from a high-entropy distribution, such as Gaussian white noise, to a low-energy region using gradient descent. We put this model in the framework of normalizing flows, showing how it can often overfit by losing an unnecessary amount of entropy in the descent. As a remedy, we propose a mean-field microcanonical gradient descent that samples several weakly coupled data points simultaneously, allowing for better control of the entropy loss while paying little in terms of likelihood fit. We study these models in the context of financial time series, illustrating the improvements on both synthetic and real data.
• Abstract（参考訳）: マイクロカノニカル勾配勾配は高次元分布の効率的なサンプリングを可能にするエネルギーベースモデルのサンプリング手順である。 サンプルをガウスホワイトノイズなどの高エントロピー分布から勾配降下を用いた低エネルギー領域へ輸送する。 このモデルをフローの正規化の枠組みに置き、不必要なエントロピーの量を減らして過度に適合することを示す。 そこで本研究では,いくつかの弱い結合データ点を同時にサンプリングする平均場マイクロカノニカル勾配降下法を提案する。 我々はこれらのモデルを金融時系列の文脈で研究し、合成データと実データの両方の改善について考察した。

関連論文リスト

• Boosting Diffusion Models with Moving Average Sampling in Frequency Domain [101.43824674873508]
  拡散モデルは、現在のサンプルに頼って次のサンプルをノイズ化し、おそらく不安定化を引き起こす。 本稿では,反復的復調過程をモデル最適化として再解釈し,移動平均機構を利用して全ての先行サンプルをアンサンブルする。 周波数領域における平均サンプリング(MASF)の動作」という完全なアプローチを命名する。
  論文  参考訳（メタデータ） (2024-03-26T16:57:55Z)
• Iterated Denoising Energy Matching for Sampling from Boltzmann Densities [109.23137009609519]
  反復Denoising Energy Matching (iDEM) iDEMは,拡散型サンプリング装置から高モデル密度のサンプリング領域を (I) 交換し, (II) それらのサンプルをマッチング目的に使用した。 提案手法は,全測定値の最先端性能を達成し,2～5倍の速さでトレーニングを行う。
  論文  参考訳（メタデータ） (2024-02-09T01:11:23Z)
• Gaussian Mixture Solvers for Diffusion Models [84.83349474361204]
  本稿では,拡散モデルのためのGMSと呼ばれる,SDEに基づく新しい解法について紹介する。 画像生成およびストロークベース合成におけるサンプル品質の観点から,SDEに基づく多くの解法よりも優れる。
  論文  参考訳（メタデータ） (2023-11-02T02:05:38Z)
• Entropy-MCMC: Sampling from Flat Basins with Ease [10.764160559530849]
  我々は, シャープモードから解放された円滑な後円板に類似した定常分布である補助誘導変数を導入し, MCMC試料を平らな盆地に導出する。 この導出変数をモデルパラメータと統合することにより、計算オーバーヘッドを最小限に抑えた効率的なサンプリングを可能にする、単純なジョイント分布を作成する。 実験により,提案手法は後方の平らな盆地から試料を採取し,比較したベースラインを複数ベンチマークで比較した。
  論文  参考訳（メタデータ） (2023-10-09T04:40:20Z)
• Example-Based Sampling with Diffusion Models [7.943023838493658]
  画像生成のための拡散モデルは、例から点集合を生成する方法を学ぶのに適している。 拡散モデルを用いて既存のサンプルを模した2次元点集合を観測点集合から生成する方法を提案する。 我々は、我々のアプローチの微分可能性を用いて、特性を強制する点集合を最適化する方法を実証する。
  論文  参考訳（メタデータ） (2023-02-10T08:35:17Z)
• Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
  連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。 条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。 提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
  論文  参考訳（メタデータ） (2022-11-30T05:33:29Z)
• Preferential Subsampling for Stochastic Gradient Langevin Dynamics [3.158346511479111]
  勾配MCMCは、データの小さな一様重み付きサブサンプルを持つ対数姿勢の勾配をバイアスなく見積もっている。 得られた勾配推定器は、高いばらつきおよび衝撃サンプリング性能を示すことができる。 このような手法は,使用中の平均サブサンプルサイズを大幅に削減しつつ,同じレベルの精度を維持することができることを示す。
  論文  参考訳（メタデータ） (2022-10-28T14:56:18Z)
• ManiFlow: Implicitly Representing Manifolds with Normalizing Flows [145.9820993054072]
  正規化フロー(NF)は、複雑な実世界のデータ分布を正確にモデル化することが示されているフレキシブルな明示的な生成モデルである。 摂動分布から標本を与えられた多様体上の最も可能性の高い点を復元する最適化目的を提案する。 最後に、NFsの明示的な性質、すなわち、ログのような勾配とログのような勾配から抽出された表面正規化を利用する3次元点雲に焦点を当てる。
  論文  参考訳（メタデータ） (2022-08-18T16:07:59Z)
• Sampling Approximately Low-Rank Ising Models: MCMC meets Variational Methods [35.24886589614034]
  一般相互作用が$J$である超キューブ上の二次定値イジングモデルを考える。 我々の一般的な結果は、低ランクのIsingモデルに対する最初のサンプリングアルゴリズムを示唆している。
  論文  参考訳（メタデータ） (2022-02-17T21:43:50Z)
• A Rigorous Link Between Self-Organizing Maps and Gaussian Mixture Models [78.6363825307044]
  本研究は、自己組織化マップ(SOM)とガウス混合モデル(GMM)の関係を数学的に扱うものである。 我々は,エネルギーベースSOMモデルを勾配勾配下降と解釈できることを示した。 このリンクはSOMsを生成確率モデルとして扱うことができ、SOMsを使用して外れ値を検出したりサンプリングしたりするための正式な正当性を与える。
  論文  参考訳（メタデータ） (2020-09-24T14:09:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。