論文の概要: LEAPS: A discrete neural sampler via locally equivariant networks

• arxiv url: http://arxiv.org/abs/2502.10843v1
• Date: Sat, 15 Feb 2025 16:16:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-18 14:14:12.574960
• Title: LEAPS: A discrete neural sampler via locally equivariant networks
• Title（参考訳）: LEAPS: 局所同変ネットワークを用いた離散型ニューラルサンプリング器
• Authors: Peter Holderrieth, Michael S. Albergo, Tommi Jaakkola,
• Abstract要約: 連続時間マルコフ連鎖(CTMC)のレート行列を学習することにより、正規化から既知の離散分布からサンプリングするアルゴリズムであるLEAPSを提案する。 LEAPSは、焼鈍された重要度サンプリングとシーケンシャルモンテカルロ法を連続的に定式化して、重みの分散がCTMCの包含によって相殺されるように拡張したと見なすことができる。 統計物理学における問題に対するLEAPSの有効性を実証する。
• 参考スコア（独自算出の注目度）: 3.5032660973169727
• License:
• Abstract: We propose LEAPS, an algorithm to sample from discrete distributions known up to normalization by learning a rate matrix of a continuous-time Markov chain (CTMC). LEAPS can be seen as a continuous-time formulation of annealed importance sampling and sequential Monte Carlo methods, extended so that the variance of the importance weights is offset by the inclusion of the CTMC. To derive these importance weights, we introduce a set of Radon-Nikodym derivatives of CTMCs over their path measures. Because the computation of these weights is intractable with standard neural network parameterizations of rate matrices, we devise a new compact representation for rate matrices via what we call locally equivariant functions. To parameterize them, we introduce a family of locally equivariant multilayer perceptrons, attention layers, and convolutional networks, and provide an approach to make deep networks that preserve the local equivariance. This property allows us to propose a scalable training algorithm for the rate matrix such that the variance of the importance weights associated to the CTMC are minimal. We demonstrate the efficacy of LEAPS on problems in statistical physics.
• Abstract（参考訳）: 本研究では,連続時間マルコフ連鎖 (CTMC) の速度行列を学習することにより,正規化から既知の離散分布からサンプリングするアルゴリズムであるLEAPSを提案する。 LEAPSは、焼鈍された重要度サンプリングとシーケンシャルモンテカルロ法を連続的に定式化して、重みの分散がCTMCの包含によって相殺されるように拡張したと見なすことができる。 これらの重み付けを導出するために,CTMCの経路測定におけるラドン-ニコディム誘導体のセットを導入する。 これらの重みの計算は、レート行列の標準的なニューラルネットワークパラメタライズによって難解であるため、我々は、局所同変関数と呼ばれるものを通して、レート行列に対する新しいコンパクト表現を考案する。 これらをパラメータ化するために、局所同変多層パーセプトロン、アテンション層、畳み込みネットワークのファミリーを導入し、局所同値を保存するディープネットワークを構築するアプローチを提案する。 この特性により、CTMCに付随する重みの分散が最小となるように、レート行列のスケーラブルなトレーニングアルゴリズムを提案することができる。 統計物理学における問題に対するLEAPSの有効性を実証する。

関連論文リスト

• Symmetry-driven embedding of networks in hyperbolic space [0.4779196219827508]
  双曲モデルでは、経験的ネットワークの重み付き次数分布、高いクラスタリング、階層構造を再現することができる。 しかし、ネットワークの双曲座標を見つけるための現在のアルゴリズムは、推論された座標の不確かさを定量化しない。 BIGUEはマルコフ連鎖モンテカルロアルゴリズムであり、ベイズ的双曲乱数グラフモデルの後部分布をサンプリングする。
  論文  参考訳（メタデータ） (2024-06-15T18:44:02Z)
• Weakly supervised covariance matrices alignment through Stiefel matrices estimation for MEG applications [64.20396555814513]
  本稿では,Mixing Model Stiefel Adaptation (MSA)と呼ばれる時系列データに対する新しいドメイン適応手法を提案する。 我々は、ドメイン間の等価な信号分散とペアの対応を確立することにより、ターゲット領域における豊富なラベルのないデータを利用して効果的な予測を行う。 MSAは、Cam-CANデータセットのMEG信号を用いて、タスクの変動を伴う脳年齢回帰の最近の手法より優れている。
  論文  参考訳（メタデータ） (2024-01-24T19:04:49Z)
• Online Variational Sequential Monte Carlo [49.97673761305336]
  我々は,計算効率が高く正確なモデルパラメータ推定とベイジアン潜在状態推定を提供する変分連続モンテカルロ法(VSMC)を構築した。 オンラインVSMCは、パラメータ推定と粒子提案適応の両方を効率よく、完全にオンザフライで実行することができる。
  論文  参考訳（メタデータ） (2023-12-19T21:45:38Z)
• Adaptive Annealed Importance Sampling with Constant Rate Progress [68.8204255655161]
  Annealed Importance Smpling (AIS)は、抽出可能な分布から重み付けされたサンプルを合成する。 本稿では,alpha$-divergencesに対する定数レートAISアルゴリズムとその効率的な実装を提案する。
  論文  参考訳（メタデータ） (2023-06-27T08:15:28Z)
• Machine learning in and out of equilibrium [58.88325379746631]
  我々の研究は、統計物理学から適応したフォッカー・プランク法を用いて、これらの平行線を探索する。 我々は特に、従来のSGDでは平衡が切れている長期的限界におけるシステムの定常状態に焦点を当てる。 本稿では,ミニバッチの置き換えを伴わない新しいランゲヴィンダイナミクス(SGLD)を提案する。
  論文  参考訳（メタデータ） (2023-06-06T09:12:49Z)
• How can spherical CNNs benefit ML-based diffusion MRI parameter estimation? [2.4417196796959906]
  球状畳み込みニューラルネットワーク(S-CNN)は、従来の完全連結ネットワーク(FCN)に対して明確な優位性を提供する 拡散強調画像(DWI)のみからなるdMRIデータを取得する現況
  論文  参考訳（メタデータ） (2022-07-01T17:49:26Z)
• Distributed support-vector-machine over dynamic balanced directed networks [10.76210145983805]
  分散サポートマシンによるバイナリ分類問題を考察する。 離散ジャンプにおけるネットワークトポロジの変化を取り入れた連続時間アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-04-01T11:02:10Z)
• Sampling in Combinatorial Spaces with SurVAE Flow Augmented MCMC [83.48593305367523]
  ハイブリッドモンテカルロ(Hybrid Monte Carlo)は、複素連続分布からサンプリングする強力なマルコフ連鎖モンテカルロ法である。 本稿では,SurVAEフローを用いたモンテカルロ法の拡張に基づく新しい手法を提案する。 本稿では,統計学,計算物理学,機械学習など,様々な分野におけるアルゴリズムの有効性を実証し,代替アルゴリズムと比較した改良点を考察する。
  論文  参考訳（メタデータ） (2021-02-04T02:21:08Z)
• Controllable Orthogonalization in Training DNNs [96.1365404059924]
  直交性はディープニューラルネットワーク(DNN)のトレーニングに広く用いられている。 本稿では,ニュートン反復(ONI)を用いた計算効率が高く,数値的に安定な直交化法を提案する。 本稿では,画像分類ネットワークの性能向上のために,最適化の利点と表現能力の低下との間に最適なトレードオフを与えるために,直交性を効果的に制御する手法を提案する。 また、ONIは、スペクトル正規化と同様に、ネットワークのリプシッツ連続性を維持することにより、GAN(Generative Adversarial Network)のトレーニングを安定化させることを示した。
  論文  参考訳（メタデータ） (2020-04-02T10:14:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。