論文の概要: Discrete Neural Flow Samplers with Locally Equivariant Transformer

• arxiv url: http://arxiv.org/abs/2505.17741v1
• Date: Fri, 23 May 2025 11:06:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-26 18:08:34.020346
• Title: Discrete Neural Flow Samplers with Locally Equivariant Transformer
• Title（参考訳）: 局所同変変圧器を用いた離散型ニューラルフローサンプリング器
• Authors: Zijing Ou, Ruixiang Zhang, Yingzhen Li,
• Abstract要約: 離散サンプリングのためのトレーニング可能な,効率的なフレームワークである離散ニューラルネットワークサンプリング(DNFS)を提案する。 DNFS はコルモゴロフ方程式を満たすような連続時間マルコフ連鎖の速度行列を学習する。 計算効率をさらに向上するため,我々は局所同値変換器を提案し,レート行列の新しいパラメータ化を提案する。
• 参考スコア（独自算出の注目度）: 25.911046280803586
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sampling from unnormalised discrete distributions is a fundamental problem across various domains. While Markov chain Monte Carlo offers a principled approach, it often suffers from slow mixing and poor convergence. In this paper, we propose Discrete Neural Flow Samplers (DNFS), a trainable and efficient framework for discrete sampling. DNFS learns the rate matrix of a continuous-time Markov chain such that the resulting dynamics satisfy the Kolmogorov equation. As this objective involves the intractable partition function, we then employ control variates to reduce the variance of its Monte Carlo estimation, leading to a coordinate descent learning algorithm. To further facilitate computational efficiency, we propose locally equivaraint Transformer, a novel parameterisation of the rate matrix that significantly improves training efficiency while preserving powerful network expressiveness. Empirically, we demonstrate the efficacy of DNFS in a wide range of applications, including sampling from unnormalised distributions, training discrete energy-based models, and solving combinatorial optimisation problems.
• Abstract（参考訳）: 正規化されていない離散分布からのサンプリングは、様々な領域における根本的な問題である。 マルコフ連鎖モンテカルロは原理的アプローチを提供するが、しばしば遅い混合と低い収束に悩まされる。 本稿では,離散サンプリングのためのトレーニング可能な,効率的なフレームワークである離散ニューラルネットワークサンプリング(DNFS)を提案する。 DNFS はコルモゴロフ方程式を満たすような連続時間マルコフ連鎖の速度行列を学習する。 この目的には難解な分割関数が伴うため、制御変数を用いてモンテカルロ推定のばらつきを低減し、座標降下学習アルゴリズムを導出する。 さらに計算効率を向上させるために,ネットワーク表現性を保ちながらトレーニング効率を大幅に向上するレート行列の新たなパラメータ化である局所同値変換器を提案する。 実験により、非正規分布からのサンプリング、離散エネルギーベースモデルの訓練、組合せ最適化問題の解法など、DNFSの有効性を幅広い応用で実証した。

関連論文リスト

• LEAPS: A discrete neural sampler via locally equivariant networks [3.5032660973169727]
  連続時間マルコフ連鎖(CTMC)のレート行列を学習することにより、正規化から既知の離散分布からサンプリングするアルゴリズムであるLEAPSを提案する。 LEAPSは、焼鈍された重要度サンプリングとシーケンシャルモンテカルロ法を連続的に定式化して、重みの分散がCTMCの包含によって相殺されるように拡張したと見なすことができる。 統計物理学における問題に対するLEAPSの有効性を実証する。
  論文  参考訳（メタデータ） (2025-02-15T16:16:45Z)
• Neural Flow Samplers with Shortcut Models [19.81513273510523]
  流れに基づくサンプルは連続性方程式を満たす速度場を学習してサンプルを生成する。 重要サンプリングは近似を提供するが、高い分散に悩まされる。
  論文  参考訳（メタデータ） (2025-02-11T07:55:41Z)
• Adaptive Sampling for Continuous Group Equivariant Neural Networks [5.141137421503899]
  本稿では,データ中の対称性に対して動的にサンプリングプロセスを調整する適応型サンプリング手法を提案する。 その結果,モデル性能は向上し,メモリ効率は限界的に向上した。
  論文  参考訳（メタデータ） (2024-09-13T11:50:09Z)
• On the Trajectory Regularity of ODE-based Diffusion Sampling [79.17334230868693]
  拡散に基づく生成モデルは微分方程式を用いて、複素データ分布と抽出可能な事前分布の間の滑らかな接続を確立する。 本稿では,拡散モデルのODEに基づくサンプリングプロセスにおいて,いくつかの興味深い軌道特性を同定する。
  論文  参考訳（メタデータ） (2024-05-18T15:59:41Z)
• Distributed Markov Chain Monte Carlo Sampling based on the Alternating Direction Method of Multipliers [143.6249073384419]
  本論文では,乗算器の交互方向法に基づく分散サンプリング手法を提案する。 我々は,アルゴリズムの収束に関する理論的保証と,その最先端性に関する実験的証拠の両方を提供する。 シミュレーションでは,線形回帰タスクとロジスティック回帰タスクにアルゴリズムを配置し,その高速収束を既存の勾配法と比較した。
  論文  参考訳（メタデータ） (2024-01-29T02:08:40Z)
• Adaptive Annealed Importance Sampling with Constant Rate Progress [68.8204255655161]
  Annealed Importance Smpling (AIS)は、抽出可能な分布から重み付けされたサンプルを合成する。 本稿では,alpha$-divergencesに対する定数レートAISアルゴリズムとその効率的な実装を提案する。
  論文  参考訳（メタデータ） (2023-06-27T08:15:28Z)
• Efficient CDF Approximations for Normalizing Flows [64.60846767084877]
  正規化フローの微分同相性に基づいて、閉領域上の累積分布関数(CDF)を推定する。 一般的なフローアーキテクチャとUCIデータセットに関する実験は,従来の推定器と比較して,サンプル効率が著しく向上したことを示している。
  論文  参考訳（メタデータ） (2022-02-23T06:11:49Z)
• Sampling in Combinatorial Spaces with SurVAE Flow Augmented MCMC [83.48593305367523]
  ハイブリッドモンテカルロ(Hybrid Monte Carlo)は、複素連続分布からサンプリングする強力なマルコフ連鎖モンテカルロ法である。 本稿では,SurVAEフローを用いたモンテカルロ法の拡張に基づく新しい手法を提案する。 本稿では,統計学,計算物理学,機械学習など,様々な分野におけるアルゴリズムの有効性を実証し,代替アルゴリズムと比較した改良点を考察する。
  論文  参考訳（メタデータ） (2021-02-04T02:21:08Z)
• Neural Control Variates [71.42768823631918]
  ニューラルネットワークの集合が、積分のよい近似を見つけるという課題に直面していることを示す。 理論的に最適な分散最小化損失関数を導出し、実際に安定したオンライントレーニングを行うための代替の複合損失を提案する。 具体的には、学習した光場近似が高次バウンスに十分な品質であることを示し、誤差補正を省略し、無視可能な可視バイアスのコストでノイズを劇的に低減できることを示した。
  論文  参考訳（メタデータ） (2020-06-02T11:17:55Z)
• Stochastic Normalizing Flows [2.323220706791067]
  単純な事前分布の変換を学習するために,フローの正規化が有効であることを示す。 サンプルとフローパラメータの両方をエンドツーエンドに最適化できる効率的なトレーニング手順を導出する。 いくつかのベンチマークでSNFの表現力,サンプリング効率,正当性について述べる。
  論文  参考訳（メタデータ） (2020-02-16T23:29:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。