論文の概要: Entropy-Guided Sampling of Flat Modes in Discrete Spaces

• arxiv url: http://arxiv.org/abs/2505.02296v2
• Date: Fri, 16 May 2025 03:46:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-19 14:36:13.060068
• Title: Entropy-Guided Sampling of Flat Modes in Discrete Spaces
• Title（参考訳）: 離散空間における平モードのエントロピー誘導サンプリング
• Authors: Pinaki Mohanty, Riddhiman Bhattacharya, Ruqi Zhang,
• Abstract要約: 既存のサンプリングアルゴリズムは、しばしばモードボリュームを見落とし、フラットモードを効果的に捉えるのに苦労する。 本研究では, 局所エントロピーを連続的補助変数によるサンプリングプロセスに組み込んだEmphEntropic Discrete Langevin Proposal (EDLP)を提案する。 局所対数対数離散分布におけるEDLPの非漸近収束保証を提供する。
• 参考スコア（独自算出の注目度）: 9.099589602551573
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sampling from flat modes in discrete spaces is a crucial yet underexplored problem. Flat modes represent robust solutions and have broad applications in combinatorial optimization and discrete generative modeling. However, existing sampling algorithms often overlook the mode volume and struggle to capture flat modes effectively. To address this limitation, we propose \emph{Entropic Discrete Langevin Proposal} (EDLP), which incorporates local entropy into the sampling process through a continuous auxiliary variable under a joint distribution. The local entropy term guides the discrete sampler toward flat modes with a small overhead. We provide non-asymptotic convergence guarantees for EDLP in locally log-concave discrete distributions. Empirically, our method consistently outperforms traditional approaches across tasks that require sampling from flat basins, including Bernoulli distribution, restricted Boltzmann machines, combinatorial optimization, and binary neural networks.
• Abstract（参考訳）: 離散空間における平らなモードからのサンプリングは重要な問題であるが、探索されていない問題である。 フラットモードは堅牢な解であり、組合せ最適化と離散生成モデリングに幅広い応用がある。 しかし、既存のサンプリングアルゴリズムは、しばしばモードボリュームを見落とし、フラットモードを効果的に捉えるのに苦労する。 この制限に対処するために, 局所エントロピーをサンプリングプロセスに組み込んだ, 連立分布下での連続的補助変数を用いた 'emph{Entropic Discrete Langevin Proposal} (EDLP) を提案する。 局所エントロピー項は離散サンプリング器を小さなオーバーヘッドで平らなモードに導く。 局所対数対数離散分布におけるEDLPの非漸近収束保証を提供する。 経験的には、ベルヌーイ分布、制限されたボルツマンマシン、組合せ最適化、バイナリニューラルネットワークなど、平らな盆地からのサンプリングを必要とするタスクに対して、我々の手法は従来よりも一貫して優れています。

関連論文リスト

• Enhancing Gradient-based Discrete Sampling via Parallel Tempering [8.195708231156546]
  勾配に基づく離散サンプリング器は、高次元のマルチモーダル離散分布において局所的なミニマに閉じ込められやすい。 我々は、並列テンパリング(レプリカ交換としても知られる)と離散ランゲヴィン提案を組み合わせた離散ランゲヴィン提案を開発する。 我々は,本アルゴリズムが非漸近的に目標エネルギーに収束し,単一鎖よりも高速な混合を示すことを示す。
  論文  参考訳（メタデータ） (2025-02-26T15:51:15Z)
• Dynamical Measure Transport and Neural PDE Solvers for Sampling [77.38204731939273]
  本研究では, 対象物へのトラクタブル密度関数の移動として, 確率密度からサンプリングする作業に取り組む。 物理インフォームドニューラルネットワーク(PINN)を用いて各偏微分方程式(PDE)の解を近似する。 PINNはシミュレーションと離散化のない最適化を可能にし、非常に効率的に訓練することができる。
  論文  参考訳（メタデータ） (2024-07-10T17:39:50Z)
• On the Trajectory Regularity of ODE-based Diffusion Sampling [79.17334230868693]
  拡散に基づく生成モデルは微分方程式を用いて、複素データ分布と抽出可能な事前分布の間の滑らかな接続を確立する。 本稿では,拡散モデルのODEに基づくサンプリングプロセスにおいて,いくつかの興味深い軌道特性を同定する。
  論文  参考訳（メタデータ） (2024-05-18T15:59:41Z)
• Distributed Markov Chain Monte Carlo Sampling based on the Alternating Direction Method of Multipliers [143.6249073384419]
  本論文では,乗算器の交互方向法に基づく分散サンプリング手法を提案する。 我々は,アルゴリズムの収束に関する理論的保証と,その最先端性に関する実験的証拠の両方を提供する。 シミュレーションでは,線形回帰タスクとロジスティック回帰タスクにアルゴリズムを配置し,その高速収束を既存の勾配法と比較した。
  論文  参考訳（メタデータ） (2024-01-29T02:08:40Z)
• Entropy-MCMC: Sampling from Flat Basins with Ease [10.764160559530849]
  我々は, シャープモードから解放された円滑な後円板に類似した定常分布である補助誘導変数を導入し, MCMC試料を平らな盆地に導出する。 この導出変数をモデルパラメータと統合することにより、計算オーバーヘッドを最小限に抑えた効率的なサンプリングを可能にする、単純なジョイント分布を作成する。 実験により,提案手法は後方の平らな盆地から試料を採取し,比較したベースラインを複数ベンチマークで比較した。
  論文  参考訳（メタデータ） (2023-10-09T04:40:20Z)
• Semi-Implicit Denoising Diffusion Models (SIDDMs) [50.30163684539586]
  Denoising Diffusion Probabilistic Models (DDPM)のような既存のモデルは、高品質で多様なサンプルを提供するが、本質的に多くの反復的なステップによって遅くなる。 暗黙的要因と明示的要因を一致させることにより、この問題に対処する新しいアプローチを導入する。 提案手法は拡散モデルに匹敵する生成性能と,少数のサンプリングステップを持つモデルに比較して非常に優れた結果が得られることを示す。
  論文  参考訳（メタデータ） (2023-06-21T18:49:22Z)
• Optimal Scaling for Locally Balanced Proposals in Discrete Spaces [65.14092237705476]
  離散空間におけるMetropolis-Hastings (M-H) アルゴリズムの効率は、対象分布に依存しない受容率によって特徴づけられることを示す。 最適受容率の知識は、連続空間におけるステップサイズ制御と直接的に類似して、離散空間における提案分布の近傍サイズを自動的に調整することを可能にする。
  論文  参考訳（メタデータ） (2022-09-16T22:09:53Z)
• Distributed Sketching Methods for Privacy Preserving Regression [54.51566432934556]
  ランダム化されたスケッチを利用して、問題の次元を減らし、プライバシを保ち、非同期分散システムにおけるストラグラーレジリエンスを改善します。 従来のスケッチ手法に対する新しい近似保証を導出し、分散スケッチにおけるパラメータ平均化の精度を解析する。 大規模実験によるサーバレスコンピューティングプラットフォームにおける分散スケッチのパフォーマンスについて説明する。
  論文  参考訳（メタデータ） (2020-02-16T08:35:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。