論文の概要: MDNS: Masked Diffusion Neural Sampler via Stochastic Optimal Control

• arxiv url: http://arxiv.org/abs/2508.10684v1
• Date: Thu, 14 Aug 2025 14:27:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-15 22:24:48.356899
• Title: MDNS: Masked Diffusion Neural Sampler via Stochastic Optimal Control
• Title（参考訳）: MDNS:確率的最適制御によるマスク付き拡散型ニューラルサンプリング
• Authors: Yuchen Zhu, Wei Guo, Jaemoo Choi, Guan-Horng Liu, Yongxin Chen, Molei Tao,
• Abstract要約: 離散状態空間からサンプルを生成するために,ニューラルサンプリングを学習する問題について検討する。 離散型ニューラルサンプリングのための新しいフレームワークである$textbfM$asked $textbfDtextiffusionを提案する。
• 参考スコア（独自算出の注目度）: 28.6806212080778
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study the problem of learning a neural sampler to generate samples from discrete state spaces where the target probability mass function $\pi\propto\mathrm{e}^{-U}$ is known up to a normalizing constant, which is an important task in fields such as statistical physics, machine learning, combinatorial optimization, etc. To better address this challenging task when the state space has a large cardinality and the distribution is multi-modal, we propose $\textbf{M}$asked $\textbf{D}$iffusion $\textbf{N}$eural $\textbf{S}$ampler ($\textbf{MDNS}$), a novel framework for training discrete neural samplers by aligning two path measures through a family of learning objectives, theoretically grounded in the stochastic optimal control of the continuous-time Markov chains. We validate the efficiency and scalability of MDNS through extensive experiments on various distributions with distinct statistical properties, where MDNS learns to accurately sample from the target distributions despite the extremely high problem dimensions and outperforms other learning-based baselines by a large margin. A comprehensive study of ablations and extensions is also provided to demonstrate the efficacy and potential of the proposed framework.
• Abstract（参考訳）: 確率質量関数 $\pi\propto\mathrm{e}^{-U}$ が正規化定数で知られている離散状態空間からサンプルを生成するためにニューラルネットワークを学習する問題は、統計物理学、機械学習、組合せ最適化などの分野において重要な課題である。 状態空間が大きな濃度を持ち、分布がマルチモーダルな場合、この問題に対処するために、理論上は連続時間マルコフ連鎖の確率論的最適制御を基礎として、2つの経路測度を学習目的の族を通して整列させることで、離散神経サンプリングを訓練する新しいフレームワークである$\textbf{M}$asked $\textbf{D}$iffusion $\textbf{N}$eural $\textbf{S}$ampler ($\textbf{MDNS}$)を提案する。 MDNSは,非常に高い問題次元にもかかわらず,対象分布から正確にサンプルを採取し,他の学習ベースラインを大きなマージンで上回り,様々な統計特性を持つ分布に関する広範な実験を通じて,その効率性とスケーラビリティを検証した。 また, 提案フレームワークの有効性と可能性を示すため, アブレーションおよび拡張に関する総合的研究も行った。

関連論文リスト

• MaskPro: Linear-Space Probabilistic Learning for Strict (N:M)-Sparsity on Large Language Models [53.36415620647177]
  半構造化された空間は、M$M$の重みからN$の要素を戦略的に保持することで、有望なソリューションを提供する。 既存の(N:M)互換のアプローチは通常、かなりのエラーに悩まされるルールベースの階層的な欲求探索と、禁止的なトレーニングコストを引き起こす勾配駆動学習の2つのカテゴリに分類される。 MaskProという新しい線形空間確率的フレームワークを提案する。これは、M$連続重みごとに事前のカテゴリー分布を学習し、その後、この分布を活用して(N:M)スパーシリティを$N$-wayサンプリングを通じて生成することを目的としている。
  論文  参考訳（メタデータ） (2025-06-15T15:02:59Z)
• Generative Diffusion Models for Resource Allocation in Wireless Networks [77.36145730415045]
  我々は、専門家を模倣し、最適な分布から新しいサンプルを生成するポリシーを訓練する。 生成したサンプルの逐次実行により,ほぼ最適性能を実現する。 電力制御のケーススタディにおいて数値的な結果を示す。
  論文  参考訳（メタデータ） (2025-04-28T21:44:31Z)
• Amortized Bayesian Multilevel Models [9.831471158899644]
  マルチレベルモデル(MLM)はベイズワークフローの中心的なビルディングブロックである。 MLMは重要な計算上の課題を生じさせ、しばしばその推定と評価は合理的な時間制約の中で難解である。 シミュレーションに基づく推論の最近の進歩は、深層生成ネットワークを用いた複雑な確率モデルに対処するための有望な解決策を提供する。 マルチレベルモデルの確率的因数分解を利用して、効率的なニューラルネットワークトレーニングと、未知のデータセットに対する後続の即時推論を容易にするニューラルネットワークアーキテクチャのファミリーを探索する。
  論文  参考訳（メタデータ） (2024-08-23T17:11:04Z)
• Fast, Distribution-free Predictive Inference for Neural Networks with Coverage Guarantees [25.798057062452443]
  本稿では,予測推論(PI)のための新しい計算効率アルゴリズムを提案する。 データに対する分布的な仮定は不要で、ニューラルネットワークの既存のブートストラップ方式よりも高速に計算できる。
  論文  参考訳（メタデータ） (2023-06-11T04:03:58Z)
• Efficient Model-Based Multi-Agent Mean-Field Reinforcement Learning [89.31889875864599]
  マルチエージェントシステムにおける学習に有効なモデルベース強化学習アルゴリズムを提案する。 我々の理論的な貢献は、MFCのモデルベース強化学習における最初の一般的な後悔の限界である。 コア最適化問題の実用的なパラメトリゼーションを提供する。
  論文  参考訳（メタデータ） (2021-07-08T18:01:02Z)
• Coded Stochastic ADMM for Decentralized Consensus Optimization with Edge Computing [113.52575069030192]
  セキュリティ要件の高いアプリケーションを含むビッグデータは、モバイルデバイスやドローン、車両など、複数の異種デバイスに収集され、格納されることが多い。 通信コストとセキュリティ要件の制限のため、核融合センターにデータを集約するのではなく、分散的に情報を抽出することが最重要となる。 分散エッジノードを介してデータを局所的に処理するマルチエージェントシステムにおいて,モデルパラメータを学習する問題を考える。 分散学習モデルを開発するために,乗算器アルゴリズムの最小バッチ交互方向法(ADMM)のクラスについて検討した。
  論文  参考訳（メタデータ） (2020-10-02T10:41:59Z)
• Deep Networks and the Multiple Manifold Problem [15.144495799445824]
  マシンビジョンにおける応用をモデル化した二項分類タスクである多重多様体問題について検討し、深部完全連結ニューラルネットワークを用いて単位球面の2つの低次元部分多様体を分離する。 ネットワーク深さ$L$がデータの幾何的および統計的性質に対して大きい場合、ネットワーク幅は$L$で十分大きく成長することを示す。 本分析は,実際に動機付けられたモデル問題の文脈における奥行きと幅の具体的な利点を示す。
  論文  参考訳（メタデータ） (2020-08-25T19:20:00Z)
• Diversity inducing Information Bottleneck in Model Ensembles [73.80615604822435]
  本稿では,予測の多様性を奨励することで,ニューラルネットワークの効果的なアンサンブルを生成する問題をターゲットにする。 そこで本研究では,潜伏変数の学習における逆損失の多様性を明示的に最適化し,マルチモーダルデータのモデリングに必要な出力予測の多様性を得る。 最も競争力のあるベースラインと比較して、データ分布の変化の下で、分類精度が大幅に向上した。
  論文  参考訳（メタデータ） (2020-03-10T03:10:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。