論文の概要: Scalable Discrete Diffusion Samplers: Combinatorial Optimization and Statistical Physics

• arxiv url: http://arxiv.org/abs/2502.08696v2
• Date: Mon, 17 Feb 2025 08:41:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-18 14:16:41.477487
• Title: Scalable Discrete Diffusion Samplers: Combinatorial Optimization and Statistical Physics
• Title（参考訳）: スケーラブル離散拡散サンプリング:組合せ最適化と統計的物理
• Authors: Sebastian Sanokowski, Wilhelm Berghammer, Martin Ennemoser, Haoyu Peter Wang, Sepp Hochreiter, Sebastian Lehner,
• Abstract要約: 離散拡散サンプリングのための2つの新しいトレーニング手法を提案する。 これらの手法は、メモリ効率のトレーニングを行い、教師なし最適化の最先端結果を達成する。 SN-NISとニューラルチェインモンテカルロの適応を導入し,離散拡散モデルの適用を初めて可能とした。
• 参考スコア（独自算出の注目度）: 7.873510219469276
• License:
• Abstract: Learning to sample from complex unnormalized distributions over discrete domains emerged as a promising research direction with applications in statistical physics, variational inference, and combinatorial optimization. Recent work has demonstrated the potential of diffusion models in this domain. However, existing methods face limitations in memory scaling and thus the number of attainable diffusion steps since they require backpropagation through the entire generative process. To overcome these limitations we introduce two novel training methods for discrete diffusion samplers, one grounded in the policy gradient theorem and the other one leveraging Self-Normalized Neural Importance Sampling (SN-NIS). These methods yield memory-efficient training and achieve state-of-the-art results in unsupervised combinatorial optimization. Numerous scientific applications additionally require the ability of unbiased sampling. We introduce adaptations of SN-NIS and Neural Markov Chain Monte Carlo that enable for the first time the application of discrete diffusion models to this problem. We validate our methods on Ising model benchmarks and find that they outperform popular autoregressive approaches. Our work opens new avenues for applying diffusion models to a wide range of scientific applications in discrete domains that were hitherto restricted to exact likelihood models.
• Abstract（参考訳）: 離散領域上の複雑な非正規分布からのサンプルの学習は、統計物理学、変分推論、組合せ最適化に応用された有望な研究の方向性として現れた。 最近の研究は、この領域における拡散モデルの可能性を実証している。 しかし、既存の手法はメモリスケーリングの限界に直面しており、生成過程全体を通して逆伝播を必要とするため、到達可能な拡散ステップの数が増加する。 これらの制約を克服するために、政策勾配定理に基づく2つの新しい拡散サンプリング手法と、自己Normalized Neural Importance Smpling(SN-NIS)を利用した2つの新しい訓練手法を導入する。 これらの手法は、メモリ効率のトレーニングを行い、教師なし組合せ最適化の最先端結果を達成する。 多くの科学的応用には、非バイアスサンプリングの能力も必要である。 SN-NISとNeural Markov Chain Monte Carloの適応を導入し、離散拡散モデルのこの問題への初めて適用を可能にする。 我々はIsingモデルベンチマークの手法を検証し、それが一般的な自己回帰的アプローチより優れていることを発見した。 我々の研究は、正確な確率モデルに制限された離散領域における幅広い科学的応用に拡散モデルを適用するための新しい道を開く。

関連論文リスト

• Accelerated Diffusion Models via Speculative Sampling [89.43940130493233]
  投機的サンプリングは、大規模言語モデルにおける推論を加速する一般的な手法である。 我々は投機的サンプリングを拡散モデルに拡張し、連続したベクトル値のマルコフ連鎖を介してサンプルを生成する。 本稿では,ドラフトモデルをトレーニングする必要のない,シンプルで効果的なアプローチを含む,さまざまなドラフト戦略を提案する。
  論文  参考訳（メタデータ） (2025-01-09T16:50:16Z)
• Training-free Diffusion Model Alignment with Sampling Demons [15.400553977713914]
  提案手法は,報酬関数やモデル再学習を介さずに,推論時の復調過程を導出するための最適化手法である。 提案手法は,高報酬に対応する領域の密度を最適化することにより,雑音分布の制御を行う。 我々の知る限り、提案手法は拡散モデルに対する最初の推論時間、バックプロパゲーションフリーな選好アライメント法である。
  論文  参考訳（メタデータ） (2024-10-08T07:33:49Z)
• Derivative-Free Guidance in Continuous and Discrete Diffusion Models with Soft Value-Based Decoding [84.3224556294803]
  拡散モデルは、画像、分子、DNA、RNA、タンパク質配列の自然なデザイン空間を捉えるのに優れている。 これらの設計空間の自然性を保ちながら、下流の報酬関数を最適化することを目指している。 提案アルゴリズムは,中間雑音状態が将来高い報酬をもたらすことの先駆けとして,ソフトバリュー関数を統合する。
  論文  参考訳（メタデータ） (2024-08-15T16:47:59Z)
• Understanding Reinforcement Learning-Based Fine-Tuning of Diffusion Models: A Tutorial and Review [63.31328039424469]
  このチュートリアルは、下流の報酬関数を最適化するための微調整拡散モデルのための方法を網羅的に調査する。 PPO,微分可能最適化,報酬重み付きMLE,値重み付きサンプリング,経路整合性学習など,様々なRLアルゴリズムの適用について説明する。
  論文  参考訳（メタデータ） (2024-07-18T17:35:32Z)
• A Diffusion Model Framework for Unsupervised Neural Combinatorial Optimization [7.378582040635655]
  現在のディープラーニングアプローチは、正確なサンプル確率を生み出す生成モデルに依存している。 この研究は、この制限を解除し、高度に表現力のある潜在変数モデルを採用する可能性を開放する手法を導入する。 我々は,データフリーなコンビネーション最適化におけるアプローチを実験的に検証し,幅広いベンチマーク問題に対して新しい最先端の手法を実現することを実証した。
  論文  参考訳（メタデータ） (2024-06-03T17:55:02Z)
• Neural Flow Diffusion Models: Learnable Forward Process for Improved Diffusion Modelling [2.1779479916071067]
  より広い範囲のプロセスをサポートすることで拡散モデルを強化する新しいフレームワークを提案する。 また,前処理を学習するための新しいパラメータ化手法を提案する。 結果はNFDMの汎用性と幅広い応用の可能性を評価する。
  論文  参考訳（メタデータ） (2024-04-19T15:10:54Z)
• Improved off-policy training of diffusion samplers [93.66433483772055]
  本研究では,非正規化密度やエネルギー関数を持つ分布からサンプルを抽出する拡散モデルの訓練問題について検討する。 シミュレーションに基づく変分法や非政治手法など,拡散構造推論手法のベンチマークを行った。 我々の結果は、過去の研究の主張に疑問を投げかけながら、既存のアルゴリズムの相対的な利点を浮き彫りにした。
  論文  参考訳（メタデータ） (2024-02-07T18:51:49Z)
• Metropolis Sampling for Constrained Diffusion Models [11.488860260925504]
  近年,画像領域における生成モデルの主要なパラダイムとして拡散モデルが出現している。 我々は、ブラウン運動を反映した、別の単純ノルマント化スキームを導入する。
  論文  参考訳（メタデータ） (2023-07-11T17:05:23Z)
• Protein Design with Guided Discrete Diffusion [67.06148688398677]
  タンパク質設計における一般的なアプローチは、生成モデルと条件付きサンプリングのための識別モデルを組み合わせることである。 離散拡散モデルのためのガイダンス手法であるdiffusioN Optimized Smpling (NOS)を提案する。 NOSは、構造に基づく手法の重要な制限を回避し、シーケンス空間で直接設計を行うことができる。
  論文  参考訳（メタデータ） (2023-05-31T16:31:24Z)
• Towards Controllable Diffusion Models via Reward-Guided Exploration [15.857464051475294]
  強化学習(RL)による拡散モデルの学習段階を導く新しい枠組みを提案する。 RLは、政策そのものではなく、指数スケールの報酬に比例したペイオフ分布からのサンプルによる政策勾配を計算することができる。 3次元形状と分子生成タスクの実験は、既存の条件拡散モデルよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2023-04-14T13:51:26Z)
• A Survey on Generative Diffusion Model [75.93774014861978]
  拡散モデルは、深層生成モデルの新たなクラスである。 時間を要する反復生成過程や高次元ユークリッド空間への閉じ込めなど、いくつかの制限がある。 本調査では,拡散モデルの向上を目的とした高度な手法を多数提示する。
  論文  参考訳（メタデータ） (2022-09-06T16:56:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。