論文の概要: SymmetricDiffusers: Learning Discrete Diffusion on Finite Symmetric Groups
- arxiv url: http://arxiv.org/abs/2410.02942v1
- Date: Thu, 3 Oct 2024 19:37:40 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-03 04:55:13.114686
- Title: SymmetricDiffusers: Learning Discrete Diffusion on Finite Symmetric Groups
- Title（参考訳）: 対称ディフューザ:有限対称群における離散拡散の学習
- Authors: Yongxing Zhang, Donglin Yang, Renjie Liao,
- Abstract要約: 本稿では,S_n$以上の複雑な分布を学習するタスクを単純化する離散拡散モデルを提案する。
我々のモデルは、4桁のMNIST画像のソートを含む課題の解決において、最先端または同等のパフォーマンスを達成する。
- 参考スコア（独自算出の注目度）: 14.925722398371498
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Finite symmetric groups $S_n$ are essential in fields such as combinatorics, physics, and chemistry. However, learning a probability distribution over $S_n$ poses significant challenges due to its intractable size and discrete nature. In this paper, we introduce SymmetricDiffusers, a novel discrete diffusion model that simplifies the task of learning a complicated distribution over $S_n$ by decomposing it into learning simpler transitions of the reverse diffusion using deep neural networks. We identify the riffle shuffle as an effective forward transition and provide empirical guidelines for selecting the diffusion length based on the theory of random walks on finite groups. Additionally, we propose a generalized Plackett-Luce (PL) distribution for the reverse transition, which is provably more expressive than the PL distribution. We further introduce a theoretically grounded "denoising schedule" to improve sampling and learning efficiency. Extensive experiments show that our model achieves state-of-the-art or comparable performances on solving tasks including sorting 4-digit MNIST images, jigsaw puzzles, and traveling salesman problems. Our code is released at https://github.com/NickZhang53/SymmetricDiffusers.
- Abstract（参考訳）: 有限対称群 $S_n$ は、組合せ論、物理学、化学などの分野において必須である。
しかし、$S_n$を超える確率分布の学習は、その難解な大きさと離散的な性質のために大きな課題を生んでいる。
本稿では,SymmetricDiffusersを提案する。SymmetricDiffusersは,深層ニューラルネットワークを用いて逆拡散の単純な遷移を学習することで,S_n$以上の複雑な分布を学習するタスクを単純化する。
実効的な前方遷移としてリッフルシャッフルを同定し、有限群上のランダムウォークの理論に基づいて拡散長を選択するための経験的ガイドラインを提供する。
さらに,逆遷移に対する一般化されたPlackett-Luce (PL) 分布を提案し,PL分布よりも明らかに表現性が高いことを示した。
さらに、サンプリングと学習効率を向上させるため、理論的に基礎付けられた「デノベーションスケジュール」を導入する。
4桁のMNIST画像のソート、ジグソーパズル、旅行セールスマン問題などのタスクにおいて、我々のモデルは最先端または同等のパフォーマンスを達成することを示す。
私たちのコードはhttps://github.com/NickZhang53/SymmetricDiffusers.comでリリースされています。
関連論文リスト
- Non-asymptotic bounds for forward processes in denoising diffusions: Ornstein-Uhlenbeck is hard to beat [49.1574468325115]
本稿では,全変動(TV)における前方拡散誤差の非漸近的境界について述べる。
我々は、R$からFarthestモードまでの距離でマルチモーダルデータ分布をパラメライズし、加法的および乗法的雑音による前方拡散を考察する。
論文 参考訳（メタデータ） (2024-08-25T10:28:31Z) - Discrete generative diffusion models without stochastic differential equations: a tensor network approach [1.5839621757142595]
拡散モデル(DM)は、生成機械学習の手法のクラスである。
ネットワーク(TN)を用いて,このような離散モデルを効率的に定義し,サンプリングする方法を示す。」
論文 参考訳（メタデータ） (2024-07-15T18:00:11Z) - Amortizing intractable inference in diffusion models for vision, language, and control [89.65631572949702]
本稿では,p(mathbfx)$以前の拡散生成モデルとブラックボックス制約,あるいは関数$r(mathbfx)$からなるモデルにおいて,データ上の後部サンプルである $mathbfxsim prm post(mathbfx)propto p(mathbfx)r(mathbfx)$について検討する。
我々は,データフリー学習目標である相対軌道バランスの正しさを,サンプルから抽出した拡散モデルの訓練のために証明する。
論文 参考訳（メタデータ） (2024-05-31T16:18:46Z) - Learning general Gaussian mixtures with efficient score matching [16.06356123715737]
我々は、$d$次元で$k$ガウシアンの混合を学習する問題を研究する。
我々は、下層の混合成分について分離を前提としない。
我々は、ターゲット混合物から$dmathrmpoly(k/varepsilon)$サンプルを抽出し、サンプル-ポリノミカル時間で実行し、サンプリング器を構築するアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-04-29T17:30:36Z) - Learning Mixtures of Gaussians Using Diffusion Models [9.118706387430883]
テレビエラーに対して$k$ Gaussiansの混合を学習するための新しいアルゴリズムを提案する。
我々のアプローチは解析的であり、拡散モデルの枠組みに依存している。
論文 参考訳（メタデータ） (2024-04-29T17:00:20Z) - SwinGNN: Rethinking Permutation Invariance in Diffusion Models for Graph Generation [15.977241867213516]
置換同変ネットワークに基づく拡散モデルは、グラフデータの置換不変分布を学習することができる。
我々は、効率的なエッジツーエッジ2-WLメッセージパッシングネットワークを利用する、$textitSwinGNN$と呼ばれる不変な拡散モデルを提案する。
論文 参考訳（メタデータ） (2023-07-04T10:58:42Z) - On-Demand Sampling: Learning Optimally from Multiple Distributions [63.20009081099896]
社会と現実世界の考察は、マルチディストリビューション学習パラダイムの台頭につながっている。
これらの学習パラダイムの最適なサンプル複雑性を確立し、このサンプル複雑性を満たすアルゴリズムを提供する。
アルゴリズムの設計と解析は,ゼロサムゲーム解決のためのオンライン学習手法の拡張によって実現されている。
論文 参考訳（メタデータ） (2022-10-22T19:07:26Z) - Diffusion models as plug-and-play priors [98.16404662526101]
我々は、事前の$p(mathbfx)$と補助的な制約である$c(mathbfx,mathbfy)$からなるモデルにおいて、高次元データ$mathbfx$を推論する問題を考える。
拡散モデルの構造は,異なるノイズ量に富んだ定性デノナイジングネットワークを通じて,微分を反復することで近似推論を行うことができる。
論文 参考訳（メタデータ） (2022-06-17T21:11:36Z) - Stein Variational Inference for Discrete Distributions [70.19352762933259]
離散分布を等価なピースワイズ連続分布に変換する単純な一般フレームワークを提案する。
提案手法は,ギブスサンプリングや不連続ハミルトニアンモンテカルロといった従来のアルゴリズムよりも優れている。
我々は,この手法がバイナライズニューラルネットワーク(BNN)のアンサンブルを学習するための有望なツールであることを実証した。
さらに、そのような変換は、勾配のないカーネル化されたStein差分に簡単に適用でき、離散分布の良性(GoF)テストを実行することができる。
論文 参考訳（メタデータ） (2020-03-01T22:45:41Z) - Neural Bayes: A Generic Parameterization Method for Unsupervised
Representation Learning [175.34232468746245]
本稿ではニューラルベイズと呼ばれるパラメータ化手法を提案する。
これは一般に計算が難しい統計量の計算を可能にする。
このパラメータ化のための2つの独立したユースケースを示す。
論文 参考訳（メタデータ） (2020-02-20T22:28:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。