論文の概要: Rao-Blackwell Gradient Estimators for Equivariant Denoising Diffusion
- arxiv url: http://arxiv.org/abs/2502.09890v2
- Date: Tue, 20 May 2025 07:36:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-21 14:49:51.787141
- Title: Rao-Blackwell Gradient Estimators for Equivariant Denoising Diffusion
- Title（参考訳）: 等変デノイング拡散に対するラオ・ブラックウェル勾配推定器
- Authors: Vinh Tong, Trung-Dung Hoang, Anji Liu, Guy Van den Broeck, Mathias Niepert,
- Abstract要約: 分子やタンパク質の生成のようなドメインでは、物理系はモデルにとって重要な固有の対称性を示す。
学習のばらつきを低減し、確率的に低い分散勾配推定器を提供するフレームワークを提案する。
また,軌道拡散法(Orbit Diffusion)と呼ばれる手法を用いて,損失とサンプリングの手順を取り入れた推定器の実用的実装を提案する。
- 参考スコア（独自算出の注目度）: 41.50816120270017
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In domains such as molecular and protein generation, physical systems exhibit inherent symmetries that are critical to model. Two main strategies have emerged for learning invariant distributions: designing equivariant network architectures and using data augmentation to approximate equivariance. While equivariant architectures preserve symmetry by design, they often involve greater complexity and pose optimization challenges. Data augmentation, on the other hand, offers flexibility but may fall short in fully capturing symmetries. Our framework enhances both approaches by reducing training variance and providing a provably lower-variance gradient estimator. We achieve this by interpreting data augmentation as a Monte Carlo estimator of the training gradient and applying Rao-Blackwellization. This leads to more stable optimization, faster convergence, and reduced variance, all while requiring only a single forward and backward pass per sample. We also present a practical implementation of this estimator incorporating the loss and sampling procedure through a method we call Orbit Diffusion. Theoretically, we guarantee that our loss admits equivariant minimizers. Empirically, Orbit Diffusion achieves state-of-the-art results on GEOM-QM9 for molecular conformation generation, improves crystal structure prediction, and advances text-guided crystal generation on the Perov-5 and MP-20 benchmarks. Additionally, it enhances protein designability in protein structure generation.
- Abstract（参考訳）: 分子やタンパク質の生成のようなドメインでは、物理系はモデルにとって重要な固有の対称性を示す。
不変ネットワークアーキテクチャの設計とデータ拡張による等分散の近似という,不変分布の学習のための2つの主要な戦略が生まれている。
等変アーキテクチャは対称性を設計によって保持するが、しばしばより複雑で最適化に挑戦する。
一方、データ拡張は柔軟性を提供するが、完全にキャプチャされた対称性では不足する可能性がある。
我々のフレームワークは、トレーニングのばらつきを減らし、実証可能な低分散勾配推定器を提供することにより、両方のアプローチを強化する。
トレーニング勾配のモンテカルロ推定器としてデータ拡張を解釈し、ラオブラックウェル化を適用することでこれを実現できる。
これにより、より安定した最適化、より高速な収束、分散の低減が実現され、1サンプルにつき1回の前方通過と後方通過しか必要とされない。
また,軌道拡散法(Orbit Diffusion)と呼ばれる手法を用いて,損失とサンプリングの手順を取り入れた推定器の実用的実装を提案する。
理論的には、損失が同変最小値を持つことを保証する。
経験的に、Orbit Diffusionは分子配座生成のためのGEOM-QM9の最先端の結果を達成し、結晶構造予測を改善し、Perov-5とMP-20ベンチマークでテキスト誘導結晶生成を前進させる。
さらに、タンパク質構造生成におけるタンパク質の識別性を高める。
関連論文リスト
- Preconditioned Inexact Stochastic ADMM for Deep Model [35.37705488695026]
本稿では,拡張性のある並列計算を可能にするアルゴリズム PISA を開発し,様々な第2モーメント方式をサポートする。
厳密な理論的な保証の下で、アルゴリズムは勾配のリプシッツの唯一の仮定の下で収束する。
視覚モデル、大規模言語モデル、強化学習モデル、生成的敵ネットワーク、繰り返しニューラルネットワークを含む様々なFMの総合的または微調整実験は、様々な最先端の方向と比較して優れた数値性能を示す。
論文 参考訳（メタデータ） (2025-02-15T12:28:51Z) - Spatially-Aware Diffusion Models with Cross-Attention for Global Field Reconstruction with Sparse Observations [1.371691382573869]
フィールド再構成タスクにおけるスコアベース拡散モデルの開発と拡張を行う。
本研究では,観測領域と観測領域の間のトラクタブルマッピングを構築するための条件符号化手法を提案する。
本研究では, モデルが再現可能かどうかを把握し, 融合結果の精度を向上する能力を示す。
論文 参考訳（メタデータ） (2024-08-30T19:46:23Z) - On the Trajectory Regularity of ODE-based Diffusion Sampling [79.17334230868693]
拡散に基づく生成モデルは微分方程式を用いて、複素データ分布と抽出可能な事前分布の間の滑らかな接続を確立する。
本稿では,拡散モデルのODEに基づくサンプリングプロセスにおいて,いくつかの興味深い軌道特性を同定する。
論文 参考訳（メタデータ） (2024-05-18T15:59:41Z) - Online Variational Sequential Monte Carlo [49.97673761305336]
我々は,計算効率が高く正確なモデルパラメータ推定とベイジアン潜在状態推定を提供する変分連続モンテカルロ法(VSMC)を構築した。
オンラインVSMCは、パラメータ推定と粒子提案適応の両方を効率よく、完全にオンザフライで実行することができる。
論文 参考訳（メタデータ） (2023-12-19T21:45:38Z) - Ensemble Kalman Filtering Meets Gaussian Process SSM for Non-Mean-Field and Online Inference [47.460898983429374]
我々は,非平均場(NMF)変動推定フレームワークにアンサンブルカルマンフィルタ(EnKF)を導入し,潜在状態の後方分布を近似する。
EnKFとGPSSMのこの新しい結婚は、変分分布の学習における広範なパラメータ化の必要性をなくすだけでなく、エビデンスの下限(ELBO)の解釈可能でクローズドな近似を可能にする。
得られたEnKF支援オンラインアルゴリズムは、データ適合精度を確保しつつ、モデル正規化を組み込んで過度適合を緩和し、目的関数を具現化する。
論文 参考訳（メタデータ） (2023-12-10T15:22:30Z) - Multi-Response Heteroscedastic Gaussian Process Models and Their
Inference [1.52292571922932]
本稿ではヘテロセダスティック共分散関数のモデリングのための新しいフレームワークを提案する。
後部モデルに近似し, 後部予測モデルを容易にするために, 変分推論を用いる。
提案するフレームワークは,幅広いアプリケーションに対して,堅牢で汎用的なツールを提供する。
論文 参考訳（メタデータ） (2023-08-29T15:06:47Z) - Efficient Training of Energy-Based Models Using Jarzynski Equality [13.636994997309307]
エネルギーベースモデル(英: Energy-based model、EBM)は、統計物理学にインスパイアされた生成モデルである。
モデルパラメータに対する勾配の計算には、モデルの分布をサンプリングする必要がある。
ここでは、ジャジンスキーの等式に基づく非平衡熱力学の結果を用いて、この計算を効率的に行う方法を示す。
論文 参考訳（メタデータ） (2023-05-30T21:07:52Z) - Reflected Diffusion Models [93.26107023470979]
本稿では,データのサポートに基づいて進化する反射微分方程式を逆転する反射拡散モデルを提案する。
提案手法は,一般化されたスコアマッチング損失を用いてスコア関数を学習し,標準拡散モデルの主要成分を拡張する。
論文 参考訳（メタデータ） (2023-04-10T17:54:38Z) - ClusterQ: Semantic Feature Distribution Alignment for Data-Free
Quantization [111.12063632743013]
本稿では,ClusterQと呼ばれるデータフリーな量子化手法を提案する。
意味的特徴のクラス間分離性を高めるために,特徴分布統計をクラスタ化し,整列する。
また、クラス内分散を組み込んで、クラスワイドモードの崩壊を解決する。
論文 参考訳（メタデータ） (2022-04-30T06:58:56Z) - A data-driven peridynamic continuum model for upscaling molecular
dynamics [3.1196544696082613]
分子動力学データから最適線形ペリダイナミックソリッドモデルを抽出する学習フレームワークを提案する。
我々は,符号変化の影響関数を持つ離散化LPSモデルに対して,十分な適切な正当性条件を提供する。
このフレームワークは、結果のモデルが数学的に適切であり、物理的に一貫したものであり、トレーニング中に使用するものと異なる設定によく当てはまることを保証します。
論文 参考訳（メタデータ） (2021-08-04T07:07:47Z) - Autoregressive Score Matching [113.4502004812927]
自動回帰条件スコアモデル(AR-CSM)を提案する。
AR-CSMモデルでは、このデータ分布とモデル分布のばらつきを効率的に計算し、最適化することができ、高価なサンプリングや対向訓練を必要としない。
本研究では,合成データに対する密度推定,画像生成,画像復調,暗黙エンコーダを用いた潜在変数モデルの訓練に応用できることを示す。
論文 参考訳（メタデータ） (2020-10-24T07:01:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。