論文の概要: Symmetry-Preserving Diffusion Models via Target Symmetrization

• arxiv url: http://arxiv.org/abs/2502.09890v1
• Date: Fri, 14 Feb 2025 03:26:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-17 14:45:06.456737
• Title: Symmetry-Preserving Diffusion Models via Target Symmetrization
• Title（参考訳）: ターゲット対称性を用いた対称性保存拡散モデル
• Authors: Vinh Tong, Yun Ye, Trung-Dung Hoang, Anji Liu, Guy Van den Broeck, Mathias Niepert,
• Abstract要約: 本稿では, 対称性付き損失関数を用いて等価性を強制する新しい手法を提案する。 本手法では,モンテカルロサンプリングを用いて平均値を推定し,計算オーバーヘッドを最小限に抑える。 実験では,既存の方法と比較して試料の品質が向上した。
• 参考スコア（独自算出の注目度）: 43.83899968118655
• License:
• Abstract: Diffusion models are powerful tools for capturing complex distributions, but modeling data with inherent symmetries, such as molecular structures, remains challenging. Equivariant denoisers are commonly used to address this, but they introduce architectural complexity and optimization challenges, including noisy gradients and convergence issues. We propose a novel approach that enforces equivariance through a symmetrized loss function, which applies a time-dependent weighted averaging operation over group actions to the model's prediction target. This ensures equivariance without explicit architectural constraints and reduces gradient variance, leading to more stable and efficient optimization. Our method uses Monte Carlo sampling to estimate the average, incurring minimal computational overhead. We provide theoretical guarantees of equivariance for the minimizer of our loss function and demonstrate its effectiveness on synthetic datasets and the molecular conformation generation task using the GEOM-QM9 dataset. Experiments show improved sample quality compared to existing methods, highlighting the potential of our approach to enhance the scalability and practicality of equivariant diffusion models in generative tasks.
• Abstract（参考訳）: 拡散モデルは複雑な分布を捉える強力なツールであるが、分子構造のような固有の対称性を持つデータモデリングは依然として困難である。 等変デノイザは一般的にこの問題に対処するために使用されるが、ノイズのある勾配や収束問題を含むアーキテクチャ上の複雑さと最適化の課題を導入する。 本稿では,群動作に対する時間依存重み付け平均化演算をモデルの予測対象に適用する,対称性付き損失関数による等価性を実現する新しい手法を提案する。 これにより、明示的なアーキテクチャ上の制約なしに等分散が保証され、勾配の分散が減少し、より安定で効率的な最適化がもたらされる。 本手法では,モンテカルロサンプリングを用いて平均値を推定し,計算オーバーヘッドを最小限に抑える。 本稿では,損失関数の最小値に対する等価性の理論的保証と,GEOM-QM9データセットを用いた合成データセットと分子配座生成タスクの有効性を示す。 実験により, 既存手法と比較して試料品質が向上し, 生成タスクにおける等変拡散モデルのスケーラビリティと実用性を高めるためのアプローチの可能性を明らかにした。

関連論文リスト

• Preconditioned Inexact Stochastic ADMM for Deep Model [35.37705488695026]
  本稿では,拡張性のある並列計算を可能にするアルゴリズム PISA を開発し,様々な第2モーメント方式をサポートする。 厳密な理論的な保証の下で、アルゴリズムは勾配のリプシッツの唯一の仮定の下で収束する。 視覚モデル、大規模言語モデル、強化学習モデル、生成的敵ネットワーク、繰り返しニューラルネットワークを含む様々なFMの総合的または微調整実験は、様々な最先端の方向と比較して優れた数値性能を示す。
  論文  参考訳（メタデータ） (2025-02-15T12:28:51Z)
• Spatially-Aware Diffusion Models with Cross-Attention for Global Field Reconstruction with Sparse Observations [1.371691382573869]
  フィールド再構成タスクにおけるスコアベース拡散モデルの開発と拡張を行う。 本研究では,観測領域と観測領域の間のトラクタブルマッピングを構築するための条件符号化手法を提案する。 本研究では, モデルが再現可能かどうかを把握し, 融合結果の精度を向上する能力を示す。
  論文  参考訳（メタデータ） (2024-08-30T19:46:23Z)
• On the Trajectory Regularity of ODE-based Diffusion Sampling [79.17334230868693]
  拡散に基づく生成モデルは微分方程式を用いて、複素データ分布と抽出可能な事前分布の間の滑らかな接続を確立する。 本稿では,拡散モデルのODEに基づくサンプリングプロセスにおいて,いくつかの興味深い軌道特性を同定する。
  論文  参考訳（メタデータ） (2024-05-18T15:59:41Z)
• Online Variational Sequential Monte Carlo [49.97673761305336]
  我々は,計算効率が高く正確なモデルパラメータ推定とベイジアン潜在状態推定を提供する変分連続モンテカルロ法(VSMC)を構築した。 オンラインVSMCは、パラメータ推定と粒子提案適応の両方を効率よく、完全にオンザフライで実行することができる。
  論文  参考訳（メタデータ） (2023-12-19T21:45:38Z)
• Multi-Response Heteroscedastic Gaussian Process Models and Their Inference [1.52292571922932]
  本稿ではヘテロセダスティック共分散関数のモデリングのための新しいフレームワークを提案する。 後部モデルに近似し, 後部予測モデルを容易にするために, 変分推論を用いる。 提案するフレームワークは,幅広いアプリケーションに対して,堅牢で汎用的なツールを提供する。
  論文  参考訳（メタデータ） (2023-08-29T15:06:47Z)
• Efficient Training of Energy-Based Models Using Jarzynski Equality [13.636994997309307]
  エネルギーベースモデル(英: Energy-based model、EBM)は、統計物理学にインスパイアされた生成モデルである。 モデルパラメータに対する勾配の計算には、モデルの分布をサンプリングする必要がある。 ここでは、ジャジンスキーの等式に基づく非平衡熱力学の結果を用いて、この計算を効率的に行う方法を示す。
  論文  参考訳（メタデータ） (2023-05-30T21:07:52Z)
• Reflected Diffusion Models [93.26107023470979]
  本稿では,データのサポートに基づいて進化する反射微分方程式を逆転する反射拡散モデルを提案する。 提案手法は,一般化されたスコアマッチング損失を用いてスコア関数を学習し,標準拡散モデルの主要成分を拡張する。
  論文  参考訳（メタデータ） (2023-04-10T17:54:38Z)
• ClusterQ: Semantic Feature Distribution Alignment for Data-Free Quantization [111.12063632743013]
  本稿では,ClusterQと呼ばれるデータフリーな量子化手法を提案する。 意味的特徴のクラス間分離性を高めるために,特徴分布統計をクラスタ化し,整列する。 また、クラス内分散を組み込んで、クラスワイドモードの崩壊を解決する。
  論文  参考訳（メタデータ） (2022-04-30T06:58:56Z)
• A data-driven peridynamic continuum model for upscaling molecular dynamics [3.1196544696082613]
  分子動力学データから最適線形ペリダイナミックソリッドモデルを抽出する学習フレームワークを提案する。 我々は,符号変化の影響関数を持つ離散化LPSモデルに対して,十分な適切な正当性条件を提供する。 このフレームワークは、結果のモデルが数学的に適切であり、物理的に一貫したものであり、トレーニング中に使用するものと異なる設定によく当てはまることを保証します。
  論文  参考訳（メタデータ） (2021-08-04T07:07:47Z)
• Autoregressive Score Matching [113.4502004812927]
  自動回帰条件スコアモデル(AR-CSM)を提案する。 AR-CSMモデルでは、このデータ分布とモデル分布のばらつきを効率的に計算し、最適化することができ、高価なサンプリングや対向訓練を必要としない。 本研究では,合成データに対する密度推定,画像生成,画像復調,暗黙エンコーダを用いた潜在変数モデルの訓練に応用できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T07:01:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。