論文の概要: Equivariant score-based generative models provably learn distributions with symmetries efficiently
- arxiv url: http://arxiv.org/abs/2410.01244v1
- Date: Wed, 2 Oct 2024 05:14:28 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-04 22:18:46.964715
- Title: Equivariant score-based generative models provably learn distributions with symmetries efficiently
- Title（参考訳）: 等価スコアに基づく生成モデルは対称性を持つ分布を効果的に学習する
- Authors: Ziyu Chen, Markos A. Katsoulakis, Benjamin J. Zhang,
- Abstract要約: 実験的な研究により、対称性を生成モデルに組み込むことで、より優れた一般化とサンプリング効率が得られることが示されている。
我々は,ある群対称性に対して不変な分布を学習するためのスコアベース生成モデル(SGM)の最初の理論的解析と保証を提供する。
- 参考スコア（独自算出の注目度）: 7.90752151686317
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Symmetry is ubiquitous in many real-world phenomena and tasks, such as physics, images, and molecular simulations. Empirical studies have demonstrated that incorporating symmetries into generative models can provide better generalization and sampling efficiency when the underlying data distribution has group symmetry. In this work, we provide the first theoretical analysis and guarantees of score-based generative models (SGMs) for learning distributions that are invariant with respect to some group symmetry and offer the first quantitative comparison between data augmentation and adding equivariant inductive bias. First, building on recent works on the Wasserstein-1 ($\mathbf{d}_1$) guarantees of SGMs and empirical estimations of probability divergences under group symmetry, we provide an improved $\mathbf{d}_1$ generalization bound when the data distribution is group-invariant. Second, we describe the inductive bias of equivariant SGMs using Hamilton-Jacobi-Bellman theory, and rigorously demonstrate that one can learn the score of a symmetrized distribution using equivariant vector fields without data augmentations through the analysis of the optimality and equivalence of score-matching objectives. This also provides practical guidance that one does not have to augment the dataset as long as the vector field or the neural network parametrization is equivariant. Moreover, we quantify the impact of not incorporating equivariant structure into the score parametrization, by showing that non-equivariant vector fields can yield worse generalization bounds. This can be viewed as a type of model-form error that describes the missing structure of non-equivariant vector fields. Numerical simulations corroborate our analysis and highlight that data augmentations cannot replace the role of equivariant vector fields.
- Abstract（参考訳）: 対称性は、物理、画像、分子シミュレーションなど、多くの現実世界の現象やタスクにおいてユビキタスである。
実験的な研究により、生成モデルに対称性を組み込むことで、基礎となるデータ分布が群対称性を持つ場合、より優れた一般化とサンプリング効率が得られることが示されている。
本研究では、ある群対称性に対して不変な分布を学習するためのスコアベース生成モデル(SGM)の第一の理論解析と保証を行い、データの増大と同変帰納バイアスの追加の間の最初の定量的比較を提供する。
まず、群対称性の下での確率発散のSGMの保証と経験的推定に関する最近の研究に基づいて、データ分布が群不変であるときに改善された$\mathbf{d}_1$一般化を与える。
第二に、ハミルトン・ヤコビ・ベルマン理論を用いて同変SGMの帰納バイアスを記述し、同変ベクトル場を用いた対称性分布のスコアをデータ拡張なしで学習できることを、スコアマッチング対象の最適性と等価性の分析により厳密に証明する。
これはまた、ベクトル場やニューラルネットワークのパラメトリゼーションが等式である限り、データセットを増強する必要はない、という実践的なガイダンスを提供する。
さらに、同変でないベクトル場がより悪い一般化境界をもたらすことを示すことにより、同変構造をスコアパラメトリゼーションに含まない影響を定量化する。
これは、非同変ベクトル場の欠落構造を記述するモデル形式誤差の一種と見なすことができる。
数値シミュレーションは、我々の分析を裏付け、データ拡張が等変ベクトル場の役割に取って代わることができないことを強調する。
関連論文リスト
- Symmetry Discovery for Different Data Types [52.2614860099811]
等価ニューラルネットワークは、そのアーキテクチャに対称性を取り入れ、より高度な一般化性能を実現する。
本稿では,タスクの入出力マッピングを近似したトレーニングニューラルネットワークによる対称性発見手法であるLieSDを提案する。
我々は,2体問題,慣性行列予測のモーメント,トップクォークタグ付けといった課題におけるLieSDの性能を検証した。
論文 参考訳（メタデータ） (2024-10-13T13:39:39Z) - SymmPI: Predictive Inference for Data with Group Symmetries [20.772826042110633]
本研究では,データ分布が一般群対称性を持つ場合の予測推論手法であるSymbPIを提案する。
この方法は分布同変変換という新しい概念を利用する。
本研究では,SymbPIが分布不変性の下で有効なカバレッジを持つことを示すとともに,分布シフト時の性能を特徴付ける。
論文 参考訳（メタデータ） (2023-12-26T18:41:14Z) - Symmetry Breaking and Equivariant Neural Networks [17.740760773905986]
我々は「緩和された同注入」という新しい概念を導入する。
我々は、この緩和を同変多層パーセプトロン(E-MLP)に組み込む方法を示す。
対称性の破れの関連性は、様々な応用領域で議論される。
論文 参考訳（メタデータ） (2023-12-14T15:06:48Z) - Learning Probabilistic Symmetrization for Architecture Agnostic Equivariance [16.49488981364657]
群対称性を持つ学習関数における同変アーキテクチャの限界を克服する新しい枠組みを提案する。
我々は、不変量や変圧器のような任意の基底モデルを使用し、それを与えられた群に同変するように対称性付けする。
実証実験は、調整された同変アーキテクチャに対する競争結果を示す。
論文 参考訳（メタデータ） (2023-06-05T13:40:54Z) - Approximation-Generalization Trade-offs under (Approximate) Group
Equivariance [3.0458514384586395]
グループ同変ニューラルネットワークは、タンパク質や薬物の設計など、様々な分野や応用において印象的な性能を示している。
タスク固有の対称性を捉えるモデルが一般化にどう貢献するかを示す。
モデル対称性がデータ対称性と一致しない場合のモデルミス特定に関するより一般的な問題について検討する。
論文 参考訳（メタデータ） (2023-05-27T22:53:37Z) - Generative Adversarial Symmetry Discovery [19.098785309131458]
リーGANは対称性を解釈可能なリー代数基底として表現し、様々な対称性を発見できる。
学習された対称性は、予測の精度と一般化を改善するために、既存の同変ニューラルネットワークで容易に利用することができる。
論文 参考訳（メタデータ） (2023-02-01T04:28:36Z) - On the Strong Correlation Between Model Invariance and Generalization [54.812786542023325]
一般化は、見えないデータを分類するモデルの能力をキャプチャする。
不変性はデータの変換におけるモデル予測の一貫性を測定する。
データセット中心の視点から、あるモデルの精度と不変性は異なるテストセット上で線形に相関している。
論文 参考訳（メタデータ） (2022-07-14T17:08:25Z) - Equivariance Discovery by Learned Parameter-Sharing [153.41877129746223]
データから解釈可能な等価性を発見する方法について検討する。
具体的には、モデルのパラメータ共有方式に対する最適化問題として、この発見プロセスを定式化する。
また,ガウスデータの手法を理論的に解析し,研究された発見スキームとオラクルスキームの間の平均2乗ギャップを限定する。
論文 参考訳（メタデータ） (2022-04-07T17:59:19Z) - Learning Equivariant Energy Based Models with Equivariant Stein
Variational Gradient Descent [80.73580820014242]
本稿では,確率モデルに対称性を組み込むことにより,確率密度の効率的なサンプリングと学習の問題に焦点をあてる。
まず、等変シュタイン変分勾配Descentアルゴリズムを導入する。これは、対称性を持つ密度からサンプリングするスタインの同一性に基づく同変サンプリング法である。
我々はエネルギーベースモデルのトレーニングを改善し、スケールアップする新しい方法を提案する。
論文 参考訳（メタデータ） (2021-06-15T01:35:17Z) - Learning Invariances in Neural Networks [51.20867785006147]
ネットワークパラメータや拡張パラメータに関して,拡張性よりも分布をパラメータ化し,トレーニング損失を同時に最適化する方法を示す。
画像分類,回帰,セグメンテーション,分子特性予測における不均一性の正確なセットと範囲を,拡張の広い空間から復元することができる。
論文 参考訳（メタデータ） (2020-10-22T17:18:48Z) - Asymptotic Analysis of an Ensemble of Randomly Projected Linear
Discriminants [94.46276668068327]
[1]では、ランダムに投影された線形判別式のアンサンブルを用いてデータセットを分類する。
我々は,計算コストのかかるクロスバリデーション推定器の代替として,誤分類確率の一貫した推定器を開発する。
また、実データと合成データの両方で投影次元を調整するための推定器の使用を実証する。
論文 参考訳（メタデータ） (2020-04-17T12:47:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。