論文の概要: Improving Equivariant Networks with Probabilistic Symmetry Breaking
- arxiv url: http://arxiv.org/abs/2503.21985v1
- Date: Thu, 27 Mar 2025 21:04:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-31 15:32:31.418476
- Title: Improving Equivariant Networks with Probabilistic Symmetry Breaking
- Title（参考訳）: 確率的対称性の破れによる等変ネットワークの改善
- Authors: Hannah Lawrence, Vasco Portilheiro, Yan Zhang, Sékou-Oumar Kaba,
- Abstract要約: 同変ネットワークは既知の対称性をニューラルネットワークにエンコードし、しばしば一般化を強化する。
これは(1)自己対称性が共通な領域での予測タスク、(2)高対称性の潜在空間から再構成するために対称性を破らなければならない生成モデルの両方に重要な問題を引き起こす。
このような分布を表すのに十分な条件を確立する新しい理論結果を示す。
- 参考スコア（独自算出の注目度）: 9.164167226137664
- License:
- Abstract: Equivariance encodes known symmetries into neural networks, often enhancing generalization. However, equivariant networks cannot break symmetries: the output of an equivariant network must, by definition, have at least the same self-symmetries as the input. This poses an important problem, both (1) for prediction tasks on domains where self-symmetries are common, and (2) for generative models, which must break symmetries in order to reconstruct from highly symmetric latent spaces. This fundamental limitation can be addressed by considering equivariant conditional distributions, instead of equivariant functions. We present novel theoretical results that establish necessary and sufficient conditions for representing such distributions. Concretely, this representation provides a practical framework for breaking symmetries in any equivariant network via randomized canonicalization. Our method, SymPE (Symmetry-breaking Positional Encodings), admits a simple interpretation in terms of positional encodings. This approach expands the representational power of equivariant networks while retaining the inductive bias of symmetry, which we justify through generalization bounds. Experimental results demonstrate that SymPE significantly improves performance of group-equivariant and graph neural networks across diffusion models for graphs, graph autoencoders, and lattice spin system modeling.
- Abstract（参考訳）: 等分散は既知の対称性をニューラルネットワークに符号化し、しばしば一般化を強化する。
しかし、同変ネットワークは対称性を破ることができず、同変ネットワークの出力は定義上、少なくとも入力と同じ自己対称性を持つ必要がある。
これは(1)自己対称性が共通な領域での予測タスク、(2)高対称性の潜在空間から再構成するために対称性を破らなければならない生成モデルの両方に重要な問題を引き起こす。
この基本的な極限は、同変函数の代わりに同変条件分布を考えることで解決できる。
このような分布を表現するために必要かつ十分な条件を確立する新しい理論結果を提案する。
具体的には、この表現は任意の同変ネットワークにおける対称性をランダム化された正準化によって破る実践的な枠組みを提供する。
提案手法は,Symmetry-breaking Positional Encodings (Symmetry-breaking Positional Encodings) である。
このアプローチは、一般化境界によって正当化される対称性の帰納バイアスを維持しながら、同変ネットワークの表現力を拡大する。
実験結果から,SymPEはグラフ,グラフオートエンコーダ,格子スピンシステムモデリングの拡散モデル間のグループ同変およびグラフニューラルネットワークの性能を著しく向上することが示された。
関連論文リスト
- Symmetry Discovery for Different Data Types [52.2614860099811]
等価ニューラルネットワークは、そのアーキテクチャに対称性を取り入れ、より高度な一般化性能を実現する。
本稿では,タスクの入出力マッピングを近似したトレーニングニューラルネットワークによる対称性発見手法であるLieSDを提案する。
我々は,2体問題,慣性行列予測のモーメント,トップクォークタグ付けといった課題におけるLieSDの性能を検証した。
論文 参考訳（メタデータ） (2024-10-13T13:39:39Z) - Equivariant score-based generative models provably learn distributions with symmetries efficiently [7.90752151686317]
実験的な研究により、対称性を生成モデルに組み込むことで、より優れた一般化とサンプリング効率が得られることが示されている。
我々は,ある群対称性に対して不変な分布を学習するためのスコアベース生成モデル(SGM)の最初の理論的解析と保証を提供する。
論文 参考訳（メタデータ） (2024-10-02T05:14:28Z) - Variational Inference Failures Under Model Symmetries: Permutation Invariant Posteriors for Bayesian Neural Networks [43.88179780450706]
重み空間置換対称性が変分推論に与える影響について検討する。
置換不変変分後部を構築するための対称対称性機構を考案する。
本研究は, 対称性分布が真の後部と厳密に適合していること, 元のELBO目標を用いてトレーニングできること, を示す。
論文 参考訳（メタデータ） (2024-08-10T09:06:34Z) - Enhancing lattice kinetic schemes for fluid dynamics with Lattice-Equivariant Neural Networks [79.16635054977068]
我々はLattice-Equivariant Neural Networks (LENNs)と呼ばれる新しい同変ニューラルネットワークのクラスを提案する。
我々の手法は、ニューラルネットワークに基づく代理モデルLattice Boltzmann衝突作用素の学習を目的とした、最近導入されたフレームワーク内で開発されている。
本研究は,実世界のシミュレーションにおける機械学習強化Lattice Boltzmann CFDの実用化に向けて展開する。
論文 参考訳（メタデータ） (2024-05-22T17:23:15Z) - Symmetry Breaking and Equivariant Neural Networks [17.740760773905986]
我々は「緩和された同注入」という新しい概念を導入する。
我々は、この緩和を同変多層パーセプトロン(E-MLP)に組み込む方法を示す。
対称性の破れの関連性は、様々な応用領域で議論される。
論文 参考訳（メタデータ） (2023-12-14T15:06:48Z) - Learning Layer-wise Equivariances Automatically using Gradients [66.81218780702125]
畳み込みは等価対称性をニューラルネットワークにエンコードし、より優れた一般化性能をもたらす。
対称性は、ネットワークが表現できる機能、事前に指定する必要、適応できない機能に対して、固定されたハード制約を提供する。
私たちのゴールは、勾配を使ってデータから自動的に学習できるフレキシブル対称性の制約を可能にすることです。
論文 参考訳（メタデータ） (2023-10-09T20:22:43Z) - Using and Abusing Equivariance [10.70891251559827]
群同変畳み込みニューラルネットワークは, サブサンプリングを用いて, 対称性に等しくなることを学習する。
ネットワークの入力次元を1ピクセル程度に変化させることで、一般的に使われているアーキテクチャが正確には同値ではなく、ほぼ同値となるのに十分であることを示す。
論文 参考訳（メタデータ） (2023-08-22T09:49:26Z) - Evaluating the Robustness of Interpretability Methods through
Explanation Invariance and Equivariance [72.50214227616728]
解釈可能性法は、それらの説明が説明されたモデルを忠実に記述した場合にのみ有用である。
特定の対称性群の下で予測が不変であるニューラルネットワークを考える。
論文 参考訳（メタデータ） (2023-04-13T17:59:03Z) - Oracle-Preserving Latent Flows [58.720142291102135]
我々はラベル付きデータセット全体にわたって複数の非自明な連続対称性を同時に発見するための方法論を開発する。
対称性変換と対応するジェネレータは、特別に構築された損失関数で訓練された完全連結ニューラルネットワークでモデル化される。
この研究における2つの新しい要素は、縮小次元の潜在空間の使用と、高次元のオラクルに関して不変な変換への一般化である。
論文 参考訳（メタデータ） (2023-02-02T00:13:32Z) - The Surprising Effectiveness of Equivariant Models in Domains with
Latent Symmetry [6.716931832076628]
領域対称性と正確に一致しない対称性制約を課すことは、環境における真の対称性を学ぶのに非常に有用であることを示す。
ロボット操作・制御問題における教師付き学習と強化学習の両方において,同変モデルが潜在対称性を持つ領域における非同変手法を大幅に上回ることを示す。
論文 参考訳（メタデータ） (2022-11-16T21:51:55Z) - Learning Invariances in Neural Networks [51.20867785006147]
ネットワークパラメータや拡張パラメータに関して,拡張性よりも分布をパラメータ化し,トレーニング損失を同時に最適化する方法を示す。
画像分類,回帰,セグメンテーション,分子特性予測における不均一性の正確なセットと範囲を,拡張の広い空間から復元することができる。
論文 参考訳（メタデータ） (2020-10-22T17:18:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。