論文の概要: Regularizing Towards Soft Equivariance Under Mixed Symmetries
- arxiv url: http://arxiv.org/abs/2306.00356v1
- Date: Thu, 1 Jun 2023 05:33:41 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-02 18:10:44.443975
- Title: Regularizing Towards Soft Equivariance Under Mixed Symmetries
- Title(参考訳): 混合対称性下でのソフト等分散への規則化
- Authors: Hyunsu Kim, Hyungi Lee, Hongseok Yang, and Juho Lee
- Abstract要約: 混合近似対称性を持つデータセットのモデルを構築するための正規化器に基づく手法を提案する。
提案手法は,近似対称性のレベルを正確に発見しながら,従来の手法よりも精度が高いことを示す。
- 参考スコア(独自算出の注目度): 23.603875905608565
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Datasets often have their intrinsic symmetries, and particular deep-learning
models called equivariant or invariant models have been developed to exploit
these symmetries. However, if some or all of these symmetries are only
approximate, which frequently happens in practice, these models may be
suboptimal due to the architectural restrictions imposed on them. We tackle
this issue of approximate symmetries in a setup where symmetries are mixed,
i.e., they are symmetries of not single but multiple different types and the
degree of approximation varies across these types. Instead of proposing a new
architectural restriction as in most of the previous approaches, we present a
regularizer-based method for building a model for a dataset with mixed
approximate symmetries. The key component of our method is what we call
equivariance regularizer for a given type of symmetries, which measures how
much a model is equivariant with respect to the symmetries of the type. Our
method is trained with these regularizers, one per each symmetry type, and the
strength of the regularizers is automatically tuned during training, leading to
the discovery of the approximation levels of some candidate symmetry types
without explicit supervision. Using synthetic function approximation and motion
forecasting tasks, we demonstrate that our method achieves better accuracy than
prior approaches while discovering the approximate symmetry levels correctly.
- Abstract(参考訳): データセットは固有の対称性を持つことが多く、同変モデルや不変モデルと呼ばれる特定のディープラーニングモデルはこれらの対称性を利用するために開発された。
しかし、これらの対称性のいくつかまたは全てが近似的であり、実際にしばしば発生する場合、これらのモデルはそれらに課せられるアーキテクチャ上の制約のために最適ではないかもしれない。
我々は、対称性が混合されるような設定において、近似対称性のこの問題に取り組む。すなわち、それらは単一ではなく複数の異なるタイプの対称性であり、これらのタイプ間で近似の程度が変化する。
従来のアプローチのほとんどのように新しいアーキテクチャ制約を提案する代わりに、混合近似対称性を持つデータセットのモデルを構築するための正規化器ベースの手法を提案する。
この手法の鍵となる要素は、与えられた種類の対称性に対する同値正規化器と呼ばれるもので、モデルの対称性に対する同値度を測るものである。
本手法は,各対称型に1つずつの正則化器を用いて訓練し,訓練中に正則化器の強度を自動調整し,明示的な監督なしにいくつかの候補対称性型の近似レベルを発見できる。
合成関数近似と運動予測タスクを用いて, 近似対称性を正しく検出しながら, 従来手法よりも精度が向上することを示す。
関連論文リスト
- A Generative Model of Symmetry Transformations [20.988372904406987]
我々は,データ中の対称性を捉えることを目的とした生成モデルを構築し,解釈可能な方法でどの対称性が存在するかを学習するモデルを構築した。
論文 参考訳(メタデータ) (2024-03-04T11:32:18Z) - Self-Supervised Detection of Perfect and Partial Input-Dependent
Symmetries [13.642876234762662]
群同値は、入力の群変換に対する一貫した応答を保証する。
この性質は、グループで考慮された対称性がデータで観測されたものとは異なる場合、過度に制約されたモデルにつながる可能性がある。
本稿では,ラベルを使わずに各入力の対称性のレベルを検出する手法を提案する。
論文 参考訳(メタデータ) (2023-12-19T15:11:46Z) - Asymmetric Norms to Approximate the Minimum Action Distance [9.040428950629153]
本稿では,報酬のないマルコフ決定過程の状態表現について述べる。
我々は、この表現がどのようにしてゴール条件付きポリシーを学ぶことができるかを示す。
論文 参考訳(メタデータ) (2023-12-16T00:50:17Z) - Symmetry Breaking and Equivariant Neural Networks [17.51364577113718]
我々は「緩和された同注入」という新しい概念を導入する。
我々は、この緩和を同変多層パーセプトロン(E-MLP)に組み込む方法を示す。
対称性の破れの関連性は、様々な応用領域で議論される。
論文 参考訳(メタデータ) (2023-12-14T15:06:48Z) - Learning Layer-wise Equivariances Automatically using Gradients [66.81218780702125]
畳み込みは等価対称性をニューラルネットワークにエンコードし、より優れた一般化性能をもたらす。
対称性は、ネットワークが表現できる機能、事前に指定する必要、適応できない機能に対して、固定されたハード制約を提供する。
私たちのゴールは、勾配を使ってデータから自動的に学習できるフレキシブル対称性の制約を可能にすることです。
論文 参考訳(メタデータ) (2023-10-09T20:22:43Z) - Latent Space Symmetry Discovery [34.17702681244696]
本稿では,データから非線形対称性を発見できる新しい生成モデルであるLatent LieGANを提案する。
本手法は, 特定の条件下では任意の非線形対称性を表現可能であることを示す。
各種力学系における方程式発見と長期予測の改善におけるLaLiGANの活用例を示す。
論文 参考訳(メタデータ) (2023-09-29T19:33:01Z) - Geometric Neural Diffusion Processes [55.891428654434634]
拡散モデルの枠組みを拡張して、無限次元モデリングに一連の幾何学的先行を組み込む。
これらの条件で、生成関数モデルが同じ対称性を持つことを示す。
論文 参考訳(メタデータ) (2023-07-11T16:51:38Z) - Oracle-Preserving Latent Flows [58.720142291102135]
我々はラベル付きデータセット全体にわたって複数の非自明な連続対称性を同時に発見するための方法論を開発する。
対称性変換と対応するジェネレータは、特別に構築された損失関数で訓練された完全連結ニューラルネットワークでモデル化される。
この研究における2つの新しい要素は、縮小次元の潜在空間の使用と、高次元のオラクルに関して不変な変換への一般化である。
論文 参考訳(メタデータ) (2023-02-02T00:13:32Z) - Deep Learning Symmetries and Their Lie Groups, Algebras, and Subalgebras
from First Principles [55.41644538483948]
ラベル付きデータセットに存在する連続した対称性群の検出と同定のためのディープラーニングアルゴリズムを設計する。
完全に接続されたニューラルネットワークを用いて、変換対称性と対応するジェネレータをモデル化する。
また,Lie群とその性質の数学的研究に機械学習アプローチを使うための扉を開く。
論文 参考訳(メタデータ) (2023-01-13T16:25:25Z) - Meta-Learning Symmetries by Reparameterization [63.85144439337671]
データから対応するパラメータ共有パターンを学習し、等価性をネットワークに学習し、符号化する手法を提案する。
本実験は,画像処理タスクで使用される共通変換に等価性をエンコードして自動的に学習できることを示唆する。
論文 参考訳(メタデータ) (2020-07-06T17:59:54Z) - Inverse Learning of Symmetries [71.62109774068064]
2つの潜在部分空間からなるモデルで対称性変換を学ぶ。
我々のアプローチは、情報ボトルネックと連続的な相互情報正規化器の組み合わせに基づいています。
我々のモデルは, 人工的および分子的データセットにおける最先端の手法より優れている。
論文 参考訳(メタデータ) (2020-02-07T13:48:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。