論文の概要: Self-Supervised Detection of Perfect and Partial Input-Dependent
Symmetries
- arxiv url: http://arxiv.org/abs/2312.12223v2
- Date: Fri, 22 Dec 2023 19:02:09 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-27 20:33:54.347874
- Title: Self-Supervised Detection of Perfect and Partial Input-Dependent
Symmetries
- Title（参考訳）: 完全および部分入力依存対称性の自己監視検出
- Authors: Alonso Urbano, David W. Romero
- Abstract要約: 群同値は、入力の群変換に対する一貫した応答を保証する。
この性質は、グループで考慮された対称性がデータで観測されたものとは異なる場合、過度に制約されたモデルにつながる可能性がある。
本稿では,ラベルを使わずに各入力の対称性のレベルを検出する手法を提案する。
- 参考スコア（独自算出の注目度）: 13.642876234762662
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Group equivariance ensures consistent responses to group transformations of
the input, leading to more robust models and enhanced generalization
capabilities. However, this property can lead to overly constrained models if
the symmetries considered in the group differ from those observed in data.
While common methods address this by determining the appropriate level of
symmetry at the dataset level, they are limited to supervised settings and
ignore scenarios in which multiple levels of symmetry co-exist in the same
dataset. For instance, pictures of cars and planes exhibit different levels of
rotation, yet both are included in the CIFAR-10 dataset. In this paper, we
propose a method able to detect the level of symmetry of each input without the
need for labels. To this end, we derive a sufficient and necessary condition to
learn the distribution of symmetries in the data. Using the learned
distribution, we generate pseudo-labels that allow us to learn the levels of
symmetry of each input in a self-supervised manner. We validate the
effectiveness of our approach on synthetic datasets with different per-class
levels of symmetries e.g. MNISTMultiple, in which digits are uniformly rotated
within a class-dependent interval. We demonstrate that our method can be used
for practical applications such as the generation of standardized datasets in
which the symmetries are not present, as well as the detection of
out-of-distribution symmetries during inference. By doing so, both the
generalization and robustness of non-equivariant models can be improved. Our
code is publicly available at https://github.com/aurban0/ssl-sym.
- Abstract（参考訳）: 群同分散は入力の群変換に対する一貫した応答を保証し、より堅牢なモデルと拡張された一般化能力をもたらす。
しかし、この性質は、群で見なされる対称性がデータで観察されたものと異なる場合、過度に制約されたモデルをもたらす可能性がある。
一般的な手法では、データセットレベルで適切な対称性のレベルを決定することでこの問題に対処するが、同じデータセットに複数の対称性が共存するシナリオは、教師付き設定と無視に限られる。
例えば、車と飛行機の写真は異なるレベルの回転を示すが、どちらもCIFAR-10データセットに含まれている。
本稿では,ラベルを使わずに各入力の対称性のレベルを検出する手法を提案する。
この目的のために、データ内の対称性の分布を学ぶのに十分かつ必要な条件を導出する。
学習した分布を用いて擬似ラベルを生成し,各入力の対称性のレベルを自己教師ありで学習する。
本研究では, クラスごとに異なる対称性を持つ合成データセット, 例えば mnistmultiple に対して, 数値がクラスに依存して一様回転する手法の有効性を検証する。
本手法は,対称性が存在しない標準データセットの生成や,推論中の分布外対称性の検出など,実用的な用途に応用できることを実証する。
これにより、非同変モデルの一般化と堅牢性の両方を改善することができる。
私たちのコードはhttps://github.com/aurban0/ssl-symで公開されています。
関連論文リスト
- Learning Infinitesimal Generators of Continuous Symmetries from Data [15.42275880523356]
1-パラメータ群で定義された変換に基づく新しい対称性学習アルゴリズムを提案する。
この手法は最小限の帰納バイアスに基づいて構築され、リー群に根付いた一般的な対称性だけでなく、非線形発生器由来の対称性にまで拡張される。
論文 参考訳（メタデータ） (2024-10-29T08:28:23Z) - Symmetry Discovery for Different Data Types [52.2614860099811]
等価ニューラルネットワークは、そのアーキテクチャに対称性を取り入れ、より高度な一般化性能を実現する。
本稿では,タスクの入出力マッピングを近似したトレーニングニューラルネットワークによる対称性発見手法であるLieSDを提案する。
我々は,2体問題,慣性行列予測のモーメント,トップクォークタグ付けといった課題におけるLieSDの性能を検証した。
論文 参考訳（メタデータ） (2024-10-13T13:39:39Z) - SymmetryLens: A new candidate paradigm for unsupervised symmetry learning via locality and equivariance [0.0]
我々は、生データから始まる新しい教師なし対称性学習法を開発した。
この対称性と局所性の結合は,エントロピー推定のために開発された特別な最適化手法とともに,高度に安定なシステムをもたらすことを実証する。
私たちが考える対称性の作用は群表現であるが、このアプローチは非可換リー群のより一般的な非線形作用に一般化される可能性があると信じている。
論文 参考訳（メタデータ） (2024-10-07T17:40:51Z) - Level statistics detect generalized symmetries [0.0]
レベル統計は、対称性を検出し、可積分系と非可積分系を区別するのに有用なプローブである。
私はイジング臨界点におけるクラマース・ワニエ双対性の例を通して非可逆対称性を考える。
レベル統計を通して、$q$-deformed generalization of inversionは、それ自体が興味深く、$q$-deformed SPT 位相を保護するかもしれない。
論文 参考訳（メタデータ） (2024-06-06T11:54:28Z) - Learning Layer-wise Equivariances Automatically using Gradients [66.81218780702125]
畳み込みは等価対称性をニューラルネットワークにエンコードし、より優れた一般化性能をもたらす。
対称性は、ネットワークが表現できる機能、事前に指定する必要、適応できない機能に対して、固定されたハード制約を提供する。
私たちのゴールは、勾配を使ってデータから自動的に学習できるフレキシブル対称性の制約を可能にすることです。
論文 参考訳（メタデータ） (2023-10-09T20:22:43Z) - Regularizing Towards Soft Equivariance Under Mixed Symmetries [23.603875905608565]
混合近似対称性を持つデータセットのモデルを構築するための正規化器に基づく手法を提案する。
提案手法は,近似対称性のレベルを正確に発見しながら,従来の手法よりも精度が高いことを示す。
論文 参考訳（メタデータ） (2023-06-01T05:33:41Z) - Oracle-Preserving Latent Flows [58.720142291102135]
我々はラベル付きデータセット全体にわたって複数の非自明な連続対称性を同時に発見するための方法論を開発する。
対称性変換と対応するジェネレータは、特別に構築された損失関数で訓練された完全連結ニューラルネットワークでモデル化される。
この研究における2つの新しい要素は、縮小次元の潜在空間の使用と、高次元のオラクルに関して不変な変換への一般化である。
論文 参考訳（メタデータ） (2023-02-02T00:13:32Z) - Deep Learning Symmetries and Their Lie Groups, Algebras, and Subalgebras
from First Principles [55.41644538483948]
ラベル付きデータセットに存在する連続した対称性群の検出と同定のためのディープラーニングアルゴリズムを設計する。
完全に接続されたニューラルネットワークを用いて、変換対称性と対応するジェネレータをモデル化する。
また,Lie群とその性質の数学的研究に機械学習アプローチを使うための扉を開く。
論文 参考訳（メタデータ） (2023-01-13T16:25:25Z) - Multi-Agent MDP Homomorphic Networks [100.74260120972863]
協調型マルチエージェントシステムでは、エージェントの異なる構成とそれらの局所的な観察の間に複雑な対称性が生じる。
単エージェント強化学習における既存の対称性の研究は、完全に集中した環境にのみ一般化できる。
本稿では,ローカル情報のみを用いた分散実行が可能なネットワークのクラスであるマルチエージェントMDPホモモルフィックネットワークを提案する。
論文 参考訳（メタデータ） (2021-10-09T07:46:25Z) - Asymptotic Analysis of an Ensemble of Randomly Projected Linear
Discriminants [94.46276668068327]
[1]では、ランダムに投影された線形判別式のアンサンブルを用いてデータセットを分類する。
我々は,計算コストのかかるクロスバリデーション推定器の代替として,誤分類確率の一貫した推定器を開発する。
また、実データと合成データの両方で投影次元を調整するための推定器の使用を実証する。
論文 参考訳（メタデータ） (2020-04-17T12:47:04Z) - Detecting Symmetries with Neural Networks [0.0]
ニューラルネットワークの埋め込み層における構造を広範囲に活用する。
我々は、対称性が存在するかどうかを特定し、入力中の対称性の軌道を特定する。
この例では、グラフの観点で新しいデータ表現を示す。
論文 参考訳（メタデータ） (2020-03-30T17:58:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。