論文の概要: Learning Probabilistic Symmetrization for Architecture Agnostic Equivariance
- arxiv url: http://arxiv.org/abs/2306.02866v3
- Date: Sat, 13 Apr 2024 12:50:13 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-17 00:17:02.235017
- Title: Learning Probabilistic Symmetrization for Architecture Agnostic Equivariance
- Title（参考訳）: アーキテクチャに依存しない等価性のための確率的対称性の学習
- Authors: Jinwoo Kim, Tien Dat Nguyen, Ayhan Suleymanzade, Hyeokjun An, Seunghoon Hong,
- Abstract要約: 群対称性を持つ学習関数における同変アーキテクチャの限界を克服する新しい枠組みを提案する。
我々は、不変量や変圧器のような任意の基底モデルを使用し、それを与えられた群に同変するように対称性付けする。
実証実験は、調整された同変アーキテクチャに対する競争結果を示す。
- 参考スコア（独自算出の注目度）: 16.49488981364657
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present a novel framework to overcome the limitations of equivariant architectures in learning functions with group symmetries. In contrary to equivariant architectures, we use an arbitrary base model such as an MLP or a transformer and symmetrize it to be equivariant to the given group by employing a small equivariant network that parameterizes the probabilistic distribution underlying the symmetrization. The distribution is end-to-end trained with the base model which can maximize performance while reducing sample complexity of symmetrization. We show that this approach ensures not only equivariance to given group but also universal approximation capability in expectation. We implement our method on various base models, including patch-based transformers that can be initialized from pretrained vision transformers, and test them for a wide range of symmetry groups including permutation and Euclidean groups and their combinations. Empirical tests show competitive results against tailored equivariant architectures, suggesting the potential for learning equivariant functions for diverse groups using a non-equivariant universal base architecture. We further show evidence of enhanced learning in symmetric modalities, like graphs, when pretrained from non-symmetric modalities, like vision. Code is available at https://github.com/jw9730/lps.
- Abstract（参考訳）: 群対称性を持つ学習関数における同変アーキテクチャの限界を克服する新しい枠組みを提案する。
等変アーキテクチャとは対照的に、MLPや変圧器のような任意の基底モデルを用い、対称性化の根底にある確率分布をパラメータ化する小さな同変ネットワークを用いることで、与えられた群に同変であるようにシンメトリゼーションする。
分布は、対称性のサンプル複雑性を減らしながら、性能を最大化できるベースモデルで、エンドツーエンドで訓練される。
このアプローチは、与えられた群に同値なだけでなく、予想における普遍近似能力も確保できることを示す。
我々は、予め訓練された視覚変換器から初期化できるパッチベースの変換器を含む様々なベースモデルに本手法を実装し、置換群とユークリッド群とそれらの組み合わせを含む幅広い対称性群に対してそれらをテストする。
経験的テストは、調整された同変アーキテクチャに対する競合結果を示し、非等変ユニバーサルベースアーキテクチャを用いて多様な群に対する同変関数を学習する可能性を示唆している。
さらに、視覚のような非対称なモダリティから事前訓練されたとき、グラフのような対称なモダリティにおける強化学習の証拠を示す。
コードはhttps://github.com/jw9730/lpsで入手できる。
関連論文リスト
- Symmetry From Scratch: Group Equivariance as a Supervised Learning Task [1.8570740863168362]
対称性を持つ機械学習データセットにおいて、対称性の破れとの後方互換性のパラダイムは、同変のアーキテクチャ制約を緩和することであった。
機械学習モデルにおける同値化を誘導する手法である対称性閉包を導入する。
論文 参考訳（メタデータ） (2024-10-05T00:44:09Z) - Incorporating Arbitrary Matrix Group Equivariance into KANs [69.30866522377694]
Kolmogorov-Arnold Networks (KAN) は科学分野で大きな成功を収めている。
しかし、スプライン関数は、機械学習において重要な事前知識であるタスクの対称性を尊重しないかもしれない。
本研究では,Equivariant Kolmogorov-Arnold Networks (EKAN)を提案する。
論文 参考訳（メタデータ） (2024-10-01T06:34:58Z) - Approximately Equivariant Neural Processes [47.14384085714576]
実世界のデータをモデル化する場合、学習問題は必ずしも同変ではなく、概ね同変であることが多い。
これを達成するための現在のアプローチは、通常任意のアーキテクチャや対称性群に対して最初から適用することはできない。
我々は、既存の同変アーキテクチャを用いてこれを実現するための一般的なアプローチを開発する。
論文 参考訳（メタデータ） (2024-06-19T12:17:14Z) - A Probabilistic Approach to Learning the Degree of Equivariance in Steerable CNNs [5.141137421503899]
ステアブル畳み込みニューラルネットワーク(SCNN)は、幾何学的対称性をモデル化することによってタスク性能を向上させる。
しかし、未知あるいは様々な対称性は、過剰に制約された重量と性能を低下させる可能性がある。
本稿では,SCNNの等価度を学習するための確率的手法を提案する。
論文 参考訳（メタデータ） (2024-06-06T10:45:19Z) - Symmetry Breaking and Equivariant Neural Networks [17.740760773905986]
我々は「緩和された同注入」という新しい概念を導入する。
我々は、この緩和を同変多層パーセプトロン(E-MLP)に組み込む方法を示す。
対称性の破れの関連性は、様々な応用領域で議論される。
論文 参考訳（メタデータ） (2023-12-14T15:06:48Z) - Equivariance with Learned Canonicalization Functions [77.32483958400282]
正規化を行うために小さなニューラルネットワークを学習することは、事前定義を使用することよりも優れていることを示す。
実験の結果,正準化関数の学習は多くのタスクで同変関数を学習する既存の手法と競合することがわかった。
論文 参考訳（メタデータ） (2022-11-11T21:58:15Z) - Architectural Optimization over Subgroups for Equivariant Neural
Networks [0.0]
準同値緩和同型と$[G]$-mixed同変層を提案し、部分群上の同値制約で演算する。
進化的および微分可能なニューラルアーキテクチャ探索(NAS)アルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-10-11T14:37:29Z) - Relaxing Equivariance Constraints with Non-stationary Continuous Filters [20.74154804898478]
提案したパラメータ化は、ニューラルネットワークの調整可能な対称性構造を可能にするビルディングブロックと考えることができる。
CIFAR-10 および CIFAR-100 画像分類タスクにおいて, ソフトな等式が試験精度の向上につながることを実験的に検証した。
論文 参考訳（メタデータ） (2022-04-14T18:08:36Z) - Improving the Sample-Complexity of Deep Classification Networks with
Invariant Integration [77.99182201815763]
変換によるクラス内分散に関する事前知識を活用することは、ディープニューラルネットワークのサンプル複雑性を改善するための強力な方法である。
そこで本研究では,アプリケーションの複雑な問題に対処するために,プルーニング法に基づく新しい単項選択アルゴリズムを提案する。
本稿では,Rotated-MNIST,SVHN,CIFAR-10データセットにおけるサンプルの複雑さの改善について述べる。
論文 参考訳（メタデータ） (2022-02-08T16:16:11Z) - Frame Averaging for Invariant and Equivariant Network Design [50.87023773850824]
フレーム平均化(FA)は、既知の(バックボーン)アーキテクチャを新しい対称性タイプに不変あるいは同変に適応するためのフレームワークである。
FAモデルが最大表現力を持つことを示す。
我々は,新しいユニバーサルグラフニューラルネット(GNN),ユニバーサルユークリッド運動不変点クラウドネットワーク,およびユークリッド運動不変メッセージパッシング(MP)GNNを提案する。
論文 参考訳（メタデータ） (2021-10-07T11:05:23Z) - Meta-Learning Symmetries by Reparameterization [63.85144439337671]
データから対応するパラメータ共有パターンを学習し、等価性をネットワークに学習し、符号化する手法を提案する。
本実験は,画像処理タスクで使用される共通変換に等価性をエンコードして自動的に学習できることを示唆する。
論文 参考訳（メタデータ） (2020-07-06T17:59:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。