論文の概要: A Canonicalization Perspective on Invariant and Equivariant Learning

• arxiv url: http://arxiv.org/abs/2405.18378v4
• Date: Mon, 04 Nov 2024 01:21:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-05 14:38:06.253154
• Title: A Canonicalization Perspective on Invariant and Equivariant Learning
• Title（参考訳）: 不変・同変学習における正準化の視点
• Authors: George Ma, Yifei Wang, Derek Lim, Stefanie Jegelka, Yisen Wang,
• Abstract要約: フレームの設計について,本質的で完全な視点を提供する正準化の視点を導入する。 フレームと標準形式の間には固有の関係があることが示される。 既存の手法よりも厳密な固有ベクトルのための新しいフレームを設計する。
• 参考スコア（独自算出の注目度）: 54.44572887716977
• License:
• Abstract: In many applications, we desire neural networks to exhibit invariance or equivariance to certain groups due to symmetries inherent in the data. Recently, frame-averaging methods emerged to be a unified framework for attaining symmetries efficiently by averaging over input-dependent subsets of the group, i.e., frames. What we currently lack is a principled understanding of the design of frames. In this work, we introduce a canonicalization perspective that provides an essential and complete view of the design of frames. Canonicalization is a classic approach for attaining invariance by mapping inputs to their canonical forms. We show that there exists an inherent connection between frames and canonical forms. Leveraging this connection, we can efficiently compare the complexity of frames as well as determine the optimality of certain frames. Guided by this principle, we design novel frames for eigenvectors that are strictly superior to existing methods -- some are even optimal -- both theoretically and empirically. The reduction to the canonicalization perspective further uncovers equivalences between previous methods. These observations suggest that canonicalization provides a fundamental understanding of existing frame-averaging methods and unifies existing equivariant and invariant learning methods. Code is available at https://github.com/PKU-ML/canonicalization.
• Abstract（参考訳）: 多くの応用において、我々は、データに固有の対称性のために、ニューラルネットワークが特定のグループに不変または等値を示すことを望んでいます。 近年,フレームの入力依存部分集合,すなわちフレームの入力依存部分集合を平均化することにより,対称性を効率的に達成するための統一的な枠組みが出現している。 現在欠けているのは、フレームの設計に関する原則的な理解です。 そこで本研究では,フレーム設計の本質的かつ完全なビューを提供する,正準化の視点を導入する。 正準化は、入力を正準形式にマッピングすることで不変性を得るための古典的なアプローチである。 フレームと標準形式の間には固有の関係があることが示される。 この接続を利用することで、フレームの複雑さを効率よく比較し、特定のフレームの最適性を決定することができる。 この原理で導かれ、我々は、理論上も経験上も、既存の手法よりも厳格に優れている固有ベクトルのための新しいフレームを設計する。 正準化の観点への還元は、以前の方法との等価性をさらに明らかにする。 これらの観察から、正準化は、既存のフレーム拡張手法の基本的な理解を提供し、既存の同変学習法と不変学習法を統一することを示唆している。 コードはhttps://github.com/PKU-ML/canonicalizationで入手できる。

関連論文リスト

• Metric Convolutions: A Unifying Theory to Adaptive Convolutions [3.481985817302898]
  メトリック畳み込みは、画像処理とディープラーニングにおける標準的な畳み込みを置き換える。 パラメータを少なくし、より良い一般化を提供する。 提案手法は,標準的な分類タスクにおける競合性能を示す。
  論文  参考訳（メタデータ） (2024-06-08T08:41:12Z)
• Improved Canonicalization for Model Agnostic Equivariance [6.783232060611113]
  従来の方法で同変モデルを構築するには、既存のモデルの同変モデルを設計し、それらをゼロから訓練する必要がある。 そこで本研究では,任意の非同変ネットワークを正準化に利用する新しい手法を提案する。 提案手法はコントラスト学習を用いて,一意な正準方向を効率よく学習し,正準化ネットワークの選択に柔軟性を提供する。
  論文  参考訳（メタデータ） (2024-05-23T01:34:12Z)
• Equivariant Frames and the Impossibility of Continuous Canonicalization [10.02508080274145]
  非重み付きフレーム・アブラッシングは滑らかで非対称な関数を不連続な対称関数に変えることができることを示す。 我々は、点クラウド上の$SO(2)$,$SO(3)$,$S_n$の作用に対して、効率的で連続的な重み付きフレームを構築する。
  論文  参考訳（メタデータ） (2024-02-25T12:40:42Z)
• Equivariance with Learned Canonicalization Functions [77.32483958400282]
  正規化を行うために小さなニューラルネットワークを学習することは、事前定義を使用することよりも優れていることを示す。 実験の結果,正準化関数の学習は多くのタスクで同変関数を学習する既存の手法と競合することがわかった。
  論文  参考訳（メタデータ） (2022-11-11T21:58:15Z)
• Object Representations as Fixed Points: Training Iterative Refinement Algorithms with Implicit Differentiation [88.14365009076907]
  反復的洗練は表現学習に有用なパラダイムである。 トレーニングの安定性とトラクタビリティを向上させる暗黙の差別化アプローチを開発する。
  論文  参考訳（メタデータ） (2022-07-02T10:00:35Z)
• Frame Averaging for Equivariant Shape Space Learning [85.42901997467754]
  形状空間学習に対称性を組み込む自然な方法は、形状空間(エンコーダ)への写像と形状空間(デコーダ)からの写像が関連する対称性に同値であることを問うことである。 本稿では,2つのコントリビューションを導入することで,エンコーダとデコーダの等価性を組み込む枠組みを提案する。
  論文  参考訳（メタデータ） (2021-12-03T06:41:19Z)
• Frame Averaging for Invariant and Equivariant Network Design [50.87023773850824]
  フレーム平均化(FA)は、既知の(バックボーン)アーキテクチャを新しい対称性タイプに不変あるいは同変に適応するためのフレームワークである。 FAモデルが最大表現力を持つことを示す。 我々は,新しいユニバーサルグラフニューラルネット(GNN),ユニバーサルユークリッド運動不変点クラウドネットワーク,およびユークリッド運動不変メッセージパッシング(MP)GNNを提案する。
  論文  参考訳（メタデータ） (2021-10-07T11:05:23Z)
• Bayesian Attention Modules [65.52970388117923]
  実装や最適化が容易な,スケーラブルな注目バージョンを提案する。 本実験は,提案手法が対応するベースラインに対して一貫した改善をもたらすことを示す。
  論文  参考訳（メタデータ） (2020-10-20T20:30:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。