論文の概要: A Canonization Perspective on Invariant and Equivariant Learning

• arxiv url: http://arxiv.org/abs/2405.18378v2
• Date: Wed, 29 May 2024 11:31:19 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-30 11:12:33.875415
• Title: A Canonization Perspective on Invariant and Equivariant Learning
• Title（参考訳）: 不変・同変学習におけるカノン化の視点
• Authors: George Ma, Yifei Wang, Derek Lim, Stefanie Jegelka, Yisen Wang,
• Abstract要約: カノン化は、フレームの設計を原則的に理解する。 フレームと標準形式の間には固有の関係があることが示される。 既存の手法よりも厳密な固有ベクトルのための新しいフレームを設計する。
• 参考スコア（独自算出の注目度）: 54.44572887716977
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In many applications, we desire neural networks to exhibit invariance or equivariance to certain groups due to symmetries inherent in the data. Recently, frame-averaging methods emerged to be a unified framework for attaining symmetries efficiently by averaging over input-dependent subsets of the group, i.e., frames. What we currently lack is a principled understanding of the design of frames. In this work, we introduce a canonization perspective that provides an essential and complete view of the design of frames. Canonization is a classic approach for attaining invariance by mapping inputs to their canonical forms. We show that there exists an inherent connection between frames and canonical forms. Leveraging this connection, we can efficiently compare the complexity of frames as well as determine the optimality of certain frames. Guided by this principle, we design novel frames for eigenvectors that are strictly superior to existing methods -- some are even optimal -- both theoretically and empirically. The reduction to the canonization perspective further uncovers equivalences between previous methods. These observations suggest that canonization provides a fundamental understanding of existing frame-averaging methods and unifies existing equivariant and invariant learning methods.
• Abstract（参考訳）: 多くの応用において、我々は、データに固有の対称性のために、ニューラルネットワークが特定のグループに不変または等値を示すことを望んでいます。 近年,フレームの入力依存部分集合,すなわちフレームの入力依存部分集合を平均化することにより,対称性を効率的に達成するための統一的な枠組みが出現している。 現在欠けているのは、フレームの設計に関する原則的な理解です。 そこで本研究では,フレーム設計の本質的かつ完全なビューを提供する,カノン化の観点を紹介する。 正準化は、入力を正準形式にマッピングすることで不変性を得るための古典的なアプローチである。 フレームと標準形式の間には固有の関係があることが示される。 この接続を利用することで、フレームの複雑さを効率よく比較し、特定のフレームの最適性を決定することができる。 この原理で導かれ、我々は、理論上も経験上も、既存の手法よりも厳格に優れている固有ベクトルのための新しいフレームを設計する。 キャノン化パースペクティブへの還元は、以前の方法と等価性をさらに明らかにする。 これらの観察から、カノン化は、既存のフレーム・アブリゲーション手法の基本的な理解を提供し、既存の同変および不変学習手法を統一することを示唆している。

関連論文リスト

• Metric Convolutions: A Unifying Theory to Adaptive Convolutions [3.481985817302898]
  メトリック畳み込みは、画像処理とディープラーニングにおける標準的な畳み込みを置き換える。 パラメータを少なくし、より良い一般化を提供する。 提案手法は,標準的な分類タスクにおける競合性能を示す。
  論文  参考訳（メタデータ） (2024-06-08T08:41:12Z)
• A Unified Implicit Attention Formulation for Gated-Linear Recurrent Sequence Models [54.50526986788175]
  効率的なシーケンスモデリングの最近の進歩は、無注意層に繋がった。 我々はこれらのモデルの統一的なビューを示し、暗黙の因果自己注意層のような層を定式化する。
  論文  参考訳（メタデータ） (2024-05-26T09:57:45Z)
• Equivariant Frames and the Impossibility of Continuous Canonicalization [10.02508080274145]
  非重み付きフレーム・アブラッシングは滑らかで非対称な関数を不連続な対称関数に変えることができることを示す。 我々は、点クラウド上の$SO(2)$,$SO(3)$,$S_n$の作用に対して、効率的で連続的な重み付きフレームを構築する。
  論文  参考訳（メタデータ） (2024-02-25T12:40:42Z)
• From Bricks to Bridges: Product of Invariances to Enhance Latent Space Communication [19.336940758147442]
  異なるニューラルネットワークによって学習された表現は、モデルが同様の誘導バイアスの下で訓練されたときに構造的類似性を隠蔽することが観察されている。 我々は,不変成分の積空間を潜在表現の上に構築し,その表現に不変量の集合を直接組み込む汎用的手法を導入する。 我々は,ゼロショット縫合設定において,一貫した遅延類似性および下流性能向上を観察し,分類および再構成タスクに対するソリューションの有効性を検証した。
  論文  参考訳（メタデータ） (2023-10-02T13:55:38Z)
• Equivariance with Learned Canonicalization Functions [77.32483958400282]
  正規化を行うために小さなニューラルネットワークを学習することは、事前定義を使用することよりも優れていることを示す。 実験の結果,正準化関数の学習は多くのタスクで同変関数を学習する既存の手法と競合することがわかった。
  論文  参考訳（メタデータ） (2022-11-11T21:58:15Z)
• Self-supervised learning with rotation-invariant kernels [4.059849656394191]
  組込み分布を超球面上の均一分布に近接させる汎用正規化損失を設計するための汎用カーネルフレームワークを提案する。 我々のフレームワークは、ハイパースフィア上で定義された回転不変カーネル(ドット生成カーネルとも呼ばれる)を使用する。 本実験は, 回転不変カーネルを用いることで, 最先端の手法と比較して, 競合する結果が得られることを示した。
  論文  参考訳（メタデータ） (2022-07-28T08:06:24Z)
• Object Representations as Fixed Points: Training Iterative Refinement Algorithms with Implicit Differentiation [88.14365009076907]
  反復的洗練は表現学習に有用なパラダイムである。 トレーニングの安定性とトラクタビリティを向上させる暗黙の差別化アプローチを開発する。
  論文  参考訳（メタデータ） (2022-07-02T10:00:35Z)
• Frame Averaging for Invariant and Equivariant Network Design [50.87023773850824]
  フレーム平均化(FA)は、既知の(バックボーン)アーキテクチャを新しい対称性タイプに不変あるいは同変に適応するためのフレームワークである。 FAモデルが最大表現力を持つことを示す。 我々は,新しいユニバーサルグラフニューラルネット(GNN),ユニバーサルユークリッド運動不変点クラウドネットワーク,およびユークリッド運動不変メッセージパッシング(MP)GNNを提案する。
  論文  参考訳（メタデータ） (2021-10-07T11:05:23Z)
• TimeLens: Event-based Video Frame Interpolation [54.28139783383213]
  本稿では,合成法とフロー法の両方の利点を生かした,等価寄与法であるTime Lensを紹介する。 最先端のフレームベースおよびイベントベース手法よりもPSNRが最大5.21dB向上したことを示す。
  論文  参考訳（メタデータ） (2021-06-14T10:33:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。