論文の概要: Unsupervised Learning of Group Invariant and Equivariant Representations

• arxiv url: http://arxiv.org/abs/2202.07559v1
• Date: Tue, 15 Feb 2022 16:44:21 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-16 17:54:27.804932
• Title: Unsupervised Learning of Group Invariant and Equivariant Representations
• Title（参考訳）: 群不変表現と同値表現の教師なし学習
• Authors: Robin Winter, Marco Bertolini, Tuan Le, Frank No\'e, Djork-Arn\'e Clevert
• Abstract要約: グループ不変および同変表現学習を教師なし深層学習の分野に拡張する。 本稿では,エンコーダ・デコーダ・フレームワークに基づく一般的な学習戦略を提案する。 ネットワークアーキテクチャの異なる多種多様なデータ型を用いた実験において,本手法の有効性とロバスト性を検証した。
• 参考スコア（独自算出の注目度）: 0.27998963147546135
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Equivariant neural networks, whose hidden features transform according to representations of a group G acting on the data, exhibit training efficiency and an improved generalisation performance. In this work, we extend group invariant and equivariant representation learning to the field of unsupervised deep learning. We propose a general learning strategy based on an encoder-decoder framework in which the latent representation is disentangled in an invariant term and an equivariant group action component. The key idea is that the network learns the group action on the data space and thus is able to solve the reconstruction task from an invariant data representation, hence avoiding the necessity of ad-hoc group-specific implementations. We derive the necessary conditions on the equivariant encoder, and we present a construction valid for any G, both discrete and continuous. We describe explicitly our construction for rotations, translations and permutations. We test the validity and the robustness of our approach in a variety of experiments with diverse data types employing different network architectures.
• Abstract（参考訳）: データに作用する群Gの表現に応じて隠れた特徴が変換される同変ニューラルネットワークは、トレーニング効率と一般化性能の向上を示す。 本研究では,グループ不変および同変表現学習を教師なし深層学習の分野に拡張する。 本稿では, 潜在表現が不変項と同値群作用成分で絡み合わされるエンコーダ・デコーダの枠組みに基づく一般学習戦略を提案する。 鍵となる考え方は、ネットワークがデータ空間上のグループアクションを学習し、不変なデータ表現から再構成タスクを解くことができるため、アドホックなグループ固有の実装の必要性を避けることである。 我々は同変エンコーダ上の必要条件を導出し、任意の g に対して離散的かつ連続的に有効な構成を示す。 回転、翻訳、置換に関する我々の構成を明示的に記述する。 我々は,異なるネットワークアーキテクチャを用いた多様なデータ型を用いた様々な実験において,アプローチの有効性と堅牢性を検証した。

関連論文リスト

• Learning Rotation-Equivariant Features for Visual Correspondence [41.79256655501003]
  本稿では,識別的回転不変記述子を抽出する自己教師型学習フレームワークを提案する。 グループ同変CNNを利用することで、回転同変の特徴とその配向を効果的に学習する。 本手法は,既存の回転不変ディスクリプタ間で,回転の異なる状態のマッチング精度を示す。
  論文  参考訳（メタデータ） (2023-03-25T13:42:07Z)
• Self-Supervised Learning for Group Equivariant Neural Networks [75.62232699377877]
  群同変ニューラルネットワーク(英: Group equivariant Neural Network)は、入力の変換で通勤する構造に制限されたモデルである。 自己教師型タスクには、同変プリテキストラベルと異変コントラスト損失という2つの概念を提案する。 標準画像認識ベンチマークの実験では、同変ニューラルネットワークが提案された自己教師型タスクを利用することを示した。
  論文  参考訳（メタデータ） (2023-03-08T08:11:26Z)
• Deep Neural Networks with Efficient Guaranteed Invariances [77.99182201815763]
  我々は、性能改善の問題、特にディープニューラルネットワークのサンプル複雑性に対処する。 群同変畳み込みは同変表現を得るための一般的なアプローチである。 本稿では,各ストリームが異なる変換に不変なマルチストリームアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-03-02T20:44:45Z)
• Equivariant Transduction through Invariant Alignment [71.45263447328374]
  グループ内ハードアライメント機構を組み込んだ,新しいグループ同変アーキテクチャを提案する。 我々のネットワーク構造は、既存のグループ同変アプローチよりも強い同変特性を発達させることができる。 また、SCANタスクにおいて、従来のグループ同変ネットワークよりも経験的に優れていたことが判明した。
  論文  参考訳（メタデータ） (2022-09-22T11:19:45Z)
• Bispectral Neural Networks [1.0323063834827415]
  ニューラルネットワークアーキテクチャBNN(Bispectral Neural Networks)を提案する。 BNNは、群、その既約表現、および対応する同変写像と完全不変写像を同時に学習することができる。
  論文  参考訳（メタデータ） (2022-09-07T18:34:48Z)
• Transformation Coding: Simple Objectives for Equivariant Representations [17.544323284367927]
  簡単な目的を通した均質な深層埋め込みを求める深層表現学習への非生成的アプローチを提案する。 既存の同変ネットワークとは対照的に、我々の変換符号化アプローチはフィードフォワード層やアーキテクチャの選択を制約しない。
  論文  参考訳（メタデータ） (2022-02-19T01:43:13Z)
• Topographic VAEs learn Equivariant Capsules [84.33745072274942]
  本稿では, 地理的に整理された潜伏変数を用いた深部生成モデルを効率的に学習するための新しい手法であるTopographic VAEを紹介する。 このようなモデルでは,MNIST上での桁数クラス,幅,スタイルなどの健全な特徴に応じて,その活性化を組織化することが実際に学べることが示される。 我々は、既存の群同変ニューラルネットワークの能力を拡張して、複素変換に近似した同値性を示す。
  論文  参考訳（メタデータ） (2021-09-03T09:25:57Z)
• Group Equivariant Subsampling [60.53371517247382]
  サブサンプリングは、プールやストライド畳み込みの形で畳み込みニューラルネットワーク(CNN)で使用される。 まず、正確な翻訳同変CNNを構築するために使用できる翻訳同変サブサンプリング/アップサンプリング層を導入する。 次に、これらの層を一般群への変換を超えて一般化し、したがって群同変部分サンプリング/アップサンプリングを提案する。
  論文  参考訳（メタデータ） (2021-06-10T16:14:00Z)
• Group Equivariant Neural Architecture Search via Group Decomposition and Reinforcement Learning [17.291131923335918]
  我々は、同値ニューラルネットワークの文脈において、新しい群論的結果を証明する。 また、計算複雑性を大幅に改善する同変ネットワークを構築するアルゴリズムを設計する。 我々は、性能を最大化するグループ同変ネットワークの探索に深層Q-ラーニングを用いる。
  論文  参考訳（メタデータ） (2021-04-10T19:37:25Z)
• LieTransformer: Equivariant self-attention for Lie Groups [49.9625160479096]
  群等価ニューラルネットワークは群不変ニューラルネットワークの構成要素として用いられる。 我々は、文学の範囲を、ディープラーニングモデルの顕著な構築ブロックとして現れつつある自己注意にまで広げる。 任意のリー群とその離散部分群に同値なリー自己結合層からなる構造であるリー変換器を提案する。
  論文  参考訳（メタデータ） (2020-12-20T11:02:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。