論文の概要: Interpreting Equivariant Representations

• arxiv url: http://arxiv.org/abs/2401.12588v1
• Date: Tue, 23 Jan 2024 09:43:30 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-24 16:18:26.704277
• Title: Interpreting Equivariant Representations
• Title（参考訳）: 等変表現の解釈
• Authors: Andreas Abildtrup Hansen, Anna Calissano, Aasa Feragen
• Abstract要約: 本稿では,同変モデルによる帰納バイアスも潜在表現を用いて考慮する必要があることを示す。 インダクティブバイアスを考慮しないと下流タスクのパフォーマンスが低下することを示す。
• 参考スコア（独自算出の注目度）: 5.325297567945828
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Latent representations are used extensively for downstream tasks, such as visualization, interpolation or feature extraction of deep learning models. Invariant and equivariant neural networks are powerful and well-established models for enforcing inductive biases. In this paper, we demonstrate that the inductive bias imposed on the by an equivariant model must also be taken into account when using latent representations. We show how not accounting for the inductive biases leads to decreased performance on downstream tasks, and vice versa, how accounting for inductive biases can be done effectively by using an invariant projection of the latent representations. We propose principles for how to choose such a projection, and show the impact of using these principles in two common examples: First, we study a permutation equivariant variational auto-encoder trained for molecule graph generation; here we show that invariant projections can be designed that incur no loss of information in the resulting invariant representation. Next, we study a rotation-equivariant representation used for image classification. Here, we illustrate how random invariant projections can be used to obtain an invariant representation with a high degree of retained information. In both cases, the analysis of invariant latent representations proves superior to their equivariant counterparts. Finally, we illustrate that the phenomena documented here for equivariant neural networks have counterparts in standard neural networks where invariance is encouraged via augmentation. Thus, while these ambiguities may be known by experienced developers of equivariant models, we make both the knowledge as well as effective tools to handle the ambiguities available to the broader community.
• Abstract（参考訳）: 潜在表現は、可視化、補間、ディープラーニングモデルの特徴抽出などの下流タスクに広く使用される。 不変および同変ニューラルネットワークは、誘導バイアスを強制するための強力で確立されたモデルである。 本稿では,同変モデルによって課される帰納的バイアスを,潜在表現を用いた場合にも考慮する必要があることを示す。 帰納的バイアスの計算が下流タスクのパフォーマンスを低下させる方法を示し,その逆もまた,潜在表現の不変射影を用いて帰納的バイアスの計算を効果的に行う方法を示す。 まず、分子グラフ生成のために訓練された置換同変変変変量オートエンコーダについて検討し、その結果の不変表現において情報の損失を生じさせないように不変射影を設計できることを示す。 次に,画像分類に用いる回転同変表現について検討する。 本稿では,高次に保持された情報を持つ不変表現を得るために,ランダムな不変射影を用いた方法を示す。 どちらの場合も、不変潜在表現の解析は同変表現よりも優れている。 最後に,同変ニューラルネットワークに記述された現象は,拡張によって不変性が促進される標準ニューラルネットワークに類似していることを示す。 したがって、これらのあいまいさは、経験豊富な同変モデルの開発者によって知られているかもしれないが、より広いコミュニティで利用できるあいまいさを扱うための知識と効果的なツールの両方を作る。

関連論文リスト

• Unsupervised Representation Learning from Sparse Transformation Analysis [79.94858534887801]
  本稿では,潜在変数のスパース成分への変換を分解し,シーケンスデータから表現を学習することを提案する。 入力データは、まず潜伏活性化の分布として符号化され、その後確率フローモデルを用いて変換される。
  論文  参考訳（メタデータ） (2024-10-07T23:53:25Z)
• Learning Disentangled Discrete Representations [22.5004558029479]
  本稿では,標準ガウス変分オートエンコーダをカテゴリー変分オートエンコーダに置き換えることで,離散潜在空間と非交分表現の関係を示す。 本研究では,非絡み合った表現を学習する上で,個別のVAEの利点を示す分析的および実証的な知見を提供する。
  論文  参考訳（メタデータ） (2023-07-26T12:29:58Z)
• Domain Generalization In Robust Invariant Representation [10.132611239890345]
  本稿では,分布外データに基づく不変表現の一般化について検討する。 不変モデルは分布シフトに頑健な非構造潜在表現を学習することを示す。
  論文  参考訳（メタデータ） (2023-04-07T00:58:30Z)
• Self-Supervised Learning for Group Equivariant Neural Networks [75.62232699377877]
  群同変ニューラルネットワーク(英: Group equivariant Neural Network)は、入力の変換で通勤する構造に制限されたモデルである。 自己教師型タスクには、同変プリテキストラベルと異変コントラスト損失という2つの概念を提案する。 標準画像認識ベンチマークの実験では、同変ニューラルネットワークが提案された自己教師型タスクを利用することを示した。
  論文  参考訳（メタデータ） (2023-03-08T08:11:26Z)
• Posterior Collapse and Latent Variable Non-identifiability [54.842098835445]
  柔軟性を犠牲にすることなく識別性を強制する深層生成モデルである,潜時同定可能な変分オートエンコーダのクラスを提案する。 合成および実データ全体にわたって、潜在識別可能な変分オートエンコーダは、後方崩壊を緩和し、データの有意義な表現を提供する既存の方法より優れている。
  論文  参考訳（メタデータ） (2023-01-02T06:16:56Z)
• PAC Generalization via Invariant Representations [41.02828564338047]
  有限標本集合における$epsilon$-approximate不変性の概念を考える。 PAC学習にインスパイアされ、有限サンプルのアウト・オブ・ディストリビューション一般化保証を得る。 この結果から, 介入部位が非次境界ノードの一定サイズの部分集合内にある場合に, 周囲次元でスケールしない境界を示す。
  論文  参考訳（メタデータ） (2022-05-30T15:50:14Z)
• Equivariance Discovery by Learned Parameter-Sharing [153.41877129746223]
  データから解釈可能な等価性を発見する方法について検討する。 具体的には、モデルのパラメータ共有方式に対する最適化問題として、この発見プロセスを定式化する。 また,ガウスデータの手法を理論的に解析し,研究された発見スキームとオラクルスキームの間の平均2乗ギャップを限定する。
  論文  参考訳（メタデータ） (2022-04-07T17:59:19Z)
• Topographic VAEs learn Equivariant Capsules [84.33745072274942]
  本稿では, 地理的に整理された潜伏変数を用いた深部生成モデルを効率的に学習するための新しい手法であるTopographic VAEを紹介する。 このようなモデルでは,MNIST上での桁数クラス,幅,スタイルなどの健全な特徴に応じて,その活性化を組織化することが実際に学べることが示される。 我々は、既存の群同変ニューラルネットワークの能力を拡張して、複素変換に近似した同値性を示す。
  論文  参考訳（メタデータ） (2021-09-03T09:25:57Z)
• Learning Disentangled Representations with Latent Variation Predictability [102.4163768995288]
  本稿では,潜在不整合表現の変動予測可能性について述べる。 逆生成プロセス内では、潜時変動と対応する画像対の相互情報を最大化することにより、変動予測可能性を高める。 本研究では,潜在表現の絡み合いを測るために,基礎的構造的生成因子に依存しない評価指標を開発する。
  論文  参考訳（メタデータ） (2020-07-25T08:54:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。