論文の概要: Capacity of Group-invariant Linear Readouts from Equivariant Representations: How Many Objects can be Linearly Classified Under All Possible Views?

• arxiv url: http://arxiv.org/abs/2110.07472v1
• Date: Thu, 14 Oct 2021 15:46:53 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-15 18:26:51.429183
• Title: Capacity of Group-invariant Linear Readouts from Equivariant Representations: How Many Objects can be Linearly Classified Under All Possible Views?
• Title（参考訳）: 等変表現からの群不変リニア読み出し能力: 可視的ビューの下でリニア分類できるオブジェクトはいくつあるか?
• Authors: Matthew Farrell, Blake Bordelon, Shubhendu Trivedi and Cengiz Pehlevan
• Abstract要約: 分離可能な二コトミーの分数は群作用によって固定される空間の次元によって決定される。 この関係が、畳み込み、要素ワイド非線形性、大域的および局所的なプーリングなどの操作にどのように拡張されるかを示す。
• 参考スコア（独自算出の注目度）: 21.06669693699965
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Equivariance has emerged as a desirable property of representations of objects subject to identity-preserving transformations that constitute a group, such as translations and rotations. However, the expressivity of a representation constrained by group equivariance is still not fully understood. We address this gap by providing a generalization of Cover's Function Counting Theorem that quantifies the number of linearly separable and group-invariant binary dichotomies that can be assigned to equivariant representations of objects. We find that the fraction of separable dichotomies is determined by the dimension of the space that is fixed by the group action. We show how this relation extends to operations such as convolutions, element-wise nonlinearities, and global and local pooling. While other operations do not change the fraction of separable dichotomies, local pooling decreases the fraction, despite being a highly nonlinear operation. Finally, we test our theory on intermediate representations of randomly initialized and fully trained convolutional neural networks and find perfect agreement.
• Abstract（参考訳）: 等分散は、翻訳や回転のような群を構成するアイデンティティ保存変換の対象となる対象の表現の望ましい性質として現れる。 しかし、群同値性によって制約された表現の表現性はまだ完全には理解されていない。 このギャップは、対象の同変表現に割り当てられる線形分離可能かつ群不変な二項二コトミーの数を定量化するカバー関数数定理の一般化によって解決される。 分離可能な二コトミーの分数は群作用によって固定される空間の次元によって決定される。 この関係が畳み込み、要素の非線形性、大域的および局所的なプーリングといった操作にどのように拡張されるかを示す。 他の操作は分離可能な二コトミの分数を変えないが、局所的なプーリングは、非常に非線形な操作であるにもかかわらず、分数を減らす。 最後に、ランダムに初期化され完全に訓練された畳み込みニューラルネットワークの中間表現に関する理論をテストし、完全な一致を見出す。

関連論文リスト

• Lie Group Decompositions for Equivariant Neural Networks [12.139222986297261]
  コンボリューションカーネルをパラメータ化してアフィン変換に対する同変モデルを構築する方法を示す。 我々は,ベンチマークアフィン不変分類タスクにおいて,モデルのロバスト性と分布外一般化能力を評価する。
  論文  参考訳（メタデータ） (2023-10-17T16:04:33Z)
• Algebras of actions in an agent's representations of the world [51.06229789727133]
  我々は、対称性に基づく非交叉表現学習形式から対称性に基づく表現を再現するために、我々のフレームワークを使用する。 次に、簡単な強化学習シナリオで発生する特徴を持つ世界の変換の代数について研究する。 私たちが開発した計算手法を用いて、これらの世界の変換の代数を抽出し、それらの性質に応じてそれらを分類する。
  論文  参考訳（メタデータ） (2023-10-02T18:24:51Z)
• Geometry of Linear Neural Networks: Equivariance and Invariance under Permutation Groups [0.0]
  置換群の作用の下で同変あるいは不変な函数の部分多様体について検討する。 パラメータ化と等変線形ネットワークの設計に関する結論を導出する。
  論文  参考訳（メタデータ） (2023-09-24T19:40:15Z)
• Banana: Banach Fixed-Point Network for Pointcloud Segmentation with Inter-Part Equivariance [31.875925637190328]
  本稿では、構成による部分的等式を持つ同変セグメンテーションのためのバナハ不動点ネットワークであるバナナについて述べる。 我々の重要な洞察は、ポイント・パートの割り当てラベルとパー・パートのSE(3)-等分散が同時に共進化する固定点問題を反復的に解決することである。 我々の定式化は自然に部分間等式を厳密に定義し、部分間配置に一般化する。
  論文  参考訳（メタデータ） (2023-05-25T17:59:32Z)
• A tradeoff between universality of equivariant models and learnability of symmetries [0.0]
  特定の条件下で対称性と関数を同時に学習することは不可能であることを示す。 我々は、ニューラルネットワークの特定のファミリーを分析し、それらが不合理な結果の条件を満たすかどうかを判断する。 実用面では、グループ畳み込みニューラルネットワークの分析により、よく知られた畳み込みを一般化することができる。
  論文  参考訳（メタデータ） (2022-10-17T21:23:22Z)
• Equivariant Disentangled Transformation for Domain Generalization under Combination Shift [91.38796390449504]
  ドメインとラベルの組み合わせは、トレーニング中に観察されるのではなく、テスト環境に現れる。 我々は、同型の概念、同値性、および整合性の定義に基づく結合シフト問題の一意的な定式化を提供する。
  論文  参考訳（メタデータ） (2022-08-03T12:31:31Z)
• Group Equivariant Subsampling [60.53371517247382]
  サブサンプリングは、プールやストライド畳み込みの形で畳み込みニューラルネットワーク(CNN)で使用される。 まず、正確な翻訳同変CNNを構築するために使用できる翻訳同変サブサンプリング/アップサンプリング層を導入する。 次に、これらの層を一般群への変換を超えて一般化し、したがって群同変部分サンプリング/アップサンプリングを提案する。
  論文  参考訳（メタデータ） (2021-06-10T16:14:00Z)
• Commutative Lie Group VAE for Disentanglement Learning [96.32813624341833]
  本研究では,データに表される因子の変動を同変的に反映する基盤構造を見いだすこととして,非絡み合い学習を考察する。 グループベースの非絡み合い学習を実現するために、Communative Lie Group VAEというシンプルなモデルが導入された。 実験により,本モデルでは,教師なしの非絡み合い表現を効果的に学習し,余分な制約を伴わずに最先端のパフォーマンスを達成できることが示されている。
  論文  参考訳（メタデータ） (2021-06-07T07:03:14Z)
• GroupifyVAE: from Group-based Definition to VAE-based Unsupervised Representation Disentanglement [91.9003001845855]
  他の誘導バイアスを導入しないと、VAEベースの非監視的非絡み合いは実現できない。 グループ理論に基づく定義から導かれる制約を非確率的帰納的バイアスとして活用し,vaeに基づく教師なし不連続に対処する。 提案手法の有効性を検証するために,5つのデータセット上で,vaeベースモデルが最も目立つ1800モデルをトレーニングした。
  論文  参考訳（メタデータ） (2021-02-20T09:49:51Z)
• LieTransformer: Equivariant self-attention for Lie Groups [49.9625160479096]
  群等価ニューラルネットワークは群不変ニューラルネットワークの構成要素として用いられる。 我々は、文学の範囲を、ディープラーニングモデルの顕著な構築ブロックとして現れつつある自己注意にまで広げる。 任意のリー群とその離散部分群に同値なリー自己結合層からなる構造であるリー変換器を提案する。
  論文  参考訳（メタデータ） (2020-12-20T11:02:49Z)
• Learning Irreducible Representations of Noncommutative Lie Groups [3.1727619150610837]
  最近の研究は、2Dや3D回転のような連続対称性群と等価なニューラルネットワークを構築している。 回転や翻訳を超えた等分散のフロンティア応用によって動機付けられた2つの貢献を示す。
  論文  参考訳（メタデータ） (2020-06-01T05:14:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。