論文の概要: Geometry of Linear Neural Networks: Equivariance and Invariance under Permutation Groups

• arxiv url: http://arxiv.org/abs/2309.13736v1
• Date: Sun, 24 Sep 2023 19:40:15 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-26 17:53:15.789244
• Title: Geometry of Linear Neural Networks: Equivariance and Invariance under Permutation Groups
• Title（参考訳）: 線形ニューラルネットワークの幾何学:置換群における等分散と不変性
• Authors: Kathl\'en Kohn, Anna-Laura Sattelberger, Vahid Shahverdi
• Abstract要約: 置換群の作用の下で同変あるいは不変な函数の部分多様体について検討する。 それらの次元、次数、およびユークリッド距離次数を明確に記述する。 我々は、すべての不変線型関数が線型自己エンコーダによって学習できることを証明した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The set of functions parameterized by a linear fully-connected neural network is a determinantal variety. We investigate the subvariety of functions that are equivariant or invariant under the action of a permutation group. Examples of such group actions are translations or $90^\circ$ rotations on images. For such equivariant or invariant subvarieties, we provide an explicit description of their dimension, their degree as well as their Euclidean distance degree, and their singularities. We fully characterize invariance for arbitrary permutation groups, and equivariance for cyclic groups. We draw conclusions for the parameterization and the design of equivariant and invariant linear networks, such as a weight sharing property, and we prove that all invariant linear functions can be learned by linear autoencoders.
• Abstract（参考訳）: 線形完全連結ニューラルネットワークによってパラメータ化された関数の集合は行列多様体である。 置換群の作用の下で同変あるいは不変な函数の部分多様体について検討する。 そのようなグループアクションの例としては、画像上の翻訳や90^\circ$ローテーションがある。 そのような同変あるいは不変部分多様体に対して、それらの次元、それらの次数、ユークリッド距離次数、それらの特異点を明示的に記述する。 任意の置換群に対する不変性と巡回群に対する同値性を完全に特徴づける。 我々は、重み共有性などの等変・不変線形ネットワークのパラメータ化と設計に関する結論を導き、すべての不変線型関数が線形オートエンコーダによって学習できることを証明した。

関連論文リスト

• Learning functions on symmetric matrices and point clouds via lightweight invariant features [26.619014249559942]
  本稿では、置換の作用に関して不変な対称行列上の関数の機械学習の定式化について述べる。 これらの不変性は、測度ゼロ集合を除いて対称行列のすべての異なる軌道を分離できることを示す。 固定次元の点雲に対して、不変な特徴の数は、表現性を失うことなく、一般に減少することができることを証明する。
  論文  参考訳（メタデータ） (2024-05-13T18:24:03Z)
• A Characterization Theorem for Equivariant Networks with Point-wise Activations [13.00676132572457]
  回転同変ネットワークは、連結コンパクト群に対して同変である任意のネットワークに対してのみ不変であることを示す。 本稿では, 畳み込み可能な畳み込み型ニューラルネットワークの特徴空間が, 自明な表現であることを示す。
  論文  参考訳（メタデータ） (2024-01-17T14:30:46Z)
• Self-Supervised Learning for Group Equivariant Neural Networks [75.62232699377877]
  群同変ニューラルネットワーク(英: Group equivariant Neural Network)は、入力の変換で通勤する構造に制限されたモデルである。 自己教師型タスクには、同変プリテキストラベルと異変コントラスト損失という2つの概念を提案する。 標準画像認識ベンチマークの実験では、同変ニューラルネットワークが提案された自己教師型タスクを利用することを示した。
  論文  参考訳（メタデータ） (2023-03-08T08:11:26Z)
• Equivariant Disentangled Transformation for Domain Generalization under Combination Shift [91.38796390449504]
  ドメインとラベルの組み合わせは、トレーニング中に観察されるのではなく、テスト環境に現れる。 我々は、同型の概念、同値性、および整合性の定義に基づく結合シフト問題の一意的な定式化を提供する。
  論文  参考訳（メタデータ） (2022-08-03T12:31:31Z)
• Relaxing Equivariance Constraints with Non-stationary Continuous Filters [20.74154804898478]
  提案したパラメータ化は、ニューラルネットワークの調整可能な対称性構造を可能にするビルディングブロックと考えることができる。 CIFAR-10 および CIFAR-100 画像分類タスクにおいて, ソフトな等式が試験精度の向上につながることを実験的に検証した。
  論文  参考訳（メタデータ） (2022-04-14T18:08:36Z)
• Capacity of Group-invariant Linear Readouts from Equivariant Representations: How Many Objects can be Linearly Classified Under All Possible Views? [21.06669693699965]
  分離可能な二コトミーの分数は群作用によって固定される空間の次元によって決定される。 この関係が、畳み込み、要素ワイド非線形性、大域的および局所的なプーリングなどの操作にどのように拡張されるかを示す。
  論文  参考訳（メタデータ） (2021-10-14T15:46:53Z)
• Convolutional Filtering and Neural Networks with Non Commutative Algebras [153.20329791008095]
  本研究では,非可換畳み込みニューラルネットワークの一般化について検討する。 非可換畳み込み構造は作用素空間上の変形に対して安定であることを示す。
  論文  参考訳（メタデータ） (2021-08-23T04:22:58Z)
• Commutative Lie Group VAE for Disentanglement Learning [96.32813624341833]
  本研究では,データに表される因子の変動を同変的に反映する基盤構造を見いだすこととして,非絡み合い学習を考察する。 グループベースの非絡み合い学習を実現するために、Communative Lie Group VAEというシンプルなモデルが導入された。 実験により,本モデルでは,教師なしの非絡み合い表現を効果的に学習し,余分な制約を伴わずに最先端のパフォーマンスを達成できることが示されている。
  論文  参考訳（メタデータ） (2021-06-07T07:03:14Z)
• Group Equivariant Conditional Neural Processes [30.134634059773703]
  群同変条件ニューラルプロセス(EquivCNP)を提案する。 EquivCNPは1次元回帰タスクにおいて従来の条件付きニューラルプロセスに匹敵する性能を示す。
  論文  参考訳（メタデータ） (2021-02-17T13:50:07Z)
• LieTransformer: Equivariant self-attention for Lie Groups [49.9625160479096]
  群等価ニューラルネットワークは群不変ニューラルネットワークの構成要素として用いられる。 我々は、文学の範囲を、ディープラーニングモデルの顕著な構築ブロックとして現れつつある自己注意にまで広げる。 任意のリー群とその離散部分群に同値なリー自己結合層からなる構造であるリー変換器を提案する。
  論文  参考訳（メタデータ） (2020-12-20T11:02:49Z)
• Invariant Feature Coding using Tensor Product Representation [75.62232699377877]
  我々は,群不変特徴ベクトルが線形分類器を学習する際に十分な識別情報を含んでいることを証明した。 主成分分析やk平均クラスタリングにおいて,グループアクションを明示的に考慮する新たな特徴モデルを提案する。
  論文  参考訳（メタデータ） (2019-06-05T07:15:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。