論文の概要: Geometry of Linear Neural Networks: Equivariance and Invariance under Permutation Groups

• arxiv url: http://arxiv.org/abs/2309.13736v2
• Date: Fri, 26 Jan 2024 13:13:40 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-29 18:02:08.242478
• Title: Geometry of Linear Neural Networks: Equivariance and Invariance under Permutation Groups
• Title（参考訳）: 線形ニューラルネットワークの幾何学:置換群における等分散と不変性
• Authors: Kathl\'en Kohn, Anna-Laura Sattelberger, Vahid Shahverdi
• Abstract要約: 置換群の作用の下で同変あるいは不変な函数の部分多様体について検討する。 パラメータ化と等変線形ネットワークの設計に関する結論を導出する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The set of functions parameterized by a linear fully-connected neural network is a determinantal variety. We investigate the subvariety of functions that are equivariant or invariant under the action of a permutation group. Examples of such group actions are translations or $90^\circ$ rotations on images. We describe such equivariant or invariant subvarieties as direct products of determinantal varieties, from which we deduce their dimension, degree, Euclidean distance degree, and their singularities. We fully characterize invariance for arbitrary permutation groups, and equivariance for cyclic groups. We draw conclusions for the parameterization and the design of equivariant and invariant linear networks in terms of sparsity and weight-sharing properties. We prove that all invariant linear functions can be parameterized by a single linear autoencoder with a weight-sharing property imposed by the cycle decomposition of the considered permutation. The space of rank-bounded equivariant functions has several irreducible components, so it can {\em not} be parameterized by a single network -- but each irreducible component can. Finally, we show that minimizing the squared-error loss on our invariant or equivariant networks reduces to minimizing the Euclidean distance from determinantal varieties via the Eckart--Young theorem.
• Abstract（参考訳）: 線形完全連結ニューラルネットワークによってパラメータ化された関数の集合は行列多様体である。 置換群の作用の下で同変あるいは不変な函数の部分多様体について検討する。 そのようなグループアクションの例としては、画像上の翻訳や90^\circ$ローテーションがある。 そのような同変あるいは不変部分多様体を行列多様体の直積として記述し、そこからその次元、次数、ユークリッド距離次数および特異点を導出する。 任意の置換群に対する不変性と巡回群に対する同値性を完全に特徴づける。 パラメータ化と等変および不変線形ネットワークの設計について、空間性および重み付け特性の観点から結論を導出する。 すべての不変線型関数は、考慮される置換のサイクル分解によって重みの共有性が課される単一の線形オートエンコーダによってパラメータ化可能であることが証明される。 ランク付き同値関数の空間はいくつかの既約成分を持ち、単一のネットワークでパラメータ化できないが、各既約成分は可逆成分である。 最後に、不変あるいは同変ネットワーク上の二乗誤差損失の最小化は、エッカート・ヤングの定理を通じて行列型多様体からユークリッド距離を最小化する。

関連論文リスト

• Learning functions on symmetric matrices and point clouds via lightweight invariant features [26.619014249559942]
  本稿では、置換の作用に関して不変な対称行列上の関数の機械学習の定式化について述べる。 これらの不変性は、測度ゼロ集合を除いて対称行列のすべての異なる軌道を分離できることを示す。 固定次元の点雲に対して、不変な特徴の数は、表現性を失うことなく、一般に減少することができることを証明する。
  論文  参考訳（メタデータ） (2024-05-13T18:24:03Z)
• Equivariant Manifold Neural ODEs and Differential Invariants [0.7770029179741429]
  我々は同変多様体ニューラル常微分方程式(NODE)の明らかな幾何学的枠組みを開発する。 私たちは、対称データに対するモデリング能力を解析するためにそれを使用します。
  論文  参考訳（メタデータ） (2024-01-25T12:23:22Z)
• A Characterization Theorem for Equivariant Networks with Point-wise Activations [13.00676132572457]
  回転同変ネットワークは、連結コンパクト群に対して同変である任意のネットワークに対してのみ不変であることを示す。 本稿では, 畳み込み可能な畳み込み型ニューラルネットワークの特徴空間が, 自明な表現であることを示す。
  論文  参考訳（メタデータ） (2024-01-17T14:30:46Z)
• Self-Supervised Learning for Group Equivariant Neural Networks [75.62232699377877]
  群同変ニューラルネットワーク(英: Group equivariant Neural Network)は、入力の変換で通勤する構造に制限されたモデルである。 自己教師型タスクには、同変プリテキストラベルと異変コントラスト損失という2つの概念を提案する。 標準画像認識ベンチマークの実験では、同変ニューラルネットワークが提案された自己教師型タスクを利用することを示した。
  論文  参考訳（メタデータ） (2023-03-08T08:11:26Z)
• Equivariant Disentangled Transformation for Domain Generalization under Combination Shift [91.38796390449504]
  ドメインとラベルの組み合わせは、トレーニング中に観察されるのではなく、テスト環境に現れる。 我々は、同型の概念、同値性、および整合性の定義に基づく結合シフト問題の一意的な定式化を提供する。
  論文  参考訳（メタデータ） (2022-08-03T12:31:31Z)
• Relaxing Equivariance Constraints with Non-stationary Continuous Filters [20.74154804898478]
  提案したパラメータ化は、ニューラルネットワークの調整可能な対称性構造を可能にするビルディングブロックと考えることができる。 CIFAR-10 および CIFAR-100 画像分類タスクにおいて, ソフトな等式が試験精度の向上につながることを実験的に検証した。
  論文  参考訳（メタデータ） (2022-04-14T18:08:36Z)
• Capacity of Group-invariant Linear Readouts from Equivariant Representations: How Many Objects can be Linearly Classified Under All Possible Views? [21.06669693699965]
  分離可能な二コトミーの分数は群作用によって固定される空間の次元によって決定される。 この関係が、畳み込み、要素ワイド非線形性、大域的および局所的なプーリングなどの操作にどのように拡張されるかを示す。
  論文  参考訳（メタデータ） (2021-10-14T15:46:53Z)
• Convolutional Filtering and Neural Networks with Non Commutative Algebras [153.20329791008095]
  本研究では,非可換畳み込みニューラルネットワークの一般化について検討する。 非可換畳み込み構造は作用素空間上の変形に対して安定であることを示す。
  論文  参考訳（メタデータ） (2021-08-23T04:22:58Z)
• Commutative Lie Group VAE for Disentanglement Learning [96.32813624341833]
  本研究では,データに表される因子の変動を同変的に反映する基盤構造を見いだすこととして,非絡み合い学習を考察する。 グループベースの非絡み合い学習を実現するために、Communative Lie Group VAEというシンプルなモデルが導入された。 実験により,本モデルでは,教師なしの非絡み合い表現を効果的に学習し,余分な制約を伴わずに最先端のパフォーマンスを達成できることが示されている。
  論文  参考訳（メタデータ） (2021-06-07T07:03:14Z)
• LieTransformer: Equivariant self-attention for Lie Groups [49.9625160479096]
  群等価ニューラルネットワークは群不変ニューラルネットワークの構成要素として用いられる。 我々は、文学の範囲を、ディープラーニングモデルの顕著な構築ブロックとして現れつつある自己注意にまで広げる。 任意のリー群とその離散部分群に同値なリー自己結合層からなる構造であるリー変換器を提案する。
  論文  参考訳（メタデータ） (2020-12-20T11:02:49Z)
• Invariant Feature Coding using Tensor Product Representation [75.62232699377877]
  我々は,群不変特徴ベクトルが線形分類器を学習する際に十分な識別情報を含んでいることを証明した。 主成分分析やk平均クラスタリングにおいて,グループアクションを明示的に考慮する新たな特徴モデルを提案する。
  論文  参考訳（メタデータ） (2019-06-05T07:15:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。