論文の概要: Low Dimensional Invariant Embeddings for Universal Geometric Learning
- arxiv url: http://arxiv.org/abs/2205.02956v3
- Date: Tue, 21 Nov 2023 15:57:17 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-23 06:04:01.702124
- Title: Low Dimensional Invariant Embeddings for Universal Geometric Learning
- Title（参考訳）: 普遍幾何学学習のための低次元不変埋め込み
- Authors: Nadav Dym and Steven J. Gortler
- Abstract要約: 本稿では、適切な群作用に不変で、どの軌道を分離するかという、不変量:$D$次元領域上の写像について研究する。
この研究の動機は、同変ニューラルネットワークアーキテクチャの普遍性を証明するために不変量を分離することの有用性にある。
- 参考スコア（独自算出の注目度）: 6.405957390409045
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper studies separating invariants: mappings on $D$ dimensional domains
which are invariant to an appropriate group action, and which separate orbits.
The motivation for this study comes from the usefulness of separating
invariants in proving universality of equivariant neural network architectures.
We observe that in several cases the cardinality of separating invariants
proposed in the machine learning literature is much larger than the dimension
$D$. As a result, the theoretical universal constructions based on these
separating invariants is unrealistically large. Our goal in this paper is to
resolve this issue.
We show that when a continuous family of semi-algebraic separating invariants
is available, separation can be obtained by randomly selecting $2D+1 $ of these
invariants. We apply this methodology to obtain an efficient scheme for
computing separating invariants for several classical group actions which have
been studied in the invariant learning literature. Examples include matrix
multiplication actions on point clouds by permutations, rotations, and various
other linear groups.
Often the requirement of invariant separation is relaxed and only generic
separation is required. In this case, we show that only $D+1$ invariants are
required. More importantly, generic invariants are often significantly easier
to compute, as we illustrate by discussing generic and full separation for
weighted graphs. Finally we outline an approach for proving that separating
invariants can be constructed also when the random parameters have finite
precision.
- Abstract（参考訳）: 本稿では、適当な群作用に不変であり、分離された軌道を持つ、$d$ 次元領域上の写像を分離する。
この研究の動機は、同変ニューラルネットワークアーキテクチャの普遍性を証明するために不変量を分離することの有用性にある。
いくつかの場合において、機械学習の文献で提案される不変量分離の基数は、次元$D$よりもはるかに大きい。
その結果、これらの分離不変量に基づく理論的普遍構造は非現実的に大きい。
この論文の目標はこの問題を解決することです。
半代数的分離不変量の連続族が利用できるとき、これらの不変量の2D+1$をランダムに選択することで分離が得られることを示す。
この手法を適用し、不変学習文献で研究されているいくつかの古典的群行動に対する不変量分離の効率的なスキームを得る。
例えば、点雲上の行列乗算作用は、置換、回転、その他の様々な線型群によるものである。
しばしば、不変分離の要求は緩和され、一般的な分離のみが要求される。
この場合、D+1$不変量のみが必要であることを示す。
より重要なことに、重み付きグラフのジェネリック分離と完全分離について論じることで、ジェネリック不変量は計算がかなり容易になることが多い。
最後に,確率パラメータの精度が有限であれば,不変量の分離も構築できることを示す手法について概説する。
関連論文リスト
- Global optimality under amenable symmetry constraints [0.5656581242851759]
凸性、群、および典型的には無限次元のベクトル空間の間の相互作用を示す。
このツールキットを不変最適性問題に適用する。
これは、不変カーネルの平均埋め込みとリスク-最適不変結合に関する新しい結果をもたらす。
論文 参考訳（メタデータ） (2024-02-12T12:38:20Z) - Lie Group Decompositions for Equivariant Neural Networks [12.139222986297261]
コンボリューションカーネルをパラメータ化してアフィン変換に対する同変モデルを構築する方法を示す。
我々は,ベンチマークアフィン不変分類タスクにおいて,モデルのロバスト性と分布外一般化能力を評価する。
論文 参考訳（メタデータ） (2023-10-17T16:04:33Z) - Geometry of Linear Neural Networks: Equivariance and Invariance under
Permutation Groups [0.0]
置換群の作用の下で同変あるいは不変な函数の部分多様体について検討する。
パラメータ化と等変線形ネットワークの設計に関する結論を導出する。
論文 参考訳（メタデータ） (2023-09-24T19:40:15Z) - Deep Neural Networks with Efficient Guaranteed Invariances [77.99182201815763]
我々は、性能改善の問題、特にディープニューラルネットワークのサンプル複雑性に対処する。
群同変畳み込みは同変表現を得るための一般的なアプローチである。
本稿では,各ストリームが異なる変換に不変なマルチストリームアーキテクチャを提案する。
論文 参考訳（メタデータ） (2023-03-02T20:44:45Z) - Machine learning and invariant theory [10.178220223515956]
このトピックを紹介し、同変関数を明示的にパラメータ化するためのいくつかの方法を説明する。
我々は、Mulgrange による一般的な手順を、群 $G$ の作用の下で同変である線型空間の間のすべての写像を表現するために説明する。
論文 参考訳（メタデータ） (2022-09-29T17:52:17Z) - Equivariant Disentangled Transformation for Domain Generalization under
Combination Shift [91.38796390449504]
ドメインとラベルの組み合わせは、トレーニング中に観察されるのではなく、テスト環境に現れる。
我々は、同型の概念、同値性、および整合性の定義に基づく結合シフト問題の一意的な定式化を提供する。
論文 参考訳（メタデータ） (2022-08-03T12:31:31Z) - Measuring dissimilarity with diffeomorphism invariance [94.02751799024684]
DID(DID)は、幅広いデータ空間に適用可能なペアワイズな相似性尺度である。
我々は、DIDが理論的研究と実用に関係のある特性を享受していることを証明する。
論文 参考訳（メタデータ） (2022-02-11T13:51:30Z) - Improving the Sample-Complexity of Deep Classification Networks with
Invariant Integration [77.99182201815763]
変換によるクラス内分散に関する事前知識を活用することは、ディープニューラルネットワークのサンプル複雑性を改善するための強力な方法である。
そこで本研究では,アプリケーションの複雑な問題に対処するために,プルーニング法に基づく新しい単項選択アルゴリズムを提案する。
本稿では,Rotated-MNIST,SVHN,CIFAR-10データセットにおけるサンプルの複雑さの改善について述べる。
論文 参考訳（メタデータ） (2022-02-08T16:16:11Z) - Group Equivariant Subsampling [60.53371517247382]
サブサンプリングは、プールやストライド畳み込みの形で畳み込みニューラルネットワーク(CNN)で使用される。
まず、正確な翻訳同変CNNを構築するために使用できる翻訳同変サブサンプリング/アップサンプリング層を導入する。
次に、これらの層を一般群への変換を超えて一般化し、したがって群同変部分サンプリング/アップサンプリングを提案する。
論文 参考訳（メタデータ） (2021-06-10T16:14:00Z) - A Practical Method for Constructing Equivariant Multilayer Perceptrons
for Arbitrary Matrix Groups [115.58550697886987]
行列群の同変層を解くための完全一般的なアルゴリズムを提供する。
他作品からのソリューションを特殊ケースとして回収するだけでなく、これまで取り組んだことのない複数のグループと等価な多層パーセプトロンを構築します。
提案手法は, 粒子物理学および力学系への応用により, 非同変基底線より優れる。
論文 参考訳（メタデータ） (2021-04-19T17:21:54Z) - Regularizing Towards Permutation Invariance in Recurrent Models [26.36835670113303]
我々は、RNNが置換不変性に対して規則化可能であることを示し、その結果、コンパクトモデルが得られることを示した。
既存のソリューションは、主に、設計によって不変な置換性を持つ仮説クラスに学習問題を限定することを提案している。
提案手法は,合成および実世界のデータセットにおける他の置換不変手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2020-10-25T07:46:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。