論文の概要: Expressive Sign Equivariant Networks for Spectral Geometric Learning

• arxiv url: http://arxiv.org/abs/2312.02339v1
• Date: Mon, 4 Dec 2023 20:48:18 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-06 17:39:12.495249
• Title: Expressive Sign Equivariant Networks for Spectral Geometric Learning
• Title（参考訳）: スペクトル幾何学学習のための表現記号同変ネットワーク
• Authors: Derek Lim and Joshua Robinson and Stefanie Jegelka and Haggai Maron
• Abstract要約: 近年の研究では、固有ベクトルの構造と対称性を尊重する機械学習モデルの開発の有用性が示されている。 グラフにおけるリンク予測のための等変モデルの構築やノード位置符号化の学習といったタスクに対して,符号不変性は理論的に制限されていることを示す。
• 参考スコア（独自算出の注目度）: 47.71042325868781
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent work has shown the utility of developing machine learning models that respect the structure and symmetries of eigenvectors. These works promote sign invariance, since for any eigenvector v the negation -v is also an eigenvector. However, we show that sign invariance is theoretically limited for tasks such as building orthogonally equivariant models and learning node positional encodings for link prediction in graphs. In this work, we demonstrate the benefits of sign equivariance for these tasks. To obtain these benefits, we develop novel sign equivariant neural network architectures. Our models are based on a new analytic characterization of sign equivariant polynomials and thus inherit provable expressiveness properties. Controlled synthetic experiments show that our networks can achieve the theoretically predicted benefits of sign equivariant models. Code is available at https://github.com/cptq/Sign-Equivariant-Nets.
• Abstract（参考訳）: 近年の研究では、固有ベクトルの構造と対称性を尊重する機械学習モデルの開発の有用性が示されている。 なぜなら、任意の固有ベクトル v に対して、否定-v もまた固有ベクトルであるからである。 しかし,直交同値モデルの構築や,グラフにおけるリンク予測のためのノード位置符号化の学習といったタスクでは,符号不変性が理論的に制限されている。 本研究では,これらのタスクに対する符号同分散の利点を実証する。 これらの利点を得るために,我々は新しい符号同変ニューラルネットワークアーキテクチャを開発した。 我々のモデルは符号同変多項式の新たな解析的特徴に基づくため、証明可能な表現性特性を継承する。 制御された合成実験は、ネットワークが理論上予測される符号同変モデルの利点を実現できることを示した。 コードはhttps://github.com/cptq/Sign-Equivariant-Netsで入手できる。

関連論文リスト

• A Characterization Theorem for Equivariant Networks with Point-wise Activations [13.00676132572457]
  回転同変ネットワークは、連結コンパクト群に対して同変である任意のネットワークに対してのみ不変であることを示す。 本稿では, 畳み込み可能な畳み込み型ニューラルネットワークの特徴空間が, 自明な表現であることを示す。
  論文  参考訳（メタデータ） (2024-01-17T14:30:46Z)
• Symmetry Breaking and Equivariant Neural Networks [17.740760773905986]
  我々は「緩和された同注入」という新しい概念を導入する。 我々は、この緩和を同変多層パーセプトロン(E-MLP)に組み込む方法を示す。 対称性の破れの関連性は、様々な応用領域で議論される。
  論文  参考訳（メタデータ） (2023-12-14T15:06:48Z)
• Non Commutative Convolutional Signal Models in Neural Networks: Stability to Small Deformations [111.27636893711055]
  非可換畳み込みフィルタのフィルタ特性と安定性について検討する。 この結果は,グループニューラルネットワーク,マルチグラフニューラルネットワーク,四元系ニューラルネットワークに直接影響する。
  論文  参考訳（メタデータ） (2023-10-05T20:27:22Z)
• The Lie Derivative for Measuring Learned Equivariance [84.29366874540217]
  我々は、CNN、トランスフォーマー、ミキサーアーキテクチャにまたがる数百の事前訓練されたモデルの同値性について検討する。 その結果,不等式違反の多くは,不等式などのユビキタスネットワーク層における空間エイリアスに関連付けられることがわかった。 例えば、トランスはトレーニング後の畳み込みニューラルネットワークよりも同種である。
  論文  参考訳（メタデータ） (2022-10-06T15:20:55Z)
• Sign and Basis Invariant Networks for Spectral Graph Representation Learning [75.18802152811539]
  SignNetとBasisNetは、すべての必須対称性に不変な新しいニューラルアーキテクチャであり、したがって、原則化された方法で固有空間のコレクションを処理する。 我々のネットワークは理論的にはグラフ表現学習に強い -- 任意のスペクトルグラフ畳み込みを近似することができる。 実験により、スペクトルグラフフィルタの学習とグラフ位置エンコーディングの学習のためのネットワークの強みが示された。
  論文  参考訳（メタデータ） (2022-02-25T23:11:59Z)
• Equivariant vector field network for many-body system modeling [65.22203086172019]
  Equivariant Vector Field Network (EVFN) は、新しい同変層と関連するスカラー化およびベクトル化層に基づいて構築されている。 シミュレーションされたニュートン力学系の軌跡を全観測データと部分観測データで予測する手法について検討した。
  論文  参考訳（メタデータ） (2021-10-26T14:26:25Z)
• Frame Averaging for Invariant and Equivariant Network Design [50.87023773850824]
  フレーム平均化(FA)は、既知の(バックボーン)アーキテクチャを新しい対称性タイプに不変あるいは同変に適応するためのフレームワークである。 FAモデルが最大表現力を持つことを示す。 我々は,新しいユニバーサルグラフニューラルネット(GNN),ユニバーサルユークリッド運動不変点クラウドネットワーク,およびユークリッド運動不変メッセージパッシング(MP)GNNを提案する。
  論文  参考訳（メタデータ） (2021-10-07T11:05:23Z)
• Disentangled Representation Learning and Generation with Manifold Optimization [10.69910379275607]
  本研究は,変分方向の促進による絡み合いを明確に促進する表現学習フレームワークを提案する。 理論的な議論と様々な実験により、提案モデルは、生成品質と非絡み合い表現学習の両方の観点から、多くのVAE変種よりも改善されていることが示された。
  論文  参考訳（メタデータ） (2020-06-12T10:00:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。