論文の概要: The Role of Fibration Symmetries in Geometric Deep Learning

• arxiv url: http://arxiv.org/abs/2408.15894v1
• Date: Wed, 28 Aug 2024 16:04:40 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-29 15:31:11.262388
• Title: The Role of Fibration Symmetries in Geometric Deep Learning
• Title（参考訳）: 幾何学的深層学習におけるフィブレーション対称性の役割
• Authors: Osvaldo Velarde, Lucas Parra, Paolo Boldi, Hernan Makse,
• Abstract要約: Geometric Deep Learning (GDL)は、対称性の観点から機械学習技術の幅広いクラスを統一する。 我々はGDLを緩和し、局所対称性、特にグラフのフィブレーション対称性が現実的なインスタンスの規則性を利用することを可能にすることを提案する。 GNNは、フィブレーション対称性の誘導バイアスを適用し、その表現力に対してより強い上限を導出する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Geometric Deep Learning (GDL) unifies a broad class of machine learning techniques from the perspectives of symmetries, offering a framework for introducing problem-specific inductive biases like Graph Neural Networks (GNNs). However, the current formulation of GDL is limited to global symmetries that are not often found in real-world problems. We propose to relax GDL to allow for local symmetries, specifically fibration symmetries in graphs, to leverage regularities of realistic instances. We show that GNNs apply the inductive bias of fibration symmetries and derive a tighter upper bound for their expressive power. Additionally, by identifying symmetries in networks, we collapse network nodes, thereby increasing their computational efficiency during both inference and training of deep neural networks. The mathematical extension introduced here applies beyond graphs to manifolds, bundles, and grids for the development of models with inductive biases induced by local symmetries that can lead to better generalization.
• Abstract（参考訳）: Geometric Deep Learning (GDL)は、対称性の観点から幅広い機械学習技術を統一し、グラフニューラルネットワーク(GNN)のような問題固有の帰納バイアスを導入するためのフレームワークを提供する。 しかし、現在のGDLの定式化は、実世界の問題でしばしば見つからない大域的対称性に限られている。 我々はGDLを緩和し、局所対称性、特にグラフのフィブレーション対称性が現実的なインスタンスの規則性を利用することを可能にすることを提案する。 我々は, GNN が振動対称性の帰納バイアスを適用し, 表現力の強い上界を導出することを示す。 さらに、ネットワーク内の対称性を識別することにより、ネットワークノードを崩壊させ、ディープニューラルネットワークの推論とトレーニングにおいて、その計算効率を向上する。 ここで導入された数学的拡張は、より一般化に繋がる局所対称性によって誘導される帰納的バイアスを持つモデルの開発のために、多様体、バンドル、グリッドへのグラフを超えて適用される。

関連論文リスト

• Black Boxes and Looking Glasses: Multilevel Symmetries, Reflection Planes, and Convex Optimization in Deep Networks [46.337104465755075]
  絶対値アクティベーションと任意の入力次元を持つディープニューラルネットワーク(DNN)のトレーニングは,等価凸ラッソ問題として定式化可能であることを示す。 この定式化は、ニューラルネットワークの対称性をコードする幾何学的構造を明らかにする。
  論文  参考訳（メタデータ） (2024-10-05T20:09:07Z)
• Enhancing lattice kinetic schemes for fluid dynamics with Lattice-Equivariant Neural Networks [79.16635054977068]
  我々はLattice-Equivariant Neural Networks (LENNs)と呼ばれる新しい同変ニューラルネットワークのクラスを提案する。 我々の手法は、ニューラルネットワークに基づく代理モデルLattice Boltzmann衝突作用素の学習を目的とした、最近導入されたフレームワーク内で開発されている。 本研究は,実世界のシミュレーションにおける機械学習強化Lattice Boltzmann CFDの実用化に向けて展開する。
  論文  参考訳（メタデータ） (2024-05-22T17:23:15Z)
• A quatum inspired neural network for geometric modeling [14.214656118952178]
  本稿では,MPSベースのメッセージパッシング戦略を提案する。 本手法は,多体関係を効果的にモデル化し,平均場近似を抑える。 これは幾何学的GNNに固有の標準メッセージパッシングおよびレイヤ集約モジュールをシームレスに置き換える。
  論文  参考訳（メタデータ） (2024-01-03T15:59:35Z)
• Lie Point Symmetry and Physics Informed Networks [59.56218517113066]
  本稿では、損失関数を用いて、PINNモデルが基礎となるPDEを強制しようとするのと同じように、リー点対称性をネットワークに通知するロス関数を提案する。 我々の対称性の損失は、リー群の無限小生成元がPDE解を保存することを保証する。 実験により,PDEのリー点対称性による誘導バイアスはPINNの試料効率を大幅に向上させることが示された。
  論文  参考訳（メタデータ） (2023-11-07T19:07:16Z)
• Adaptive Log-Euclidean Metrics for SPD Matrix Learning [73.12655932115881]
  広く使われているログユークリッド計量(LEM)を拡張した適応ログユークリッド計量(ALEM)を提案する。 実験および理論的結果から,SPDニューラルネットワークの性能向上における提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2023-03-26T18:31:52Z)
• Geometrical aspects of lattice gauge equivariant convolutional neural networks [0.0]
  格子ゲージ同変畳み込みニューラルネットワーク(L-CNN)は、非アベリア格子ゲージ理論に適用可能な畳み込みニューラルネットワークの枠組みである。
  論文  参考訳（メタデータ） (2023-03-20T20:49:08Z)
• OrthoReg: Improving Graph-regularized MLPs via Orthogonality Regularization [66.30021126251725]
  グラフニューラルネットワーク(GNN)は現在、グラフ構造データのモデリングにおいて支配的である。 グラフ正規化ネットワーク(GR-MLP)はグラフ構造情報をモデル重みに暗黙的に注入するが、その性能はほとんどのタスクにおいてGNNとほとんど一致しない。 GR-MLPは,最大数個の固有値が埋め込み空間を支配する現象である次元崩壊に苦しむことを示す。 次元崩壊問題を緩和する新しいGR-MLPモデルであるOrthoRegを提案する。
  論文  参考訳（メタデータ） (2023-01-31T21:20:48Z)
• Tree Mover's Distance: Bridging Graph Metrics and Stability of Graph Neural Networks [54.225220638606814]
  本稿では,属性グラフの擬似測度,ツリー・モーバー距離(TMD)を提案し,その一般化との関係について検討する。 まず、TMDはグラフ分類に関連する特性をキャプチャし、単純なTMD-SVMは標準のGNNと競合することを示す。 第2に、分散シフトの下でのGNNの一般化とTMDを関連付け、そのようなシフト下での性能低下とよく相関していることを示す。
  論文  参考訳（メタデータ） (2022-10-04T21:03:52Z)
• Implicit Bias of Linear Equivariant Networks [2.580765958706854]
  群同変畳み込みニューラルネットワーク(G-CNN)は畳み込みニューラルネットワーク(CNN)の一般化である 低ランクフーリエ行列係数の解に勾配勾配勾配を学習した$L$層全幅線形G-CNNが収束することを示す。
  論文  参考訳（メタデータ） (2021-10-12T15:34:25Z)
• Encoding Involutory Invariance in Neural Networks [1.6371837018687636]
  ある状況では、ニューラルネットワーク(NN)は、基礎となる物理対称性に従うデータに基づいて訓練される。 本研究では、関数がパリティまでのインボリュート線型/ファイン変換に対して不変な特別な対称性について検討する。 数値実験により,提案モデルが与えられた対称性を尊重しながらベースラインネットワークより優れていたことが示唆された。 また,本手法を水平/垂直反射対称性を持つデータセットに対する畳み込みNN分類タスクに適用する手法も提案されている。
  論文  参考訳（メタデータ） (2021-06-07T16:07:15Z)
• Gauge Equivariant Mesh CNNs: Anisotropic convolutions on geometric graphs [81.12344211998635]
  メッシュ上の畳み込みを定義する一般的なアプローチは、それらをグラフとして解釈し、グラフ畳み込みネットワーク(GCN)を適用することである。 本稿では、GCNを一般化して異方性ゲージ同変カーネルを適用するGauge Equivariant Mesh CNNを提案する。 本実験は,従来のGCNおよび他の手法と比較して,提案手法の表現性を大幅に向上することを示した。
  論文  参考訳（メタデータ） (2020-03-11T17:21:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。