論文の概要: Analysis of (sub-)Riemannian PDE-G-CNNs
- arxiv url: http://arxiv.org/abs/2210.00935v4
- Date: Mon, 3 Apr 2023 11:40:16 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-05 00:48:28.117329
- Title: Analysis of (sub-)Riemannian PDE-G-CNNs
- Title(参考訳): リーマン型PDE-G-CNNの解析
- Authors: Gijs Bellaard, Daan L. J. Bon, Gautam Pai, Bart M. N. Smets, Remco
Duits
- Abstract要約: グループ同変畳み込みニューラルネットワーク(G-CNN)は幾何学的深層学習に成功している。
これまでに提案した近似形態素カーネルが必ずしも正確なカーネルを正確に近似するとは限らないことを示す。
近似核のより優れた誤差推定を持つ新しい定理を提供し、それらがすべて正確なものと同じ反射対称性を持っていることを証明する。
- 参考スコア(独自算出の注目度): 1.9249287163937971
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Group equivariant convolutional neural networks (G-CNNs) have been
successfully applied in geometric deep learning. Typically, G-CNNs have the
advantage over CNNs that they do not waste network capacity on training
symmetries that should have been hard-coded in the network. The recently
introduced framework of PDE-based G-CNNs (PDE-G-CNNs) generalises G-CNNs.
PDE-G-CNNs have the core advantages that they simultaneously 1) reduce network
complexity, 2) increase classification performance, and 3) provide geometric
interpretability. Their implementations primarily consist of linear and
morphological convolutions with kernels.
In this paper we show that the previously suggested approximative
morphological kernels do not always accurately approximate the exact kernels
accurately. More specifically, depending on the spatial anisotropy of the
Riemannian metric, we argue that one must resort to sub-Riemannian
approximations. We solve this problem by providing a new approximative kernel
that works regardless of the anisotropy. We provide new theorems with better
error estimates of the approximative kernels, and prove that they all carry the
same reflectional symmetries as the exact ones.
We test the effectiveness of multiple approximative kernels within the
PDE-G-CNN framework on two datasets, and observe an improvement with the new
approximative kernels. We report that the PDE-G-CNNs again allow for a
considerable reduction of network complexity while having comparable or better
performance than G-CNNs and CNNs on the two datasets. Moreover, PDE-G-CNNs have
the advantage of better geometric interpretability over G-CNNs, as the
morphological kernels are related to association fields from neurogeometry.
- Abstract(参考訳): グループ同変畳み込みニューラルネットワーク(G-CNN)は幾何学的深層学習に成功している。
通常、G-CNNはCNNに対して、ネットワーク内でハードコードされたはずのトレーニング対称性にネットワーク容量を浪費しないという利点がある。
最近導入されたPDEベースのG-CNN(PDE-G-CNN)フレームワークはG-CNNを一般化している。
PDE-G-CNNは、それらが同時に持つコアアドバンテージを持つ
1)ネットワークの複雑さを減らす。
2)分類性能の向上、及び
3)幾何学的解釈性を提供する。
それらの実装は、主に核との線形および形態的畳み込みからなる。
本稿では,前述した近似的形態素核が必ずしも正確な核を正確に近似するとは限らないことを示す。
より具体的には、リーマン計量の空間異方性(英語版)に依存するので、準リーマン近似に頼らなければならない。
異方性に関係なく動作する新しい近似カーネルを提供することでこの問題を解決する。
近似核のより優れた誤差推定を持つ新しい定理を提供し、それらがすべて正確なものと同じ反射対称性を持っていることを証明する。
PDE-G-CNNフレームワークにおける複数の近似カーネルの有効性を2つのデータセットで検証し、新しい近似カーネルによる改善を観察する。
我々は、PDE-G-CNNは、G-CNNとCNNの2つのデータセットに比較して、ネットワークの複雑さを著しく低減する。
さらに、PDE-G-CNNはG-CNNよりも優れた幾何学的解釈可能性を持つ。
関連論文リスト
- Spiking Graph Neural Network on Riemannian Manifolds [51.15400848660023]
グラフニューラルネットワーク(GNN)は、グラフの学習において支配的なソリューションとなっている。
既存のスパイク GNN はユークリッド空間のグラフを考慮し、構造幾何学を無視している。
マニフォールド値スパイキングGNN(MSG)を提案する。
MSGは従来のGNNよりも優れた性能とエネルギー効率を実現している。
論文 参考訳(メタデータ) (2024-10-23T15:09:02Z) - Topological Neural Networks go Persistent, Equivariant, and Continuous [6.314000948709255]
我々は,GNN/TNNとPHの交差において,様々な手法を仮定し,統一するフレームワークとしてTopNetsを紹介した。
TopNetは、抗体設計、分子動力学シミュレーション、薬物特性予測など、さまざまなタスクで強力なパフォーマンスを実現している。
論文 参考訳(メタデータ) (2024-06-05T11:56:54Z) - GNN-Ensemble: Towards Random Decision Graph Neural Networks [3.7620848582312405]
グラフニューラルネットワーク(GNN)は、グラフ構造化データに広く応用されている。
GNNは、大量のテストデータに基づいて推論を行うために、限られた量のトレーニングデータから潜伏パターンを学習する必要がある。
本稿では、GNNのアンサンブル学習を一歩前進させ、精度、堅牢性、敵攻撃を改善した。
論文 参考訳(メタデータ) (2023-03-20T18:24:01Z) - Relation Embedding based Graph Neural Networks for Handling
Heterogeneous Graph [58.99478502486377]
我々は、同種GNNが不均一グラフを扱うのに十分な能力を持つように、シンプルで効率的なフレームワークを提案する。
具体的には、エッジ型関係と自己ループ接続の重要性を埋め込むために、関係1つのパラメータのみを使用する関係埋め込みベースのグラフニューラルネットワーク(RE-GNN)を提案する。
論文 参考訳(メタデータ) (2022-09-23T05:24:18Z) - Optimization of Graph Neural Networks: Implicit Acceleration by Skip
Connections and More Depth [57.10183643449905]
グラフニューラルネットワーク(GNN)は表現力と一般化のレンズから研究されている。
GNNのダイナミクスを深部スキップ最適化により研究する。
本研究は,GNNの成功に対する最初の理論的支援を提供する。
論文 参考訳(メタデータ) (2021-05-10T17:59:01Z) - Learning Graph Neural Networks with Approximate Gradient Descent [24.49427608361397]
ラベルがノードまたはグラフに添付されているかどうかに応じて、2種類のグラフニューラルネットワーク(GNN)が調査されます。
gnnトレーニングアルゴリズムの設計と解析のための包括的なフレームワークを開発した。
提案アルゴリズムは,GNNの根底にある真のパラメータに対する線形収束率を保証する。
論文 参考訳(メタデータ) (2020-12-07T02:54:48Z) - Permutation-equivariant and Proximity-aware Graph Neural Networks with
Stochastic Message Passing [88.30867628592112]
グラフニューラルネットワーク(GNN)は、グラフ上の新たな機械学習モデルである。
置換等価性と近接認識性は、GNNにとって非常に望ましい2つの重要な特性である。
既存のGNNは、主にメッセージパッシング機構に基づいており、同時に2つの特性を保存できないことを示す。
ノードの近さを保つため,既存のGNNをノード表現で拡張する。
論文 参考訳(メタデータ) (2020-09-05T16:46:56Z) - Fast Learning of Graph Neural Networks with Guaranteed Generalizability:
One-hidden-layer Case [93.37576644429578]
グラフニューラルネットワーク(GNN)は、グラフ構造化データから実際に学習する上で、近年大きな進歩を遂げている。
回帰問題と二項分類問題の両方に隠れ層を持つGNNの理論的に基底的な一般化可能性解析を行う。
論文 参考訳(メタデータ) (2020-06-25T00:45:52Z) - Optimization and Generalization Analysis of Transduction through
Gradient Boosting and Application to Multi-scale Graph Neural Networks [60.22494363676747]
現在のグラフニューラルネットワーク(GNN)は、オーバースムーシング(over-smoothing)と呼ばれる問題のため、自分自身を深くするのは難しいことが知られている。
マルチスケールGNNは、オーバースムーシング問題を緩和するための有望なアプローチである。
マルチスケールGNNを含むトランスダクティブ学習アルゴリズムの最適化と一般化を保証する。
論文 参考訳(メタデータ) (2020-06-15T17:06:17Z) - Generalization and Representational Limits of Graph Neural Networks [46.20253808402385]
ローカル情報に完全に依存するグラフニューラルネットワーク(GNN)では,いくつかの重要なグラフ特性を計算できないことを示す。
メッセージパッシングGNNに対する最初のデータ依存一般化境界を提供する。
私たちのバウンダリは、既存のVC次元ベースのGNN保証よりもはるかに厳格で、リカレントニューラルネットワークのRademacherバウンダリと同等です。
論文 参考訳(メタデータ) (2020-02-14T18:10:14Z) - PDE-based Group Equivariant Convolutional Neural Networks [1.949912057689623]
群同変畳み込みニューラルネットワーク(G-CNN)を一般化したPDEに基づくフレームワークを提案する。
このフレームワークでは、ネットワーク層は、幾何学的に有意なPDE係数が層のトレーニング可能な重みとなるPDE解決器の集合と見なされる。
本稿では,深層学習に基づくイメージングアプリケーションの性能向上に向けたPDE-G-CNNの強みを示す実験を行う。
論文 参考訳(メタデータ) (2020-01-24T15:00:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。