論文の概要: Topological Blind Spots: Understanding and Extending Topological Deep Learning Through the Lens of Expressivity

• arxiv url: http://arxiv.org/abs/2408.05486v1
• Date: Sat, 10 Aug 2024 08:27:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-08-13 18:51:22.683535
• Title: Topological Blind Spots: Understanding and Extending Topological Deep Learning Through the Lens of Expressivity
• Title（参考訳）: トポロジカルブラインドスポット:表現性レンズによるトポロジカルディープラーニングの理解と拡張
• Authors: Yam Eitan, Yoav Gelberg, Guy Bar-Shalom, Fabrizio Frasca, Michael Bronstein, Haggai Maron,
• Abstract要約: トポロジカルディープラーニング(TDL)は、トポロジカル構造で表されるデータからの学習を容易にする。 本稿では,高次メッセージパッシング(HOMP)の長所と短所について検討する。 我々は,マルチセルネットワーク(MCN)とスケーラブルマルチセルネットワーク(SMCN)という,TDLモデルの2つの新しいクラスを開発する。
• 参考スコア（独自算出の注目度）: 16.85143734063591
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Topological deep learning (TDL) facilitates learning from data represented by topological structures. The primary model utilized in this setting is higher-order message-passing (HOMP), which extends traditional graph message-passing neural networks (MPNN) to diverse topological domains. Given the significant expressivity limitations of MPNNs, our paper aims to explore both the strengths and weaknesses of HOMP's expressive power and subsequently design novel architectures to address these limitations. We approach this from several perspectives: First, we demonstrate HOMP's inability to distinguish between topological objects based on fundamental topological and metric properties such as diameter, orientability, planarity, and homology. Second, we show HOMP's limitations in fully leveraging the topological structure of objects constructed using common lifting and pooling operators on graphs. Finally, we compare HOMP's expressive power to hypergraph networks, which are the most extensively studied TDL methods. We then develop two new classes of TDL models: multi-cellular networks (MCN) and scalable multi-cellular networks (SMCN). These models draw inspiration from expressive graph architectures. While MCN can reach full expressivity but is highly unscalable, SMCN offers a more scalable alternative that still mitigates many of HOMP's expressivity limitations. Finally, we construct a synthetic dataset, where TDL models are tasked with separating pairs of topological objects based on basic topological properties. We demonstrate that while HOMP is unable to distinguish between any of the pairs in the dataset, SMCN successfully distinguishes all pairs, empirically validating our theoretical findings. Our work opens a new design space and new opportunities for TDL, paving the way for more expressive and versatile models.
• Abstract（参考訳）: トポロジカルディープラーニング(TDL)は、トポロジカル構造で表されるデータからの学習を容易にする。 この設定で使用される主要なモデルは高階メッセージパッシング(HOMP)であり、従来のグラフメッセージパッシングニューラルネットワーク(MPNN)を様々なトポロジ領域に拡張する。 本稿では,MPNNの表現力の限界を考えると,HOMPの表現力の強さと弱さを両立させ,これらの制約に対処する新しいアーキテクチャを設計することを目的とする。 まず、hoMPが、直径、指向性、平面性、ホモロジーといった基本的な位相的および計量的性質に基づいて位相的対象を区別できないことを示す。 第2に、共通リフトとグラフ上のプール演算子を用いて構築された物体の位相構造を完全に活用する際のHOMPの限界を示す。 最後に、HOMPの表現力と、最も広く研究されているTDL手法であるハイパーグラフネットワークを比較した。 次に,マルチセルネットワーク (MCN) とスケーラブルマルチセルネットワーク (SMCN) の2つの新しいクラスを開発する。 これらのモデルは表現力のあるグラフアーキテクチャからインスピレーションを得ている。 MCNは完全な表現性に達することができるが、SMCNはよりスケーラブルな代替手段を提供しており、HOMPの表現性制限の多くを緩和している。 最後に,TDLモデルを用いた合成データセットを構築し,基本的トポロジ特性に基づいてトポロジ的対象のペアを分離する。 HOMPはデータセット内の任意のペアを区別できないが、SMCNはすべてのペアを識別し、理論的知見を実証的に検証することに成功した。 我々の研究は、新しいデザイン空間とTDLの新たな機会を開き、より表現力があり多目的なモデルへの道を開いた。

関連論文リスト

• Lorentzian Graph Isomorphic Network [0.0]
  双曲空間で動作するように設計された新しいグラフニューラルネットワーク(GNN)であるLorentzian Graph Isomorphic Network(LGIN)を紹介する。 既存のGNNは主にユークリッド空間で運用されており、階層構造と多重関係構造を捉える能力を制限することができる。 LGINは一貫して最先端のGNNより優れ、複雑なグラフ構造のモデリングにおける堅牢性と有効性を示している。
  論文  参考訳（メタデータ） (2025-03-31T18:49:34Z)
• Neural Graph Pattern Machine [50.78679002846741]
  本稿では,グラフパターンから直接学習するためのフレームワークであるNeural Graph Pattern Machine (GPM)を提案する。 GPMは、下流タスクにおいて最も関連性の高いものを特定しながら、下位構造を効率的に抽出し、エンコードする。
  論文  参考訳（メタデータ） (2025-01-30T20:37:47Z)
• Discovering Message Passing Hierarchies for Mesh-Based Physics Simulation [61.89682310797067]
  DHMPを導入し,異なるノード選択手法を用いてメッセージパッシングネットワークの動的階層を学習する。 本実験はDHMPの有効性を実証し,近年の固定階層型メッセージパッシングネットワークと比較して平均22.7%改善した。
  論文  参考訳（メタデータ） (2024-10-03T15:18:00Z)
• Topological Deep Learning with State-Space Models: A Mamba Approach for Simplicial Complexes [4.787059527893628]
  本稿では,Mamba状態空間モデルをバックボーンとして利用して,単純な複素数を扱うように設計された新しいアーキテクチャを提案する。 提案手法は, 隣接セルをベースとしたノードのシーケンスを生成し, ランクに関わらず, 上位構造間の直接通信を可能にする。
  論文  参考訳（メタデータ） (2024-09-18T14:49:25Z)
• E(n) Equivariant Topological Neural Networks [10.603892843083173]
  グラフニューラルネットワークはペアインタラクションのモデリングに優れていますが、高階インタラクションや機能に柔軟に対応できません。 トポロジカルディープラーニング(TDL)がこの問題に対処するための有望なツールとして最近登場した。 本稿では,E(n)-同変トポロジカルニューラルネットワーク(ETNN)を紹介する。 ETNNは回転、反射、翻訳を尊重しながら幾何学的ノードの特徴を取り入れている。
  論文  参考訳（メタデータ） (2024-05-24T10:55:38Z)
• Topology-guided Hypergraph Transformer Network: Unveiling Structural Insights for Improved Representation [1.1606619391009658]
  位相誘導型ハイパーグラフトランスネットワーク(THTN)を提案する。 このモデルでは、まず、構造的本質を維持しながらグラフからハイパーグラフを定式化し、グラフ内の高次関係を学習する。 本稿では,意味的,構造的両面から重要なノードとハイパーエッジを発見する構造認識型自己認識機構を提案する。
  論文  参考訳（メタデータ） (2023-10-14T20:08:54Z)
• Weisfeiler and Lehman Go Paths: Learning Topological Features via Path Complexes [4.23480641508611]
  グラフニューラルネットワーク(GNN)は理論上、1-Weisfeiler-Lehmanテストによって拘束される。 本研究では, トポロジ的メッセージパッシング過程において, グラフ内の単純な経路に着目し, 新たな視点を示す。
  論文  参考訳（メタデータ） (2023-08-13T19:45:20Z)
• Simplicial Message Passing for Chemical Property Prediction [6.359302681867574]
  本研究は,分子のトポロジ的情報をよりよく捉えるために,SMP(Simplicial Message Passing)フレームワークを提案する。 我々は、量子化学特性予測のためのディープラーニングアーキテクチャにSMPフレームワークを適用した。 その結果, 従来のMPNNと比較して, 分子の複雑な構造をよりよく捉えることができた。
  論文  参考訳（メタデータ） (2023-06-09T10:10:03Z)
• Learnable Filters for Geometric Scattering Modules [64.03877398967282]
  最近提案された幾何散乱変換の緩和に基づく新しいグラフニューラルネットワーク(GNN)モジュールを提案する。 我々の学習可能な幾何散乱(LEGS)モジュールは、ウェーブレットの適応的なチューニングを可能にし、学習された表現に帯域通過の特徴が現れるように促す。
  論文  参考訳（メタデータ） (2022-08-15T22:30:07Z)
• Dist2Cycle: A Simplicial Neural Network for Homology Localization [66.15805004725809]
  単純複体は多方向順序関係を明示的にエンコードするグラフの高次元一般化と見なすことができる。 単体錯体の$k$-homological特徴によってパラメータ化された関数のグラフ畳み込みモデルを提案する。
  論文  参考訳（メタデータ） (2021-10-28T14:59:41Z)
• DPGNN: Dual-Perception Graph Neural Network for Representation Learning [21.432960458513826]
  グラフニューラルネットワーク(GNN)は近年注目を集め、グラフベースのタスクの多くで顕著なパフォーマンスを実現している。 既存のGNNの多くは、メッセージパッシングパラダイムに基づいて、1つのトポロジ空間内の近隣情報を反復的に集約している。 本稿では,マルチステップメッセージソースの特性,ノード固有のメッセージ出力,マルチスペースメッセージインタラクションに基づく新しいメッセージパッシングパラダイムを提案する。
  論文  参考訳（メタデータ） (2021-10-15T05:47:26Z)
• Multi-Level Attention Pooling for Graph Neural Networks: Unifying Graph Representations with Multiple Localities [4.142375560633827]
  グラフニューラルネットワーク(GNN)は、グラフ構造データのベクトル表現を学ぶために広く使用されている。 潜在的な原因は、深いGNNモデルは、多くのメッセージ通過ステップを通じてノードのローカル情報を失う傾向にある。 このいわゆる過度な問題を解くために,マルチレベルアテンションプールアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2021-03-02T05:58:12Z)
• Multi-Level Graph Convolutional Network with Automatic Graph Learning for Hyperspectral Image Classification [63.56018768401328]
  HSI分類のための自動グラフ学習法(MGCN-AGL)を用いたマルチレベルグラフ畳み込みネットワーク(GCN)を提案する。 空間的に隣接する領域における重要度を特徴付けるために注意機構を利用することで、最も関連性の高い情報を適応的に組み込んで意思決定を行うことができる。 MGCN-AGLは局所的に生成した表現表現に基づいて画像領域間の長距離依存性を符号化する。
  論文  参考訳（メタデータ） (2020-09-19T09:26:20Z)
• Dual-constrained Deep Semi-Supervised Coupled Factorization Network with Enriched Prior [80.5637175255349]
  本稿では、DS2CF-Netと呼ばれる、拡張された事前制約付きDual-Constrained Deep Semi-Supervised Coupled Factorization Networkを提案する。 隠れた深い特徴を抽出するために、DS2CF-Netは、深い構造と幾何学的な構造に制約のあるニューラルネットワークとしてモデル化される。 我々のネットワークは、表現学習とクラスタリングのための最先端の性能を得ることができる。
  論文  参考訳（メタデータ） (2020-09-08T13:10:21Z)
• Towards Deeper Graph Neural Networks [63.46470695525957]
  グラフ畳み込みは近傍の集約を行い、最も重要なグラフ操作の1つである。 いくつかの最近の研究で、この性能劣化は過度に滑らかな問題に起因している。 本研究では,大きな受容領域からの情報を適応的に組み込むディープ適応グラフニューラルネットワーク(DAGNN)を提案する。
  論文  参考訳（メタデータ） (2020-07-18T01:11:14Z)
• AM-GCN: Adaptive Multi-channel Graph Convolutional Networks [85.0332394224503]
  グラフ畳み込みネットワーク(GCN)は,豊富な情報を持つ複雑なグラフにおいて,ノードの特徴と位相構造を最適に統合できるかどうかを検討する。 半教師付き分類(AM-GCN)のための適応型マルチチャネルグラフ畳み込みネットワークを提案する。 実験の結果,AM-GCNはノードの特徴とトポロジ的構造の両方から最も相関性の高い情報を抽出することがわかった。
  論文  参考訳（メタデータ） (2020-07-05T08:16:03Z)
• Building powerful and equivariant graph neural networks with structural message-passing [74.93169425144755]
  本稿では,2つのアイデアに基づいた,強力かつ同変なメッセージパッシングフレームワークを提案する。 まず、各ノードの周囲の局所的コンテキスト行列を学習するために、特徴に加えてノードの1ホット符号化を伝搬する。 次に,メッセージのパラメトリゼーション手法を提案する。
  論文  参考訳（メタデータ） (2020-06-26T17:15:16Z)
• Interpretable and Efficient Heterogeneous Graph Convolutional Network [27.316334213279973]
  異種情報ネットワーク(HIN)におけるオブジェクトの表現を学習するための、解釈可能で効率的な異種グラフ畳み込みネットワーク(e-HGCN)を提案する。 ie-HGCNは、長さ制限内で可能なすべてのメタパスから、各オブジェクトの有用なメタパスを自動的に抽出することができる。 また、中間HIN変換や近傍の注意を回避して計算コストを削減できる。
  論文  参考訳（メタデータ） (2020-05-27T06:06:00Z)
• Multi-View Graph Neural Networks for Molecular Property Prediction [67.54644592806876]
  マルチビューグラフニューラルネットワーク(MV-GNN)を提案する。 MV-GNNでは,学習過程を安定させるために,自己注意型読み出しコンポーネントと不一致損失を導入する。 我々は、相互依存型メッセージパッシング方式を提案することにより、MV-GNNの表現力をさらに強化する。
  論文  参考訳（メタデータ） (2020-05-17T04:46:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。