論文の概要: Attending to Topological Spaces: The Cellular Transformer

• arxiv url: http://arxiv.org/abs/2405.14094v1
• Date: Thu, 23 May 2024 01:48:32 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-24 19:24:51.738886
• Title: Attending to Topological Spaces: The Cellular Transformer
• Title（参考訳）: トポロジカル・スペースへの挑戦:セル変換器
• Authors: Rubén Ballester, Pablo Hernández-García, Mathilde Papillon, Claudio Battiloro, Nina Miolane, Tolga Birdal, Carles Casacuberta, Sergio Escalera, Mustafa Hajij,
• Abstract要約: トポロジカルディープラーニングは、入力データにトポロジ的構造を活用することにより、ニューラルネットワークモデルの予測性能を高めることを目指している。 本稿では,グラフベースのトランスをセルコンプレックスに一般化する新しいアーキテクチャであるCellular Transformer(CT)を紹介する。 CTは最先端のパフォーマンスを実現するが、より複雑な拡張を必要としない。
• 参考スコア（独自算出の注目度）: 37.84207797241944
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Topological Deep Learning seeks to enhance the predictive performance of neural network models by harnessing topological structures in input data. Topological neural networks operate on spaces such as cell complexes and hypergraphs, that can be seen as generalizations of graphs. In this work, we introduce the Cellular Transformer (CT), a novel architecture that generalizes graph-based transformers to cell complexes. First, we propose a new formulation of the usual self- and cross-attention mechanisms, tailored to leverage incidence relations in cell complexes, e.g., edge-face and node-edge relations. Additionally, we propose a set of topological positional encodings specifically designed for cell complexes. By transforming three graph datasets into cell complex datasets, our experiments reveal that CT not only achieves state-of-the-art performance, but it does so without the need for more complex enhancements such as virtual nodes, in-domain structural encodings, or graph rewiring.
• Abstract（参考訳）: トポロジカルディープラーニングは、入力データにトポロジ的構造を活用することにより、ニューラルネットワークモデルの予測性能を高めることを目指している。 トポロジカルニューラルネットワークは、グラフの一般化と見なせる細胞複合体やハイパーグラフのような空間で動作する。 本稿では,グラフベースの変換器をセル複合体に一般化する新しいアーキテクチャであるセル変換器(CT)を紹介する。 まず, 細胞複合体, エッジ面, ノードエッジ関係における入射関係を活用するための, 通常の自己・横断的機構の新たな定式化を提案する。 さらに,細胞複合体に特化して設計されたトポロジカルな位置符号化法を提案する。 3つのグラフデータセットをセル複雑なデータセットに変換することで、CTは最先端のパフォーマンスを達成するだけでなく、仮想ノード、ドメイン内構造エンコーディング、グラフのリウィリングといった複雑な拡張を必要とせずに実現できることを示した。

関連論文リスト

• Cell Graph Transformer for Nuclei Classification [78.47566396839628]
  我々は,ノードとエッジを入力トークンとして扱うセルグラフ変換器(CGT)を開発した。 不愉快な特徴は、騒々しい自己注意スコアと劣等な収束につながる可能性がある。 グラフ畳み込みネットワーク(GCN)を利用して特徴抽出器を学習する新しいトポロジ対応事前学習法を提案する。
  論文  参考訳（メタデータ） (2024-02-20T12:01:30Z)
• Curve Your Attention: Mixed-Curvature Transformers for Graph Representation Learning [77.1421343649344]
  本稿では,一定曲率空間の積を完全に操作するトランスフォーマーの一般化を提案する。 また、非ユークリッド注意に対するカーネル化されたアプローチを提供し、ノード数とエッジ数に線形に時間とメモリコストでモデルを実行できるようにします。
  論文  参考訳（メタデータ） (2023-09-08T02:44:37Z)
• From Latent Graph to Latent Topology Inference: Differentiable Cell Complex Module [21.383018558790674]
  Differentiable Cell Complex Module (DCM) は、下流タスクを改善するために複合体内の細胞確率を計算する新しい学習可能な関数である。 DCMをセル複雑なメッセージパッシングネットワーク層と統合し、エンドツーエンドでトレーニングする方法を示す。 本モデルは, ホモ親和性およびヘテロ親和性のあるグラフデータセットを用いて実験を行い, その他の最先端技術よりも優れた性能を示すことを示す。
  論文  参考訳（メタデータ） (2023-05-25T15:33:19Z)
• Cell Attention Networks [25.72671436731666]
  グラフの頂点上で定義されたデータを操作するニューラルネットワークであるCell Attention Networks (CANs)を紹介する。 CANは、細胞複合体にコードされているように、下部と上部の地区を利用して、2つの独立したマスク付き自己保持機構を設計する。 実験結果から,CANはグラフベースの学習課題における技術結果と同等に比較可能な,低複雑性戦略であることが示唆された。
  論文  参考訳（メタデータ） (2022-09-16T21:57:39Z)
• Simple and Efficient Heterogeneous Graph Neural Network [55.56564522532328]
  不均一グラフニューラルネットワーク(HGNN)は、不均一グラフの豊富な構造的および意味的な情報をノード表現に埋め込む強力な能力を持つ。 既存のHGNNは、同種グラフ上のグラフニューラルネットワーク(GNN)から多くのメカニズム、特に注意機構と多層構造を継承する。 本稿では,これらのメカニズムを詳細に検討し,簡便かつ効率的なヘテロジニアスグラフニューラルネットワーク(SeHGNN)を提案する。
  論文  参考訳（メタデータ） (2022-07-06T10:01:46Z)
• Self-Supervised Graph Representation Learning for Neuronal Morphologies [75.38832711445421]
  ラベルのないデータセットから3次元神経形態の低次元表現を学習するためのデータ駆動型アプローチであるGraphDINOを提案する。 2つの異なる種と複数の脳領域において、この方法では、専門家による手動の特徴に基づく分類と同程度に形態学的細胞型クラスタリングが得られることを示す。 提案手法は,大規模データセットにおける新しい形態的特徴や細胞型の発見を可能にする可能性がある。
  論文  参考訳（メタデータ） (2021-12-23T12:17:47Z)
• Dist2Cycle: A Simplicial Neural Network for Homology Localization [66.15805004725809]
  単純複体は多方向順序関係を明示的にエンコードするグラフの高次元一般化と見なすことができる。 単体錯体の$k$-homological特徴によってパラメータ化された関数のグラフ畳み込みモデルを提案する。
  論文  参考訳（メタデータ） (2021-10-28T14:59:41Z)
• Cell Complex Neural Networks [0.8121462458089141]
  細胞複合体上でニューラルネットワーク型計算を行うための汎用的統一構成法を提案する。 我々は,我々のセルコンプレックスオートエンコーダの構築が,ノード2vecの一般化である textbfcell2vec にどのように貢献するかを示す。
  論文  参考訳（メタデータ） (2020-10-02T01:38:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。