論文の概要: Graph Neural Networks as a Substitute for Transformers in Single-Cell Transcriptomics

• arxiv url: http://arxiv.org/abs/2507.04125v1
• Date: Sat, 05 Jul 2025 18:37:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-08 15:46:35.028058
• Title: Graph Neural Networks as a Substitute for Transformers in Single-Cell Transcriptomics
• Title（参考訳）: シングルセルトランスクリプトークスにおける変圧器の代用としてのグラフニューラルネットワーク
• Authors: Jiaxin Qi, Yan Cui, Jinli Ou, Jianqiang Huang, Gaogang Xie,
• Abstract要約: Graph Neural Networks(GNN)とTransformersは、関心のあるノードからの機能と対話するためのエンコーディング戦略において、大きな類似点を共有している。 本稿ではまず,GNNとトランスフォーマーの類似点と相違点について,特に相対的位置について検討する。 我々は,GNNがトランスフォーマーと比較して競争性能を発揮するような大規模位置認識型データセット・単一セルトランスクリプトミクス・フィンディングについて広範な実験を行った。
• 参考スコア（独自算出の注目度）: 36.923118950844966
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph Neural Networks (GNNs) and Transformers share significant similarities in their encoding strategies for interacting with features from nodes of interest, where Transformers use query-key scores and GNNs use edges. Compared to GNNs, which are unable to encode relative positions, Transformers leverage dynamic attention capabilities to better represent relative relationships, thereby becoming the standard backbones in large-scale sequential pre-training. However, the subtle difference prompts us to consider: if positions are no longer crucial, could we substitute Transformers with Graph Neural Networks in some fields such as Single-Cell Transcriptomics? In this paper, we first explore the similarities and differences between GNNs and Transformers, specifically in terms of relative positions. Additionally, we design a synthetic example to illustrate their equivalence where there are no relative positions between tokens in the sample. Finally, we conduct extensive experiments on a large-scale position-agnostic dataset-single-cell transcriptomics-finding that GNNs achieve competitive performance compared to Transformers while consuming fewer computation resources. These findings provide novel insights for researchers in the field of single-cell transcriptomics, challenging the prevailing notion that the Transformer is always the optimum choice.
• Abstract（参考訳）: Graph Neural Networks(GNN)とTransformersは、関心のあるノードからの機能と対話するためのエンコーディング戦略において、Transformerがクエリキースコアを使用し、GNNがエッジを使用するという、大きな類似点を共有している。 相対的な位置を符号化できないGNNと比較して、トランスフォーマーは動的注意力を活用して相対関係をより良く表現し、大規模なシーケンシャル事前学習において標準のバックボーンとなる。 しかし、微妙な違いは、もし位置がもはや重要でないなら、シングルセルトランスクリプトミクスのような分野において、トランスフォーマーをグラフニューラルネットワークに置き換えることができるだろうか? 本稿ではまず,GNNとトランスフォーマーの類似点と相違点について,特に相対的位置について検討する。 さらに,トークン間に相対的な位置が存在しないような同値性を示すための合成例を設計する。 最後に,GNNが演算資源を減らしながらトランスフォーマーと比較して競争性能を向上する大規模位置認識型データセット・単一セルトランスクリプトミクス・フィンディングについて広範な実験を行った。 これらの発見は、単一細胞転写学の研究者に新しい洞察を与え、トランスフォーマーが常に最適な選択であるという考えに挑戦する。

関連論文リスト

• Transformers are Graph Neural Networks [2.372213454118027]
  トークンの完全連結グラフで動作するメッセージパッシングGNNとして、Transformerをどのように見ることができるかを示す。 変換器は、アプリオリグラフに制約されることなく入力要素間の関係を学習する表現的集合処理ネットワークである。
  論文  参考訳（メタデータ） (2025-06-27T10:15:33Z)
• Pre-trained Graphformer-based Ranking at Web-scale Search (Extended Abstract) [56.55728466130238]
  本稿では,変換器の回帰能力をGNNのリンク予測強度と統合することを目的とした新しいMPGrafモデルを提案する。 我々は、MPGrafの性能を厳格に評価するために、大規模なオフラインおよびオンライン実験を行っている。
  論文  参考訳（メタデータ） (2024-09-25T03:33:47Z)
• GTC: GNN-Transformer Co-contrastive Learning for Self-supervised Heterogeneous Graph Representation [0.9249657468385781]
  本稿では,GNN-Transformerの協調学習手法を提案し,GTCアーキテクチャを構築する。 The Transformer branch for the Metapath-aware Hop2Token and CG-Hetphormer which can Cooper with GNN to Attentively encoding neighborhood information from different levels。 実際のデータセットでの実験では、GTCは最先端の手法よりも優れた性能を示している。
  論文  参考訳（メタデータ） (2024-03-22T12:22:44Z)
• SSformer: A Lightweight Transformer for Semantic Segmentation [7.787950060560868]
  Swin Transformerは階層アーキテクチャとシフトウィンドウを使用して、様々な視覚タスクで新しい記録を樹立した。 我々はSSformerと呼ばれる軽量で効果的なトランスモデルを設計する。 実験の結果,提案したSSformerは最先端モデルと同等のmIoU性能が得られることがわかった。
  論文  参考訳（メタデータ） (2022-08-03T12:57:00Z)
• Deformable Graph Transformer [31.254872949603982]
  本稿では動的にサンプリングされたキーと値のペアでスパースアテンションを行うDeformable Graph Transformer (DGT)を提案する。 実験により、我々の新しいグラフトランスフォーマーは既存のトランスフォーマーベースモデルより一貫して優れていることが示された。
  論文  参考訳（メタデータ） (2022-06-29T00:23:25Z)
• Gophormer: Ego-Graph Transformer for Node Classification [27.491500255498845]
  本稿では,egoグラフにフルグラフの代わりにトランスフォーマーを適用した新しいGophormerモデルを提案する。 具体的には、変圧器の入力としてエゴグラフをサンプリングするためにNode2Seqモジュールが提案されており、スケーラビリティの課題が軽減されている。 エゴグラフサンプリングで導入された不確実性に対処するために,一貫性の正則化とマルチサンプル推論戦略を提案する。
  論文  参考訳（メタデータ） (2021-10-25T16:43:32Z)
• nnFormer: Interleaved Transformer for Volumetric Segmentation [50.10441845967601]
  本稿では,自己意図と畳み込みを実証的に組み合わせた,インターリーブアーキテクチャを備えた強力なセグメンテーションモデルであるnnFormerを紹介する。 nnFormerは、SynapseとACDCの2つの一般的なデータセットで、以前のTransformerベースのメソッドよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2021-09-07T17:08:24Z)
• Transformer-Based Deep Image Matching for Generalizable Person Re-identification [114.56752624945142]
  画像マッチングと距離学習にトランスフォーマーを適用する可能性について検討する。 視覚変換器 (ViT) とデコーダ付きバニラ変換器 (Vanilla Transformer) はイメージ・ツー・イメージ・アテンションの欠如により画像マッチングに適していないことがわかった。 そこで本研究では,クエリキーの類似性のみを保ちながら,ソフトマックス重み付けによる注意の完全な実装を省略する,単純化されたデコーダを提案する。
  論文  参考訳（メタデータ） (2021-05-30T05:38:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。