論文の概要: NTSFormer: A Self-Teaching Graph Transformer for Multimodal Cold-Start Node Classification

• arxiv url: http://arxiv.org/abs/2507.04870v1
• Date: Mon, 07 Jul 2025 10:56:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-08 15:46:35.38615
• Title: NTSFormer: A Self-Teaching Graph Transformer for Multimodal Cold-Start Node Classification
• Title（参考訳）: NTSFormer:マルチモーダルコールドスタートノード分類のための自己学習グラフ変換器
• Authors: Jun Hu, Yufei He, Yuan Li, Bryan Hooi, Bingsheng He,
• Abstract要約: 隣接するグラフ変換器(NTSFormer) NTSFormerは、自己学習パラダイムを通じて、分離と欠落したモダリティの問題に共同で取り組みます。 NTSFormerはマルチモーダルコールドスタートノード分類タスクにおいて優れた性能を発揮することを示す。
• 参考スコア（独自算出の注目度）: 53.39846365885901
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Cold-start node classification on multimodal graphs is challenging because cold-start nodes are isolated (i.e., no edges) and often have missing modalities (e.g., absent text or image features). Existing methods address structural isolation by degrading graph learning models to MLPs for cold-start inference, using a teacher model (with graph access) to guide the MLP. However, this results in limited model capacity in the student, which is further challenged when modalities are missing. In this paper, we propose Neighbor-to-Self Graph Transformer (NTSFormer), a unified Graph Transformer framework that jointly tackles the isolation and missing-modality issues via a self-teaching paradigm. Specifically, NTSFormer uses a cold-start attention mask to simultaneously make two predictions for each node: a "student" prediction based only on self-information (i.e., the node's own features), and a "teacher" prediction incorporating both self and neighbor information. This enables the model to supervise itself without degrading to an MLP, thereby fully leveraging the Transformer's capacity to handle missing modalities. To handle diverse graph information and missing modalities, NTSFormer performs a one-time multimodal graph pre-computation that converts structural and feature data into token sequences, which are then processed by a Mixture-of-Experts (MoE) Input Projection and Transformer layers for effective fusion. Experimental results on public datasets show that NTSFormer achieves superior performance on multimodal cold-start node classification tasks.
• Abstract（参考訳）: マルチモーダルグラフ上のコールドスタートノード分類は、コールドスタートノードが孤立している(エッジがない)し、しばしばモダリティが欠落している(例えば、テキストや画像の特徴がない)ため、難しい。 既存の手法では、教師モデル(グラフアクセス付き)を用いて、グラフ学習モデルを冷間開始推論のためにMLPに分解することで構造分離に対処する。 しかし、この結果、学生のモデル能力は制限され、モダリティが欠落している場合にはさらに問題となる。 本稿では,自己学習パラダイムを用いたグラフ変換フレームワークであるNeighbor-to-Self Graph Transformer(NTSFormer)を提案する。 具体的には、NTSFormerはコールドスタートアテンションマスクを使用して、各ノードに対して同時に2つの予測を行う。 これにより、モデルはMDPに分解することなく自分自身を監視でき、トランスフォーマーの能力を完全に活用して、欠落したモダリティを処理できる。 多様なグラフ情報とモダリティの欠如を扱うため、NTSFormerは1時間のマルチモーダルグラフプリ計算を実行し、構造データと特徴データをトークンシーケンスに変換し、その後、Mixture-of-Experts (MoE) Input ProjectionとTransformer層で処理して効果的に融合する。 NTSFormerはマルチモーダルコールドスタートノード分類タスクにおいて優れた性能を発揮することを示す。

関連論文リスト

• One Node Per User: Node-Level Federated Learning for Graph Neural Networks [7.428431479479646]
  ノードレベルのフェデレーショングラフ学習のための新しいフレームワークを提案する。 特徴ベクトルの潜在表現に基づくグラフラプラシアン項を導入し,ユーザ側モデル更新を制御する。
  論文  参考訳（メタデータ） (2024-09-29T02:16:07Z)
• GOFA: A Generative One-For-All Model for Joint Graph Language Modeling [38.267339613261996]
  この問題を解決するために,新たに生成グラフ言語モデルGOFAを提案する。 GOFAは、新たに提案されたグラフレベルの次単語予測、質問応答、構造的タスクに基づいて事前訓練されている。 モデルは様々な下流タスクに基づいて評価され、ゼロショットシナリオにおける構造的および文脈的問題を解く強力な能力を示す。
  論文  参考訳（メタデータ） (2024-07-12T22:23:51Z)
• Self-Pro: A Self-Prompt and Tuning Framework for Graph Neural Networks [10.794305560114903]
  Self-Promptは、モデルとデータ自体に基づいたグラフのプロンプトフレームワークである。 非対称なグラフコントラスト学習を導入し、不均質に対処し、プリテキストと下流タスクの目的を整合させる。 11のベンチマークデータセットに対する広範な実験を行い、その優位性を実証する。
  論文  参考訳（メタデータ） (2023-10-16T12:58:04Z)
• Deep Prompt Tuning for Graph Transformers [55.2480439325792]
  ファインチューニングはリソース集約型であり、大きなモデルのコピーを複数保存する必要がある。 ファインチューニングの代替として,ディープグラフプロンプトチューニングと呼ばれる新しい手法を提案する。 事前学習したパラメータを凍結し、追加したトークンのみを更新することにより、フリーパラメータの数を減らし、複数のモデルコピーを不要にする。
  論文  参考訳（メタデータ） (2023-09-18T20:12:17Z)
• NodeFormer: A Scalable Graph Structure Learning Transformer for Node Classification [70.51126383984555]
  本稿では,任意のノード間のノード信号を効率的に伝搬する全ペアメッセージパッシング方式を提案する。 効率的な計算は、カーナライズされたGumbel-Softmax演算子によって実現される。 グラフ上のノード分類を含む様々なタスクにおいて,本手法の有望な有効性を示す実験を行った。
  論文  参考訳（メタデータ） (2023-06-14T09:21:15Z)
• Discrete Graph Auto-Encoder [52.50288418639075]
  離散グラフオートエンコーダ(DGAE)という新しいフレームワークを導入する。 まず、置換同変オートエンコーダを用いてグラフを離散潜在ノード表現の集合に変換する。 2番目のステップでは、離散潜在表現の集合をソートし、特別に設計された自己回帰モデルを用いてそれらの分布を学習する。
  論文  参考訳（メタデータ） (2023-06-13T12:40:39Z)
• Dynamic Graph Message Passing Networks for Visual Recognition [112.49513303433606]
  長距離依存のモデリングは、コンピュータビジョンにおけるシーン理解タスクに不可欠である。 完全連結グラフはそのようなモデリングには有益であるが、計算オーバーヘッドは禁じられている。 本稿では,計算複雑性を大幅に低減する動的グラフメッセージパッシングネットワークを提案する。
  論文  参考訳（メタデータ） (2022-09-20T14:41:37Z)
• Gransformer: Transformer-based Graph Generation [14.161975556325796]
  Gransformerは、グラフを生成するためのTransformerに基づくアルゴリズムである。 我々は、与えられたグラフの構造情報を利用するためにTransformerエンコーダを変更する。 また、ノードペア間のグラフベースの親しみ度尺度も導入する。
  論文  参考訳（メタデータ） (2022-03-25T14:05:12Z)
• Pre-Trained Models for Heterogeneous Information Networks [57.78194356302626]
  異種情報ネットワークの特徴を捉えるための自己教師付き事前学習・微調整フレームワークPF-HINを提案する。 PF-HINは4つのデータセットにおいて、各タスクにおける最先端の代替よりも一貫して、大幅に優れています。
  論文  参考訳（メタデータ） (2020-07-07T03:36:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。