論文の概要: Beyond the Golden Teacher: Enhancing Graph Learning through LLM-GNN Co-teaching

• arxiv url: http://arxiv.org/abs/2606.11583v1
• Date: Wed, 10 Jun 2026 02:15:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-11 16:42:38.254359
• Title: Beyond the Golden Teacher: Enhancing Graph Learning through LLM-GNN Co-teaching
• Title（参考訳）: 黄金教師を超えて:LLM-GNNによるグラフ学習の強化
• Authors: Zhuoyi Peng, Hanlin Gu, Lixin Fan, Yi Yang,
• Abstract要約: テキスト分散グラフ(TAG)は、引用ネットワーク、ソーシャルメディア、eコマースなどの現実世界の応用を基盤としている。 TAGでのグラフ学習はほとんど困難で、クラス毎にわずかにラベルが付けられ、残りのグラフは注釈が付けられていない。 既存のLLM-GNNメソッドはすべて同じレシピに従っている: 1つのモデルを黄金の教師として指定し、その出力(例えば、特徴や擬似ラベル)を使って他方を監督する。 我々は、この黄金教師の仮定は、厳密な監督の下で破られると論じている。
• 参考スコア（独自算出の注目度）: 23.39082252957445
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Text-attributed graphs (TAGs) underlie real-world applications such as citation networks, social media, and e-commerce. Few-shot graph learning on TAGs is hard: with only a handful of labels per class and the rest of the graph unannotated, neither GNNs nor LLMs can learn well on their own. GNNs read topology and fail on cold nodes; LLMs read text and fail on text-ambiguous nodes. Existing LLM-GNN methods all follow the same recipe: designate one model as the golden teacher and use its outputs (e.g., features or pseudo-labels) to supervise the other. We argue this golden-teacher assumption breaks under sparse supervision: neither model is golden, and treating either as such transfers its blind spots into the student. We therefore ask: can we avoid designating either model as the golden teacher, and still perform effective graph learning? We answer with LLM-GNN Co-Teaching, a bidirectional co-teaching framework in which neither model is fixed as teacher. The GNN and LLM exchange their most confident pseudo-labels under an architecture-specific small-loss criterion, and both update every round. Supervision is then mined from the trajectory: whenever a node moves from cross-model contradiction at round t to cross-model agreement at round t+1, the LLM's two answers on the same input form a preference pair (old contradicting self < new peer-endorsed self) for DPO training. We call this Round-based Pseudo-Label Preference Optimization (RPL-PO). On six benchmarks, LLM-GNN Co-Teaching consistently outperforms GNN-as-Judge and all prior methods, with absolute 3-shot gains of 7.86% on Cora and 7.73% on ogbn-arxiv; improvements carry over to 5-shot and to zero-shot cross-dataset transfer. Error-structure analysis further shows that abandoning the golden-teacher assumption substantially improves the LLM's graph learning capability on challenging samples.
• Abstract（参考訳）: テキスト分散グラフ(TAG)は、引用ネットワーク、ソーシャルメディア、eコマースなどの現実世界の応用を基盤としている。 TAGでのグラフ学習は難しい。クラス毎にほんの数個のラベルしか書かず、残りのグラフは注釈が付かないため、GNNもLLMも自分でもうまく学べない。 GNNはトポロジを読み、コールドノードでフェールする; LLMはテキストを読み、テキストあいまいなノードでフェールする。 既存のLLM-GNNメソッドはすべて同じレシピに従っている: 1つのモデルを黄金の教師として指定し、その出力(例えば、特徴や擬似ラベル)を使って他方を監督する。 この黄金教師の仮定は、厳密な監督の下で破られ、どちらのモデルも黄金ではなく、学生に盲点を移すものとして扱われる。 いずれのモデルも黄金の教師として指定することは避けて、グラフ学習を効果的に行えますか? LLM-GNN Co-Teachingは,教師としてどちらのモデルも固定されていない双方向のコティーチングフレームワークである。 GNNとLLMは、アーキテクチャ固有の小さめの基準の下で最も自信ある疑似ラベルを交換し、どちらもラウンド毎に更新する。 ノードがラウンド t のクロスモデル矛盾からラウンド t+1 のクロスモデル一致に移動すると、LDM の 2 つの答えは DPO トレーニングのための選好ペア(古い < 新しいピアエンドの自己)となる。 このラウンドベース Pseudo-Label Preference Optimization (RPL-PO) と呼ぶ。 6つのベンチマークで、LLM-GNNコティーチングはGNN-as-Judgeと全ての先行手法を一貫して上回り、Coraでは7.86%、ogbn-arxivでは7.73%という絶対的な3ショットゲインを得た。 誤り構造解析は、黄金教師の仮定を捨てることによって、挑戦的なサンプル上でのLLMのグラフ学習能力が大幅に向上することを示している。

関連論文リスト

• Semi-supervised Instruction Tuning for Large Language Models on Text-Attributed Graphs [62.544129365882014]
  本稿では,SIT-Graph というグラフ学習用セミ教師付きインストラクションチューニングパイプラインを提案する。 SIT-Graphはモデルに依存しず、LSMを予測子として利用するグラフ命令チューニングメソッドにシームレスに統合することができる。 SIT-Graphは、最先端グラフチューニング手法に組み込むと、テキスト分散グラフベンチマークの性能を大幅に向上することを示した。
  論文  参考訳（メタデータ） (2026-01-19T08:10:53Z)
• GraphBridge: Towards Arbitrary Transfer Learning in GNNs [65.01790632978962]
  GraphBridgeは、GNNの異なるタスクやドメイン間での知識伝達を可能にする新しいフレームワークである。 予測ヘッドと入力を出力層に接続するブリッジングネットワークを備えた、事前訓練されたGNNの拡張を可能にする。 これらのシナリオを代表する16以上のデータセットで実施された実証検証では、タスクとドメインに依存しないトランスファー学習のためのフレームワークの能力が確認されている。
  論文  参考訳（メタデータ） (2025-02-26T15:57:51Z)
• Can Large Language Models Act as Ensembler for Multi-GNNs? [10.126044401037968]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データから学習するための強力なモデルとして登場した。 GNNは、リッチテキストノード属性の固有の意味理解能力に欠けており、アプリケーションでの有効性を制限している。 本研究は、意味情報と構造情報を統合するための堅牢で優れたソリューションを提供することにより、テキストによるグラフアンサンブル学習を推進している。
  論文  参考訳（メタデータ） (2024-10-22T08:48:52Z)
• How to Make LLMs Strong Node Classifiers? [70.14063765424012]
  言語モデル(LM)は、グラフニューラルネットワーク(GNN)やグラフトランスフォーマー(GT)など、ドメイン固有のモデルの優位性に挑戦している。 本稿では,ノード分類タスクにおける最先端(SOTA)GNNに匹敵する性能を実現するために,既製のLMを有効活用する手法を提案する。
  論文  参考訳（メタデータ） (2024-10-03T08:27:54Z)
• LLMs as Zero-shot Graph Learners: Alignment of GNN Representations with LLM Token Embeddings [7.302176015732192]
  Token Embedding-Aligned Graph Language Model (TEA-GLM) という新しいフレームワークを紹介する。 我々はGNNを事前訓練し、その表現をLLMのトークン埋め込みと整列する。 次に、GNNの表現を固定数のグラフトークン埋め込みに変換する線形プロジェクタを訓練する。
  論文  参考訳（メタデータ） (2024-08-25T04:32:45Z)
• E2GNN: Efficient Graph Neural Network Ensembles for Semi-Supervised Classification [30.55931541782854]
  本研究では、グラフニューラルネットワーク(GNN)のアンサンブル学習を、人気のある半教師付き環境下で研究する。 ラベル付きノードとラベルなしノードの両方を活用することで,複数のGNNを学習可能な方法で組み立てる,効率的なアンサンブル学習者を提案する。 さまざまなGNNバックボーンと8つのベンチマークデータセットにまたがる、トランスダクティブとインダクティブ両方の設定に関する包括的な実験は、E2GNNの優位性を実証している。
  論文  参考訳（メタデータ） (2024-05-06T12:11:46Z)
• Learning to Reweight for Graph Neural Network [63.978102332612906]
  グラフニューラルネットワーク(GNN)は、グラフタスクに対して有望な結果を示す。 既存のGNNの一般化能力は、テストとトレーニンググラフデータの間に分散シフトが存在する場合に低下する。 本稿では,分布外一般化能力を大幅に向上させる非線形グラフデコリレーション法を提案する。
  論文  参考訳（メタデータ） (2023-12-19T12:25:10Z)
• SimTeG: A Frustratingly Simple Approach Improves Textual Graph Learning [131.04781590452308]
  テキストグラフ学習におけるフラストレーションに富んだアプローチであるSimTeGを提案する。 まず、下流タスクで予め訓練されたLM上で、教師付きパラメータ効率の微調整(PEFT)を行う。 次に、微調整されたLMの最後の隠れ状態を用いてノード埋め込みを生成する。
  論文  参考訳（メタデータ） (2023-08-03T07:00:04Z)
• GPT-GNN: Generative Pre-Training of Graph Neural Networks [93.35945182085948]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データのモデリングにおいて強力であることが示されている。 生成事前学習によりGNNを初期化するためのGPT-GNNフレームワークを提案する。 GPT-GNNは、様々な下流タスクにおいて、事前トレーニングを最大9.1%行うことなく、最先端のGNNモデルを大幅に上回ることを示す。
  論文  参考訳（メタデータ） (2020-06-27T20:12:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。