論文の概要: Preference-driven Knowledge Distillation for Few-shot Node Classification

• arxiv url: http://arxiv.org/abs/2510.10116v1
• Date: Sat, 11 Oct 2025 08:48:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-14 18:06:29.792068
• Title: Preference-driven Knowledge Distillation for Few-shot Node Classification
• Title（参考訳）: Few-shot ノード分類のための参照駆動型知識蒸留
• Authors: Xing Wei, Chunchun Chen, Rui Fan, Xiaofeng Cao, Sourav Medya, Wei Ye,
• Abstract要約: グラフニューラルネットワーク(GNN)は、テキスト分散グラフ(TAG)を効率的に処理できる LLMは、TAG上でゼロ/フェーショットの学習でうまく機能するが、スケーラビリティの課題に悩まされている。 本稿では,LLMと各種GNNの相補的強みを相乗化するための選好駆動型知識蒸留(PKD)フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 27.21434758196304
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph neural networks (GNNs) can efficiently process text-attributed graphs (TAGs) due to their message-passing mechanisms, but their training heavily relies on the human-annotated labels. Moreover, the complex and diverse local topologies of nodes of real-world TAGs make it challenging for a single mechanism to handle. Large language models (LLMs) perform well in zero-/few-shot learning on TAGs but suffer from a scalability challenge. Therefore, we propose a preference-driven knowledge distillation (PKD) framework to synergize the complementary strengths of LLMs and various GNNs for few-shot node classification. Specifically, we develop a GNN-preference-driven node selector that effectively promotes prediction distillation from LLMs to teacher GNNs. To further tackle nodes' intricate local topologies, we develop a node-preference-driven GNN selector that identifies the most suitable teacher GNN for each node, thereby facilitating tailored knowledge distillation from teacher GNNs to the student GNN. Extensive experiments validate the efficacy of our proposed framework in few-shot node classification on real-world TAGs.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)は、メッセージパッシング機構のため、テキスト分散グラフ(TAG)を効率的に処理できるが、そのトレーニングは人間にアノテートされたラベルに大きく依存している。 さらに、現実世界のTAGのノードの複雑で多様な局所的なトポロジは、単一のメカニズムを扱うことが困難である。 大規模言語モデル(LLM)は、TAG上でゼロ/フェーショットの学習でよく機能するが、スケーラビリティの問題に悩まされる。 そこで本研究では,LLMと各種GNNの相補的強みを相乗化するための,嗜好駆動型知識蒸留(PKD)フレームワークを提案する。 具体的には,LLM から教師 GNN への予測蒸留を効果的に促進する GNN-preference-driven node selector を開発した。 ノードの複雑な局所的トポロジにさらに取り組み,各ノードに適した教師GNNを識別するノード参照駆動型GNNセレクタを開発し,教師GNNから学生GNNへの適切な知識蒸留を容易にする。 実世界のTAGを用いた数ショットノード分類において,提案手法の有効性を検証した。

関連論文リスト

• Few-Shot Graph Out-of-Distribution Detection with LLMs [34.42512005781724]
  本稿では,大規模言語モデル (LLM) とグラフニューラルネットワーク (GNN) の長所を組み合わせたフレームワークを提案する。 LLM-GOODは人間のアノテーションのコストを大幅に削減し、ID分類精度とOOD検出性能の両方において最先端のベースラインを上回っている。
  論文  参考訳（メタデータ） (2025-03-28T02:37:18Z)
• IDEA: A Flexible Framework of Certified Unlearning for Graph Neural Networks [68.6374698896505]
  グラフニューラルネットワーク(GNN)は、ますます多くのアプリケーションにデプロイされている。 トレーニングされたGNNがデプロイされ、潜在的攻撃者に対して公開されると、プライバシリークが発生する可能性がある。 我々は,GNNのための柔軟で認定されたアンラーニングを実現するために,IDEAというフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-28T04:59:59Z)
• LOGIN: A Large Language Model Consulted Graph Neural Network Training Framework [30.54068909225463]
  我々は,GNN設計プロセスの合理化とLarge Language Models(LLM)の利点を活用して,下流タスクにおけるGNNの性能向上を目指す。 我々は,LLMs-as-Consultants(LLMs-as-Consultants)という新たなパラダイムを策定し,LLMとGNNを対話的に統合する。 両グラフのノード分類におけるLOGINの有効性を実証的に評価した。
  論文  参考訳（メタデータ） (2024-05-22T18:17:20Z)
• Large Language Model Meets Graph Neural Network in Knowledge Distillation [7.686812700685084]
  サービス指向アーキテクチャにおけるQoS(Quality of Service)を予測するための時間認識フレームワークを提案する。 提案するTOGCLフレームワークは,複数のメトリクスにわたって最先端のメソッドを著しく上回り,最大38.80%の改善を実現している。
  論文  参考訳（メタデータ） (2024-02-08T18:33:21Z)
• Label Deconvolution for Node Representation Learning on Large-scale Attributed Graphs against Learning Bias [72.33336385797944]
  本稿では,学習バイアスを軽減するため,ラベルの効率的な正規化手法であるラベルデコンボリューション(LD)を提案する。 LDはOpen Graph Benchmarkデータセット上で最先端の手法よりも大幅に優れていることを示す。
  論文  参考訳（メタデータ） (2023-09-26T13:09:43Z)
• Contrastive Meta-Learning for Few-shot Node Classification [54.36506013228169]
  少ないショットノード分類は、限定されたラベル付きノードのみを参照としてグラフ上のノードのラベルを予測することを目的としている。 グラフ上にCOSMICという新しい対照的なメタラーニングフレームワークを2つの重要な設計で作成する。
  論文  参考訳（メタデータ） (2023-06-27T02:22:45Z)
• Every Node Counts: Improving the Training of Graph Neural Networks on Node Classification [9.539495585692007]
  ノード分類のためのGNNのトレーニングのための新しい目的語を提案する。 我々の第一項は、ノードとラベルの特徴間の相互情報を最大化することを目的としている。 第2項は予測写像における異方的滑らか性を促進する。
  論文  参考訳（メタデータ） (2022-11-29T23:25:14Z)
• A Variational Edge Partition Model for Supervised Graph Representation Learning [51.30365677476971]
  本稿では,重なり合うノード群間の相互作用を集約することで,観測されたエッジがどのように生成されるかをモデル化するグラフ生成プロセスを提案する。 それぞれのエッジを複数のコミュニティ固有の重み付きエッジの和に分割し、コミュニティ固有のGNNを定義する。 エッジを異なるコミュニティに分割するGNNベースの推論ネットワーク,これらのコミュニティ固有のGNN,およびコミュニティ固有のGNNを最終分類タスクに組み合わせたGNNベースの予測器を共同で学習するために,変分推論フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-02-07T14:37:50Z)
• A Collective Learning Framework to Boost GNN Expressiveness [25.394456460032625]
  教師付きおよび半教師付き設定におけるグラフニューラルネットワーク(GNN)を用いた帰納ノード分類の課題を考察する。 本稿では,既存のGNNの表現力を高めるための一般集団学習手法を提案する。 実世界の5つのネットワークデータセットの性能評価を行い、ノード分類精度が一貫した顕著な改善を示した。
  論文  参考訳（メタデータ） (2020-03-26T22:07:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。