論文の概要: Enhancing Graph Neural Networks: A Mutual Learning Approach

• arxiv url: http://arxiv.org/abs/2510.19223v2
• Date: Mon, 27 Oct 2025 17:26:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-28 15:28:14.492448
• Title: Enhancing Graph Neural Networks: A Mutual Learning Approach
• Title（参考訳）: グラフニューラルネットワークの強化 - 相互学習アプローチ
• Authors: Paul Agbaje, Arkajyoti Mitra, Afia Anjum, Pranali Khose, Ebelechukwu Nwafor, Habeeb Olufowobi,
• Abstract要約: 本研究では,グラフニューラルネットワーク(GNN)における協調学習の可能性について検討する。 事前学習した教師モデルがない場合、比較的単純で浅いGNNアーキテクチャが効率的に学習できることが示される。 学生GNNのアンサンブルが学習過程を通じて相互に教え合う協調学習フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 3.3557736371930567
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Knowledge distillation (KD) techniques have emerged as a powerful tool for transferring expertise from complex teacher models to lightweight student models, particularly beneficial for deploying high-performance models in resource-constrained devices. This approach has been successfully applied to graph neural networks (GNNs), harnessing their expressive capabilities to generate node embeddings that capture structural and feature-related information. In this study, we depart from the conventional KD approach by exploring the potential of collaborative learning among GNNs. In the absence of a pre-trained teacher model, we show that relatively simple and shallow GNN architectures can synergetically learn efficient models capable of performing better during inference, particularly in tackling multiple tasks. We propose a collaborative learning framework where ensembles of student GNNs mutually teach each other throughout the training process. We introduce an adaptive logit weighting unit to facilitate efficient knowledge exchange among models and an entropy enhancement technique to improve mutual learning. These components dynamically empower the models to adapt their learning strategies during training, optimizing their performance for downstream tasks. Extensive experiments conducted on three datasets each for node and graph classification demonstrate the effectiveness of our approach.
• Abstract（参考訳）: 知識蒸留(KD)技術は、複雑な教師モデルから軽量の学生モデルへ専門知識を移行するための強力なツールとして登場し、特に資源制約されたデバイスに高性能なモデルを展開するのに有用である。 このアプローチはグラフニューラルネットワーク(GNN)に適用され、その表現能力を活用して、構造や特徴に関連する情報をキャプチャするノード埋め込みを生成する。 本研究では,GNN間の協調学習の可能性を探ることで,従来のKDアプローチから脱却する。 事前学習された教師モデルがない場合、比較的単純で浅いGNNアーキテクチャは、推論時、特に複数のタスクに対処する際に、より優れた性能を発揮できる効率的なモデルを相乗的に学習できることが示される。 学生GNNのアンサンブルが学習過程を通じて相互に教え合う協調学習フレームワークを提案する。 モデル間の効率的な知識交換を容易にする適応ロジット重み付けユニットと、相互学習を改善するエントロピー強化技術を導入する。 これらのコンポーネントは、トレーニング中の学習戦略をモデルに適応させ、下流タスクのパフォーマンスを最適化する。 ノード分類とグラフ分類の3つのデータセットで行った大規模な実験により,提案手法の有効性が示された。

関連論文リスト

• Transferring Social Network Knowledge from Multiple GNN Teachers to Kolmogorov-Arnold Networks [3.1296907816698996]
  Kolmogorov-Arnold Networks (KAN) は強い非線形表現性と効率的な推論を提供する。 我々は、KGAT、KSGC、KAPPNPの3つの新しいモデルにおいて、kansをGAT、SGC、APPNPの3つの一般的なGNNアーキテクチャに統合する。 本研究は,GNN表現性を向上し,グラフのない効率的な推論を可能にするkansの可能性を明らかにするものである。
  論文  参考訳（メタデータ） (2025-08-08T19:26:31Z)
• Context-Aware Orchestration of Energy-Efficient Gossip Learning Schemes [8.382766344930157]
  本稿では,Gossip Learningと学習プロセスの適応最適化を組み合わせた分散学習手法を提案する。 本稿では,ノードごとのリアルタイムな最適化に依存するデータ駆動型OGL管理手法を提案する。 その結果,提案手法は幅広いネットワークシナリオにおいて極めて効率的かつ効果的であることが示唆された。
  論文  参考訳（メタデータ） (2024-04-18T09:17:46Z)
• Diffusion-Based Neural Network Weights Generation [80.89706112736353]
  D2NWGは拡散に基づくニューラルネットワーク重み生成技術であり、転送学習のために高性能な重みを効率よく生成する。 本稿では,ニューラルネットワーク重み生成のための遅延拡散パラダイムを再放送するために,生成的ハイパー表現学習を拡張した。 我々のアプローチは大規模言語モデル(LLM)のような大規模アーキテクチャにスケーラブルであり、現在のパラメータ生成技術の限界を克服しています。
  論文  参考訳（メタデータ） (2024-02-28T08:34:23Z)
• Label Deconvolution for Node Representation Learning on Large-scale Attributed Graphs against Learning Bias [72.33336385797944]
  本稿では,学習バイアスを軽減するため,ラベルの効率的な正規化手法であるラベルデコンボリューション(LD)を提案する。 LDはOpen Graph Benchmarkデータセット上で最先端の手法よりも大幅に優れていることを示す。
  論文  参考訳（メタデータ） (2023-09-26T13:09:43Z)
• Joint Feature and Differentiable $ k $-NN Graph Learning using Dirichlet Energy [103.74640329539389]
  特徴選択と識別可能な$k $-NNグラフ学習を同時に行うディープFS法を提案する。 我々は、ニューラルネットワークで$ k $-NNグラフを学習する際の非微分可能性問題に対処するために、最適輸送理論を用いる。 本モデルの有効性を,合成データセットと実世界のデータセットの両方で広範な実験により検証する。
  論文  参考訳（メタデータ） (2023-05-21T08:15:55Z)
• Data-Free Adversarial Knowledge Distillation for Graph Neural Networks [62.71646916191515]
  グラフ構造化データ(DFAD-GNN)を用いたデータフリー逆知識蒸留のための第1のエンドツーエンドフレームワークを提案する。 具体的には、DFAD-GNNは、教師モデルと学生モデルとを2つの識別器とみなし、教師モデルから学生モデルに知識を抽出するために学習グラフを導出するジェネレータという、主に3つの成分からなる生成的対向ネットワークを採用している。 我々のDFAD-GNNは、グラフ分類タスクにおける最先端のデータフリーベースラインを大幅に上回っている。
  論文  参考訳（メタデータ） (2022-05-08T08:19:40Z)
• Canoe : A System for Collaborative Learning for Neural Nets [4.547883122787855]
  Canoeはニューラルネットワークの知識伝達を容易にするフレームワークである。 Canoeはヘルパーノードのニューラルネットワークから重要なパラメータを動的に抽出する新しいシステムサポートを提供する。 異なるPyTorchモデルとニューラルネットワークモデルによるCanoeの評価は、知識伝達機構が、独立した学習に比べて3.5Xへのモデルの適応性を改善することを示した。
  論文  参考訳（メタデータ） (2021-08-27T05:30:15Z)
• Small-Group Learning, with Application to Neural Architecture Search [17.86826990290058]
  人間の学習では、学生の小さなグループが同じ学習目標に向かって協力し、そこでトピックに対する理解を仲間に表現し、アイデアを比較し、互いにトラブルシュートを手助けします。 本稿では,新しいMLフレームワークであるSGL(Small-group Learning)を開発することにより,機械学習モデルを改善するために,この人的学習手法を借用できるかどうかを検討することを目的とする。 sglは、3つの学習段階からなる多レベル最適化フレームワークとして定式化されている: 各学習者は独立してモデルを訓練し、このモデルを使って擬似ラベルを実行する。
  論文  参考訳（メタデータ） (2020-12-23T05:56:47Z)
• Graph-Based Neural Network Models with Multiple Self-Supervised Auxiliary Tasks [79.28094304325116]
  グラフ畳み込みネットワークは、構造化されたデータポイント間の関係をキャプチャするための最も有望なアプローチである。 マルチタスク方式でグラフベースニューラルネットワークモデルを学習するための3つの新しい自己教師付き補助タスクを提案する。
  論文  参考訳（メタデータ） (2020-11-14T11:09:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。