論文の概要: GNNMerge: Merging of GNN Models Without Accessing Training Data

• arxiv url: http://arxiv.org/abs/2503.03384v2
• Date: Thu, 27 Mar 2025 15:32:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-28 12:48:48.504905
• Title: GNNMerge: Merging of GNN Models Without Accessing Training Data
• Title（参考訳）: GNNMerge: トレーニングデータにアクセスせずにGNNモデルをマージする
• Authors: Vipul Garg, Ishita Thakre, Sayan Ranu,
• Abstract要約: モデルのマージは、オリジナルのトレーニングデータにアクセスすることなく、複数のトレーニングされたモデルを単一のモデルに統合する方法として、機械学習において注目されている。 既存のアプローチはコンピュータビジョンやNLPのような領域で成功を示しており、グラフニューラルネットワーク(GNN)への応用は未解明のままである。 タスクに依存しないノード埋め込みアライメント戦略を用いてGNNをマージするGNNMergeを提案する。
• 参考スコア（独自算出の注目度）: 12.607714697138428
• License:
• Abstract: Model merging has gained prominence in machine learning as a method to integrate multiple trained models into a single model without accessing the original training data. While existing approaches have demonstrated success in domains such as computer vision and NLP, their application to Graph Neural Networks (GNNs) remains unexplored. These methods often rely on the assumption of shared initialization, which is seldom applicable to GNNs. In this work, we undertake the first benchmarking study of model merging algorithms for GNNs, revealing their limited effectiveness in this context. To address these challenges, we propose GNNMerge, which utilizes a task-agnostic node embedding alignment strategy to merge GNNs. Furthermore, we establish that under a mild relaxation, the proposed optimization objective admits direct analytical solutions for widely used GNN architectures, significantly enhancing its computational efficiency. Empirical evaluations across diverse datasets, tasks, and architectures establish GNNMerge to be up to 24% more accurate than existing methods while delivering over 2 orders of magnitude speed-up compared to training from scratch.
• Abstract（参考訳）: モデルのマージは、オリジナルのトレーニングデータにアクセスすることなく、複数のトレーニングされたモデルを単一のモデルに統合する方法として、機械学習において注目されている。 既存のアプローチはコンピュータビジョンやNLPなどの領域で成功したが、グラフニューラルネットワーク(GNN)への応用は未検討である。 これらの手法は、GNNにはほとんど適用されない共有初期化の仮定に依存することが多い。 本研究では,GNNにおけるモデルマージアルゴリズムのベンチマーク実験を行い,その適用範囲が限定されたことを示す。 これらの課題に対処するために,タスクに依存しないノード埋め込みアライメント戦略を用いてGNNをマージするGNNMergeを提案する。 さらに, 提案手法は, 緩やかな緩和の下で広く利用されているGNNアーキテクチャの直接解析解を許容し, 計算効率を著しく向上させる。 さまざまなデータセット、タスク、アーキテクチャにわたる実証的な評価により、GNNMergeは既存の方法よりも最大24%正確であると同時に、スクラッチからのトレーニングに比べて2桁以上のスピードアップを実現している。

関連論文リスト

• LOGIN: A Large Language Model Consulted Graph Neural Network Training Framework [30.54068909225463]
  我々は,GNN設計プロセスの合理化とLarge Language Models(LLM)の利点を活用して,下流タスクにおけるGNNの性能向上を目指す。 我々は,LLMs-as-Consultants(LLMs-as-Consultants)という新たなパラダイムを策定し,LLMとGNNを対話的に統合する。 両グラフのノード分類におけるLOGINの有効性を実証的に評価した。
  論文  参考訳（メタデータ） (2024-05-22T18:17:20Z)
• GNN-Ensemble: Towards Random Decision Graph Neural Networks [3.7620848582312405]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データに広く応用されている。 GNNは、大量のテストデータに基づいて推論を行うために、限られた量のトレーニングデータから潜伏パターンを学習する必要がある。 本稿では、GNNのアンサンブル学習を一歩前進させ、精度、堅牢性、敵攻撃を改善した。
  論文  参考訳（メタデータ） (2023-03-20T18:24:01Z)
• Graph Neural Networks are Inherently Good Generalizers: Insights by Bridging GNNs and MLPs [71.93227401463199]
  本稿では、P(ropagational)MLPと呼ばれる中間モデルクラスを導入することにより、GNNの性能向上を本質的な能力に向ける。 PMLPは、トレーニングにおいてはるかに効率的でありながら、GNNと同等(あるいはそれ以上)に動作することを観察する。
  論文  参考訳（メタデータ） (2022-12-18T08:17:32Z)
• A Comprehensive Survey on Distributed Training of Graph Neural Networks [59.785830738482474]
  グラフニューラルネットワーク(GNN)は、幅広いアプリケーション分野において強力なアルゴリズムモデルであることが示されている。 GNNトレーニングを大規模かつ継続的なグラフにスケールアップするために、最も有望なソリューションは分散トレーニングである。 分散GNNトレーニングに関する研究の規模は、非常に広範であり、出版のペースは極めて速い。
  論文  参考訳（メタデータ） (2022-11-10T06:22:12Z)
• Distributed Graph Neural Network Training: A Survey [51.77035975191926]
  グラフニューラルネットワーク(GNN)は、グラフに基づいてトレーニングされたディープラーニングモデルの一種で、さまざまな領域にうまく適用されている。 GNNの有効性にもかかわらず、GNNが大規模グラフに効率的にスケールすることは依然として困難である。 治療法として、分散コンピューティングは大規模GNNをトレーニングするための有望なソリューションとなる。
  論文  参考訳（メタデータ） (2022-11-01T01:57:00Z)
• GNN at the Edge: Cost-Efficient Graph Neural Network Processing over Distributed Edge Servers [24.109721494781592]
  グラフニューラルネットワーク(GNN)はまだ探索中であり、その広範な採用に対する大きな違いを示している。 本稿では,多層ヘテロジニアスエッジネットワーク上での分散GNN処理のコスト最適化について検討する。 提案手法は, 高速収束速度で95.8%以上のコスト削減を行い, デファクトベースラインよりも優れた性能が得られることを示す。
  論文  参考訳（メタデータ） (2022-10-31T13:03:16Z)
• Ranking Structured Objects with Graph Neural Networks [0.0]
  RankGNNはグラフ間のペアワイズ選好のセットでトレーニングされており、一方が他方よりも好まれていることを示唆している。 この問題の実用的な適用の1つは薬剤の候補者の大規模なコレクションの最も有望な分子を見つけたいと思う薬剤のスクリーニングです。 提案するペアワイズrankgnnアプローチが,平均的なポイントワイズベースラインアプローチのランキング性能を有意に上回っているか,少なくとも同等であることを示す。
  論文  参考訳（メタデータ） (2021-04-18T14:40:59Z)
• Policy-GNN: Aggregation Optimization for Graph Neural Networks [60.50932472042379]
  グラフニューラルネットワーク(GNN)は、局所的なグラフ構造をモデル化し、隣人からの情報を集約することで階層的なパターンを捉えることを目的としている。 複雑なグラフとスパースな特徴を与えられた各ノードに対して効果的なアグリゲーション戦略を開発することは難しい課題である。 本稿では,GNNのサンプリング手順とメッセージパッシングを複合学習プロセスにモデル化するメタ政治フレームワークであるPolicy-GNNを提案する。
  論文  参考訳（メタデータ） (2020-06-26T17:03:06Z)
• Fast Learning of Graph Neural Networks with Guaranteed Generalizability: One-hidden-layer Case [93.37576644429578]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データから実際に学習する上で、近年大きな進歩を遂げている。 回帰問題と二項分類問題の両方に隠れ層を持つGNNの理論的に基底的な一般化可能性解析を行う。
  論文  参考訳（メタデータ） (2020-06-25T00:45:52Z)
• Bayesian Graph Neural Networks with Adaptive Connection Sampling [62.51689735630133]
  グラフニューラルネットワーク(GNN)における適応接続サンプリングのための統一的なフレームワークを提案する。 提案フレームワークは,深部GNNの過度なスムース化や過度に適合する傾向を緩和するだけでなく,グラフ解析タスクにおけるGNNによる不確実性の学習を可能にする。
  論文  参考訳（メタデータ） (2020-06-07T07:06:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。