論文の概要: Memorization in Graph Neural Networks

• arxiv url: http://arxiv.org/abs/2508.19352v2
• Date: Thu, 28 Aug 2025 19:24:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-01 11:39:19.107785
• Title: Memorization in Graph Neural Networks
• Title（参考訳）: グラフニューラルネットワークにおける記憶
• Authors: Adarsh Jamadandi, Jing Xu, Adam Dziedzic, Franziska Boenisch,
• Abstract要約: NCMemoは、半教師付きノード分類においてラベル記憶を定量化する最初のフレームワークである。 ホモフィリーが低いことは記憶を著しく増加させ、GNNが記憶に頼ってホモフィリックグラフを学習することを示唆している。 グラフのホモフィリーと記憶の関連性に関する洞察に基づいて,記憶の緩和手段としてのグラフのリウィリングについて検討する。
• 参考スコア（独自算出の注目度）: 25.521226532317524
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep neural networks (DNNs) have been shown to memorize their training data, yet similar analyses for graph neural networks (GNNs) remain largely under-explored. We introduce NCMemo (Node Classification Memorization), the first framework to quantify label memorization in semi-supervised node classification. We first establish an inverse relationship between memorization and graph homophily, i.e., the property that connected nodes share similar labels/features. We find that lower homophily significantly increases memorization, indicating that GNNs rely on memorization to learn less homophilic graphs. Secondly, we analyze GNN training dynamics. We find that the increased memorization in low homophily graphs is tightly coupled to the GNNs' implicit bias on using graph structure during learning. In low homophily regimes, this structure is less informative, hence inducing memorization of the node labels to minimize training loss. Finally, we show that nodes with higher label inconsistency in their feature-space neighborhood are significantly more prone to memorization. Building on our insights into the link between graph homophily and memorization, we investigate graph rewiring as a means to mitigate memorization. Our results demonstrate that this approach effectively reduces memorization without compromising model performance. Moreover, we show that it lowers the privacy risk for previously memorized data points in practice. Thus, our work not only advances understanding of GNN learning but also supports more privacy-preserving GNN deployment.
• Abstract（参考訳）: 深層ニューラルネットワーク(DNN)は、トレーニングデータを記憶することが示されているが、グラフニューラルネットワーク(GNN)に関する同様の分析は、ほとんど探索されていない。 我々は,セミ教師付きノード分類において,ラベル記憶を定量化する最初のフレームワークであるNCMemo(Node Classification Memorization)を紹介する。 まず、記憶とグラフホモフィリーの逆関係、すなわち、接続ノードが類似したラベルや特徴を共有する性質を確立する。 ホモフィリーが低いことは記憶を著しく増加させ、GNNが記憶に頼ってホモフィリックグラフを学習することを示唆している。 第2に、GNNトレーニングダイナミクスの解析を行う。 低ホモフィリーグラフにおける記憶の増大は、学習中にグラフ構造を使用する際のGNNの暗黙バイアスと密接に結びついていることが分かる。 低ホモフィリーな状態では、この構造は情報的でないため、トレーニング損失を最小限に抑えるためにノードラベルの記憶を誘導する。 最後に, 特徴空間近傍におけるラベルの不整合性が高いノードは, 暗記の傾向が著しく高いことを示す。 グラフのホモフィリーと記憶の関連性に関する洞察に基づいて,記憶の緩和手段としてのグラフのリウィリングについて検討する。 提案手法は, モデル性能を損なうことなく, メモリ化を効果的に削減できることを示す。 さらに,従来記憶されていたデータポイントのプライバシリスクを低減できることを示す。 このように、我々の研究は、GNN学習の理解を深めるだけでなく、よりプライバシーに配慮したGNNデプロイメントもサポートする。

関連論文リスト

• How Graph Neural Networks Learn: Lessons from Training Dynamics [80.41778059014393]
  グラフニューラルネットワーク(GNN)の関数空間におけるトレーニングダイナミクスについて検討する。 GNNの勾配勾配勾配最適化は暗黙的にグラフ構造を利用して学習関数を更新する。 この発見は、学習したGNN関数が一般化した時期と理由に関する新たな解釈可能な洞察を提供する。
  論文  参考訳（メタデータ） (2023-10-08T10:19:56Z)
• Quantifying the Optimization and Generalization Advantages of Graph Neural Networks Over Multilayer Perceptrons [50.33260238739837]
  グラフネットワーク(GNN)は、グラフ構造化データから学習する際、顕著な能力を示した。 最適化と一般化の観点から、GNNと一般化を比較した分析の欠如がまだ残っている。
  論文  参考訳（メタデータ） (2023-06-24T10:21:11Z)
• Self-attention Dual Embedding for Graphs with Heterophily [6.803108335002346]
  多くの実世界のグラフはヘテロ親和性があり、標準のGNNを用いた分類精度ははるかに低い。 ヘテロ親和性グラフとホモ親和性グラフの両方に有効である新しいGNNを設計する。 我々は,数千から数百万のノードを含む実世界のグラフ上でアルゴリズムを評価し,最先端の結果が得られたことを示す。
  論文  参考訳（メタデータ） (2023-05-28T09:38:28Z)
• Automatic Relation-aware Graph Network Proliferation [182.30735195376792]
  GNNを効率的に検索するためのARGNP(Automatic Relation-Aware Graph Network Proliferation)を提案する。 これらの操作は階層的なノード/リレーショナル情報を抽出し、グラフ上のメッセージパッシングのための異方的ガイダンスを提供する。 4つのグラフ学習タスクのための6つのデータセットの実験により、我々の手法によって生成されたGNNは、現在最先端の手作りおよび検索に基づくGNNよりも優れていることが示された。
  論文  参考訳（メタデータ） (2022-05-31T10:38:04Z)
• Discovering the Representation Bottleneck of Graph Neural Networks from Multi-order Interactions [51.597480162777074]
  グラフニューラルネットワーク(GNN)は、ノード機能を伝搬し、インタラクションを構築するためにメッセージパッシングパラダイムに依存している。 最近の研究は、異なるグラフ学習タスクはノード間の異なる範囲の相互作用を必要とすることを指摘している。 科学領域における2つの共通グラフ構築法、すなわち、emphK-nearest neighbor(KNN)グラフとemphfully-connected(FC)グラフについて検討する。
  論文  参考訳（メタデータ） (2022-05-15T11:38:14Z)
• Graph Neural Networks with Feature and Structure Aware Random Walk [7.143879014059894]
  典型的な好適なグラフでは、エッジを指向する可能性があり、エッジをそのまま扱うか、あるいは単純に非指向にするかは、GNNモデルの性能に大きな影響を与える。 そこで我々は,グラフの方向性を適応的に学習するモデルを開発し,ノード間の長距離相関を生かした。
  論文  参考訳（メタデータ） (2021-11-19T08:54:21Z)
• Graph-Free Knowledge Distillation for Graph Neural Networks [30.38128029453977]
  グラフデータのないグラフニューラルネットワークから知識を蒸留する最初の専用アプローチを提案する。 グラフフリーkd (gfkd) は知識伝達のためのグラフトポロジ構造を多項分布でモデル化することで学習する。 グラフデータやGNNにおける様々な種類の事前知識を扱うための戦略を提供する。
  論文  参考訳（メタデータ） (2021-05-16T21:38:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。