論文の概要: Gradient Rewiring for Editable Graph Neural Network Training
- arxiv url: http://arxiv.org/abs/2410.15556v2
- Date: Fri, 25 Oct 2024 19:37:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-29 16:01:30.666513
- Title: Gradient Rewiring for Editable Graph Neural Network Training
- Title（参考訳）: 編集可能なグラフニューラルネットワークトレーニングのためのグラディエントスイッチング
- Authors: Zhimeng Jiang, Zirui Liu, Xiaotian Han, Qizhang Feng, Hongye Jin, Qiaoyu Tan, Kaixiong Zhou, Na Zou, Xia Hu,
- Abstract要約: underlineGradient underlineRewiringメソッドは、textbfGREという、アンダーライン編集可能なグラフニューラルネットワークトレーニングのためのものだ。
そこで本稿では,textbfGRE という名前のアンダーライン編集可能なグラフニューラルネットワークトレーニングのための,シンプルで効果的なアンダーライングラディエントアンダーラインリスイッチ法を提案する。
- 参考スコア（独自算出の注目度）: 84.77778876113099
- License:
- Abstract: Deep neural networks are ubiquitously adopted in many applications, such as computer vision, natural language processing, and graph analytics. However, well-trained neural networks can make prediction errors after deployment as the world changes. \textit{Model editing} involves updating the base model to correct prediction errors with less accessible training data and computational resources. Despite recent advances in model editors in computer vision and natural language processing, editable training in graph neural networks (GNNs) is rarely explored. The challenge with editable GNN training lies in the inherent information aggregation across neighbors, which can lead model editors to affect the predictions of other nodes unintentionally. In this paper, we first observe the gradient of cross-entropy loss for the target node and training nodes with significant inconsistency, which indicates that directly fine-tuning the base model using the loss on the target node deteriorates the performance on training nodes. Motivated by the gradient inconsistency observation, we propose a simple yet effective \underline{G}radient \underline{R}ewiring method for \underline{E}ditable graph neural network training, named \textbf{GRE}. Specifically, we first store the anchor gradient of the loss on training nodes to preserve the locality. Subsequently, we rewire the gradient of the loss on the target node to preserve performance on the training node using anchor gradient. Experiments demonstrate the effectiveness of GRE on various model architectures and graph datasets in terms of multiple editing situations. The source code is available at \url{https://github.com/zhimengj0326/Gradient_rewiring_editing}
- Abstract（参考訳）: ディープニューラルネットワークはコンピュータビジョン、自然言語処理、グラフ解析など、多くのアプリケーションで広く採用されている。
しかし、よく訓練されたニューラルネットワークは、世界が変わるにつれて、デプロイ後の予測エラーを発生させることができる。
\textit{Model editing} では、ベースモデルを更新して、あまりアクセスできないトレーニングデータと計算リソースで予測エラーを修正する。
コンピュータビジョンや自然言語処理におけるモデルエディタの進歩にもかかわらず、グラフニューラルネットワーク(GNN)の編集可能なトレーニングはめったに行われていない。
編集可能なGNNトレーニングの課題は、隣国にまたがる固有の情報集約にある。
本稿では、まず、目標ノードとトレーニングノードの相互エントロピー損失の勾配をかなり不整合で観察し、目標ノードの損失を用いたベースモデルを直接微調整することで、トレーニングノードの性能を劣化させることを示す。
勾配の不整合性観測によって動機づけられたグラフニューラルネットワークトレーニングにおいて, 単純かつ効果的に, かつ, 簡便な \underline{G}radient \underline{R}ewiring法を提案する。
具体的には、まず、局所性を維持するために、トレーニングノードに損失のアンカー勾配を格納する。
その後、目標ノードにおける損失の勾配を再構成し、アンカー勾配を用いたトレーニングノードのパフォーマンスを維持する。
実験では、GREが様々なモデルアーキテクチャやグラフデータセットに対して、複数の編集状況において有効であることを示す。
ソースコードは \url{https://github.com/zhimengj0326/Gradient_rewiring_editing} で入手できる。
関連論文リスト
- DFA-GNN: Forward Learning of Graph Neural Networks by Direct Feedback Alignment [57.62885438406724]
グラフニューラルネットワークは、様々なアプリケーションにまたがる強力なパフォーマンスで認識されている。
BPには、その生物学的妥当性に挑戦する制限があり、グラフベースのタスクのためのトレーニングニューラルネットワークの効率、スケーラビリティ、並列性に影響を与える。
半教師付き学習のケーススタディを用いて,GNNに適した新しい前方学習フレームワークであるDFA-GNNを提案する。
論文 参考訳（メタデータ） (2024-06-04T07:24:51Z) - Degree-based stratification of nodes in Graph Neural Networks [66.17149106033126]
グラフニューラルネットワーク(GNN)アーキテクチャを変更して,各グループのノードに対して,重み行列を個別に学習する。
このシンプルな実装変更により、データセットとGNNメソッドのパフォーマンスが改善されているようだ。
論文 参考訳（メタデータ） (2023-12-16T14:09:23Z) - Is Rewiring Actually Helpful in Graph Neural Networks? [11.52174067809364]
本稿では,ノードやグラフ表現の学習を必要としない,メッセージパッシングモデルに基づく評価設定を提案する。
実世界のノードとグラフ分類タスクの体系的比較を行い、基礎となるグラフを書き換えることが、メッセージパッシングの実用的な利点をもたらすことは滅多にないことを示した。
論文 参考訳（メタデータ） (2023-05-31T10:12:23Z) - Editable Graph Neural Network for Node Classifications [43.39295712456175]
本稿では,アンダーライン編集可能なアンダーライングラフ (UnderlineEditable UnderlineGraph underlineNeural UnderlineNetworks (EGNN) を提案する。
EGNNは、モデル編集中にGNNの重みが凍結される基礎となるGNNを単純に縫う。
論文 参考訳（メタデータ） (2023-05-24T19:35:42Z) - Learning Graph Structure from Convolutional Mixtures [119.45320143101381]
本稿では、観測されたグラフと潜伏グラフのグラフ畳み込み関係を提案し、グラフ学習タスクをネットワーク逆(デコンボリューション)問題として定式化する。
固有分解に基づくスペクトル法の代わりに、近似勾配反復をアンロール・トランケートして、グラフデコンボリューションネットワーク(GDN)と呼ばれるパラメータ化ニューラルネットワークアーキテクチャに到達させる。
GDNは、教師付き方式でグラフの分布を学習し、損失関数を適応させることでリンク予測やエッジウェイト回帰タスクを実行し、本質的に帰納的である。
論文 参考訳（メタデータ） (2022-05-19T14:08:15Z) - Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。
GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。
提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
論文 参考訳（メタデータ） (2022-03-03T09:53:53Z) - Graph Neural Network with Curriculum Learning for Imbalanced Node
Classification [21.085314408929058]
グラフニューラルネットワーク(GNN)は,ノード分類などのグラフベースの学習タスクの新興技術である。
本研究では,ノードラベルの不均衡に対するGNNの脆弱性を明らかにする。
本稿では,2つのモジュールからなるカリキュラム学習(GNN-CL)を備えたグラフニューラルネットワークフレームワークを提案する。
論文 参考訳（メタデータ） (2022-02-05T10:46:11Z) - Training Graph Neural Networks by Graphon Estimation [2.5997274006052544]
本稿では,基礎となるネットワークデータから得られたグラフトン推定値から再サンプリングすることで,グラフニューラルネットワークをトレーニングする。
我々のアプローチは競争力があり、多くの場合、他の過度にスムースなGNNトレーニング手法よりも優れています。
論文 参考訳（メタデータ） (2021-09-04T19:21:48Z) - Scaling Up Graph Neural Networks Via Graph Coarsening [18.176326897605225]
グラフニューラルネットワーク(GNN)のスケーラビリティは、マシンラーニングにおける大きな課題のひとつだ。
本稿では,GNNのスケーラブルなトレーニングにグラフ粗大化を用いることを提案する。
既成の粗大化法を単純に適用すれば,分類精度を著しく低下させることなく,ノード数を最大10倍に削減できることを示す。
論文 参考訳（メタデータ） (2021-06-09T15:46:17Z) - Overcoming Catastrophic Forgetting in Graph Neural Networks [50.900153089330175]
破滅的な忘れは、ニューラルネットワークが新しいタスクを学ぶ前に学んだ知識を「忘れる」傾向を指します。
本稿では,この問題を克服し,グラフニューラルネットワーク(GNN)における継続学習を強化するための新しいスキームを提案する。
私たちのアプローチの中心には、トポロジ認識重量保存(TWP)と呼ばれる汎用モジュールがあります。
論文 参考訳（メタデータ） (2020-12-10T22:30:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。