論文の概要: CAP: Co-Adversarial Perturbation on Weights and Features for Improving Generalization of Graph Neural Networks

• arxiv url: http://arxiv.org/abs/2110.14855v1
• Date: Thu, 28 Oct 2021 02:28:13 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-29 15:40:47.255882
• Title: CAP: Co-Adversarial Perturbation on Weights and Features for Improving Generalization of Graph Neural Networks
• Title（参考訳）: CAP:グラフニューラルネットワークの一般化のための重みと特徴の共逆摂動
• Authors: Haotian Xue, Kaixiong Zhou, Tianlong Chen, Kai Guo, Xia Hu, Yi Chang, Xin Wang
• Abstract要約: 敵の訓練は、敵の攻撃に対するモデルの堅牢性を改善するために広く実証されてきた。 グラフ解析問題におけるGNNの一般化能力をどのように改善するかは、まだ不明である。 我々は、重みと特徴量の観点から共振器摂動(CAP)最適化問題を構築し、重みと特徴の損失を交互に平らにする交互対振器摂動アルゴリズムを設計する。
• 参考スコア（独自算出の注目度）: 59.692017490560275
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite the recent advances of graph neural networks (GNNs) in modeling graph data, the training of GNNs on large datasets is notoriously hard due to the overfitting. Adversarial training, which augments data with the worst-case adversarial examples, has been widely demonstrated to improve model's robustness against adversarial attacks and generalization ability. However, while the previous adversarial training generally focuses on protecting GNNs from spiteful attacks, it remains unclear how the adversarial training could improve the generalization abilities of GNNs in the graph analytics problem. In this paper, we investigate GNNs from the lens of weight and feature loss landscapes, i.e., the loss changes with respect to model weights and node features, respectively. We draw the conclusion that GNNs are prone to falling into sharp local minima in these two loss landscapes, where GNNs possess poor generalization performances. To tackle this problem, we construct the co-adversarial perturbation (CAP) optimization problem in terms of weights and features, and design the alternating adversarial perturbation algorithm to flatten the weight and feature loss landscapes alternately. Furthermore, we divide the training process into two stages: one conducting the standard cross-entropy minimization to ensure the quick convergence of GNN models, the other applying our alternating adversarial training to avoid falling into locally sharp minima. The extensive experiments demonstrate our CAP can generally improve the generalization performance of GNNs on a variety of benchmark graph datasets.
• Abstract（参考訳）: グラフデータモデリングにおけるグラフニューラルネットワーク(GNN)の最近の進歩にもかかわらず、大規模なデータセット上でのGNNのトレーニングは、過度な適合のため、非常に難しい。 最悪の逆数例でデータを増強する逆数トレーニングは、逆数攻撃や一般化能力に対するモデルの堅牢性を改善するために広く実証されている。 しかし,従来の敵対的訓練は概して不名誉な攻撃からGNNを保護することに重点を置いていたが,グラフ解析問題におけるGNNの一般化能力が向上するかどうかは不明である。 本稿では,重みのレンズと特徴損失のランドスケープ,すなわちモデル重みとノード特徴の損失変化からGNNについて検討する。 我々は、GNNが一般化性能の劣るこの2つの損失景観において、GNNは急激な局所最小化に陥る傾向にあるという結論を導いた。 この問題に対処するために、重みと特徴量の観点から共振器摂動(CAP)最適化問題を構築し、重みと特徴損失を交互に平らにする交互対振器摂動アルゴリズムを設計する。 さらに,gnnモデルの迅速な収束を確保するために標準クロスエントロピー最小化を行うことと,局所的に鋭いミニマに陥ることを避けるために交互に対向する訓練を行うことの2段階に分けた。 広範な実験により,様々なベンチマークグラフデータセットにおけるgnnの一般化性能が一般に向上することを示した。

関連論文リスト

• Explainable AI Security: Exploring Robustness of Graph Neural Networks to Adversarial Attacks [14.89001880258583]
  グラフニューラルネットワーク(GNN)は非常に成功したが、最近の研究では、GNNは敵の攻撃に弱いことが示されている。 本稿では,グラフデータパターン,モデル固有因子,および敵対例の転送可能性を考慮することで,GNNの対角的ロバスト性について検討する。 この作業は、GNNの脆弱性を照らし、堅牢なGNNを設計するための多くの有望な道を開く。
  論文  参考訳（メタデータ） (2024-06-20T01:24:18Z)
• Learning to Reweight for Graph Neural Network [63.978102332612906]
  グラフニューラルネットワーク(GNN)は、グラフタスクに対して有望な結果を示す。 既存のGNNの一般化能力は、テストとトレーニンググラフデータの間に分散シフトが存在する場合に低下する。 本稿では,分布外一般化能力を大幅に向上させる非線形グラフデコリレーション法を提案する。
  論文  参考訳（メタデータ） (2023-12-19T12:25:10Z)
• Label Deconvolution for Node Representation Learning on Large-scale Attributed Graphs against Learning Bias [75.44877675117749]
  本稿では,GNNの逆写像に対する新しい,スケーラブルな近似による学習バイアスを軽減するために,ラベルの効率的な正規化手法,すなわちラベルのデコンボリューション(LD)を提案する。 実験では、LDはOpen Graphデータセットのベンチマークで最先端のメソッドを大幅に上回っている。
  論文  参考訳（メタデータ） (2023-09-26T13:09:43Z)
• DEGREE: Decomposition Based Explanation For Graph Neural Networks [55.38873296761104]
  我々は,GNN予測に対する忠実な説明を提供するためにDGREEを提案する。 GNNの情報生成と集約機構を分解することにより、DECREEは入力グラフの特定のコンポーネントのコントリビューションを最終的な予測に追跡することができる。 また,従来の手法で見過ごされるグラフノード間の複雑な相互作用を明らかにするために,サブグラフレベルの解釈アルゴリズムを設計する。
  論文  参考訳（メタデータ） (2023-05-22T10:29:52Z)
• GNN-Ensemble: Towards Random Decision Graph Neural Networks [3.7620848582312405]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データに広く応用されている。 GNNは、大量のテストデータに基づいて推論を行うために、限られた量のトレーニングデータから潜伏パターンを学習する必要がある。 本稿では、GNNのアンサンブル学習を一歩前進させ、精度、堅牢性、敵攻撃を改善した。
  論文  参考訳（メタデータ） (2023-03-20T18:24:01Z)
• MentorGNN: Deriving Curriculum for Pre-Training GNNs [61.97574489259085]
  本稿では,グラフ間のGNNの事前学習プロセスの監視を目的とした,MentorGNNというエンドツーエンドモデルを提案する。 我々は、事前学習したGNNの一般化誤差に自然かつ解釈可能な上限を導出することにより、関係データ(グラフ)に対するドメイン適応の問題に新たな光を当てた。
  論文  参考訳（メタデータ） (2022-08-21T15:12:08Z)
• EvenNet: Ignoring Odd-Hop Neighbors Improves Robustness of Graph Neural Networks [51.42338058718487]
  グラフニューラルネットワーク(GNN)は、グラフ機械学習における有望なパフォーマンスについて、広範な研究の注目を集めている。 GCNやGPRGNNのような既存のアプローチは、テストグラフ上のホモフィリな変化に直面しても堅牢ではない。 偶数多項式グラフフィルタに対応するスペクトルGNNであるEvenNetを提案する。
  論文  参考訳（メタデータ） (2022-05-27T10:48:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。