論文の概要: Toward Enhanced Robustness in Unsupervised Graph Representation Learning: A Graph Information Bottleneck Perspective

• arxiv url: http://arxiv.org/abs/2201.08557v2
• Date: Thu, 8 Jun 2023 08:35:07 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-09 20:48:03.140577
• Title: Toward Enhanced Robustness in Unsupervised Graph Representation Learning: A Graph Information Bottleneck Perspective
• Title（参考訳）: 教師なしグラフ表現学習におけるロバスト性向上に向けて:グラフ情報基盤の視点から
• Authors: Jihong Wang, Minnan Luo, Jundong Li, Ziqi Liu, Jun Zhou, Qinghua Zheng
• Abstract要約: 我々はRobust Graph Information Bottleneck (RGIB) と呼ばれる新しい非バイアス頑健なUGRL手法を提案する。 我々のRGIBは、逆数グラフの逆数情報を排除しつつ、良性グラフの原情報を保存し、逆数摂動に対する頑健なノード表現を学習しようと試みている。
• 参考スコア（独自算出の注目度）: 48.01303380298564
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent studies have revealed that GNNs are vulnerable to adversarial attacks. Most existing robust graph learning methods measure model robustness based on label information, rendering them infeasible when label information is not available. A straightforward direction is to employ the widely used Infomax technique from typical Unsupervised Graph Representation Learning (UGRL) to learn robust unsupervised representations. Nonetheless, directly transplanting the Infomax technique from typical UGRL to robust UGRL may involve a biased assumption. In light of the limitation of Infomax, we propose a novel unbiased robust UGRL method called Robust Graph Information Bottleneck (RGIB), which is grounded in the Information Bottleneck (IB) principle. Our RGIB attempts to learn robust node representations against adversarial perturbations by preserving the original information in the benign graph while eliminating the adversarial information in the adversarial graph. There are mainly two challenges to optimize RGIB: 1) high complexity of adversarial attack to perturb node features and graph structure jointly in the training procedure; 2) mutual information estimation upon adversarially attacked graphs. To tackle these problems, we further propose an efficient adversarial training strategy with only feature perturbations and an effective mutual information estimator with subgraph-level summary. Moreover, we theoretically establish a connection between our proposed RGIB and the robustness of downstream classifiers, revealing that RGIB can provide a lower bound on the adversarial risk of downstream classifiers. Extensive experiments over several benchmarks and downstream tasks demonstrate the effectiveness and superiority of our proposed method.
• Abstract（参考訳）: 近年の研究では、GNNは敵の攻撃に弱いことが判明している。 既存のロバストグラフ学習手法の多くは、ラベル情報に基づいてモデルのロバスト度を測定し、ラベル情報がないと実現不可能である。 直接の方向性は、一般的なUnsupervised Graph Representation Learning (UGRL)から広く使われているInfomax技術を用いて、堅牢な教師なし表現を学ぶことである。 それでも、Infomaxテクニックを典型的なUGRLから堅牢なUGRLに直接移植することは、バイアスのある仮定を伴う可能性がある。 Infomax の限界を考慮し,Information Bottleneck (IB) の原理に基づいて,ロバストグラフ情報ボトルネック (RGIB) と呼ばれる新しい非バイアス頑健な UGRL 手法を提案する。 我々のRGIBは、逆数グラフの逆数情報を排除しつつ、良性グラフの原情報を保存し、逆数摂動に対する頑健なノード表現を学習しようとする。 RGIBの最適化には2つの課題がある。 1) トレーニング手順における摂動ノードの特徴及びグラフ構造に対する敵攻撃の複雑さ 2) 逆攻撃されたグラフによる相互情報推定 さらに,これらの課題に対処するために,特徴摂動のみを有する効率的な対角訓練戦略と,部分グラフレベルの要約を伴う効果的な相互情報推定器を提案する。 さらに,提案したRGIBと下流分類器のロバスト性との関係を理論的に確立し,下流分類器の対角的リスクを低く抑えることができることを示した。 いくつかのベンチマークや下流タスクに対する大規模な実験により,提案手法の有効性と優位性を示した。

関連論文リスト

• Combating Bilateral Edge Noise for Robust Link Prediction [56.43882298843564]
  本稿では,RGIB(Robust Graph Information Bottleneck)という情報理論の原則を提案し,信頼性の高い監視信号を抽出し,表現の崩壊を回避する。 RGIB-SSLとRGIB-REPの2つのインスタンス化は、異なる手法の利点を活用するために検討されている。 6つのデータセットと3つのGNNの様々なノイズシナリオによる実験は、我々のRGIBインスタンスの有効性を検証する。
  論文  参考訳（メタデータ） (2023-11-02T12:47:49Z)
• Learning Robust Representation through Graph Adversarial Contrastive Learning [6.332560610460623]
  既存の研究では、グラフニューラルネットワーク(GNN)によって生成されたノード表現が、敵の攻撃に対して脆弱であることが示されている。 本稿では,グラフ自己教師型学習に対数拡張を導入することにより,新しいグラフ適応型コントラスト学習フレームワーク(GraphACL)を提案する。
  論文  参考訳（メタデータ） (2022-01-31T07:07:51Z)
• Graph Information Bottleneck [77.21967740646784]
  グラフニューラルネットワーク(GNN)は、ネットワーク構造とノード機能から情報を融合する表現的な方法を提供する。 GIBは、一般的なInformation Bottleneck (IB) を継承し、与えられたタスクに対する最小限の表現を学習することを目的としている。 提案したモデルが最先端のグラフ防御モデルよりも堅牢であることを示す。
  論文  参考訳（メタデータ） (2020-10-24T07:13:00Z)
• Information Obfuscation of Graph Neural Networks [96.8421624921384]
  本稿では,グラフ構造化データを用いた学習において,情報難読化による機密属性保護の問題について検討する。 本稿では,全変動量とワッサーシュタイン距離を交互に学習することで,事前決定された機密属性を局所的にフィルタリングするフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-09-28T17:55:04Z)
• Graph Backdoor [53.70971502299977]
  GTAはグラフニューラルネットワーク(GNN)に対する最初のバックドア攻撃である。 GTAは、トポロジカル構造と記述的特徴の両方を含む特定の部分グラフとしてトリガーを定義する。 トランスダクティブ(ノード分類など)とインダクティブ(グラフ分類など)の両方のタスクに対してインスタンス化することができる。
  論文  参考訳（メタデータ） (2020-06-21T19:45:30Z)
• Graph Representation Learning via Graphical Mutual Information Maximization [86.32278001019854]
  本稿では,入力グラフとハイレベルな隠蔽表現との相関を測る新しい概念であるGMIを提案する。 我々は,グラフニューラルエンコーダの入力と出力の間でGMIを最大化することで訓練された教師なし学習モデルを開発する。
  論文  参考訳（メタデータ） (2020-02-04T08:33:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。