論文の概要: Rethinking Graph Lottery Tickets: Graph Sparsity Matters

• arxiv url: http://arxiv.org/abs/2305.02190v1
• Date: Wed, 3 May 2023 15:35:15 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-04 14:27:30.465085
• Title: Rethinking Graph Lottery Tickets: Graph Sparsity Matters
• Title（参考訳）: グラフ抽選チケットの再検討 - グラフのスパーシティが重要
• Authors: Bo Hui, Da Yan, Xiaolong Ma, Wei-Shinn Ku
• Abstract要約: Lottery Ticket hypothesis (LTH) は、オリジナルの高密度ネットワークに対する競争性能を達成できる勝利チケットの存在を主張している。 本稿では,グラフ間隔が高い場合のGNN性能を改善するための2つの手法を提案する。
• 参考スコア（独自算出の注目度）: 22.494153884469288
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Lottery Ticket Hypothesis (LTH) claims the existence of a winning ticket (i.e., a properly pruned sub-network together with original weight initialization) that can achieve competitive performance to the original dense network. A recent work, called UGS, extended LTH to prune graph neural networks (GNNs) for effectively accelerating GNN inference. UGS simultaneously prunes the graph adjacency matrix and the model weights using the same masking mechanism, but since the roles of the graph adjacency matrix and the weight matrices are very different, we find that their sparsifications lead to different performance characteristics. Specifically, we find that the performance of a sparsified GNN degrades significantly when the graph sparsity goes beyond a certain extent. Therefore, we propose two techniques to improve GNN performance when the graph sparsity is high. First, UGS prunes the adjacency matrix using a loss formulation which, however, does not properly involve all elements of the adjacency matrix; in contrast, we add a new auxiliary loss head to better guide the edge pruning by involving the entire adjacency matrix. Second, by regarding unfavorable graph sparsification as adversarial data perturbations, we formulate the pruning process as a min-max optimization problem to gain the robustness of lottery tickets when the graph sparsity is high. We further investigate the question: Can the "retrainable" winning ticket of a GNN be also effective for graph transferring learning? We call it the transferable graph lottery ticket (GLT) hypothesis. Extensive experiments were conducted which demonstrate the superiority of our proposed sparsification method over UGS, and which empirically verified our transferable GLT hypothesis.
• Abstract（参考訳）: Lottery Ticket hypothesis (LTH) は、勝利のチケット(すなわち、元の重み付け初期化と共に適切に刈り上げられたサブネットワーク)の存在は、元の高密度ネットワークとの競合性能を達成することができると主張している。 UGSと呼ばれる最近の研究は、LTHをグラフニューラルネットワーク(GNN)に拡張し、GNN推論を効果的に高速化した。 ugsは同じマスキング機構を用いてグラフ隣接行列とモデル重みを同時にプルーピングするが、グラフ隣接行列と重み行列の役割は大きく異なるため、それらのスパース化によって異なる性能特性がもたらされることがわかった。 具体的には,グラフの間隔が一定を超えると,分散GNNの性能は著しく低下することがわかった。 そこで本研究では,グラフ間隔が高い場合のGNN性能を改善する2つの手法を提案する。 第一に、UGSは、損失定式化(英語版)を用いて、隣接行列のすべての要素を適切に含まないが、それに対して、隣接行列全体を巻き込むことにより、エッジプルーニングをより良く導くために、新しい補助的損失ヘッドを追加する。 第2に,不利なグラフスペーシフィケーションを逆データ摂動として扱うことにより,グラフスペーシリティが高い場合の抽選券のロバスト性を得るため,プルーニング処理をmin-max最適化問題として定式化する。 GNNの「制限可能な」勝利チケットは、グラフ転送学習にも有効か? これを転送可能なグラフ宝くじ(GLT)仮説と呼ぶ。 UGSよりもスペーシフィケーション法が優れていることを実証し, 転送可能なGLT仮説を実験的に検証した。

関連論文リスト

• Two Heads Are Better Than One: Boosting Graph Sparse Training via Semantic and Topological Awareness [80.87683145376305]
  グラフニューラルネットワーク(GNN)は、様々なグラフ学習タスクに優れるが、大規模グラフに適用した場合、計算上の課題に直面している。 データレベルで空間を動的に操作するグラフスパーストレーニング(GST)を提案する。 GSTは、最大位相整合性と性能劣化のないスパースグラフを生成する。
  論文  参考訳（メタデータ） (2024-02-02T09:10:35Z)
• Learning to Reweight for Graph Neural Network [63.978102332612906]
  グラフニューラルネットワーク(GNN)は、グラフタスクに対して有望な結果を示す。 既存のGNNの一般化能力は、テストとトレーニンググラフデータの間に分散シフトが存在する場合に低下する。 本稿では,分布外一般化能力を大幅に向上させる非線形グラフデコリレーション法を提案する。
  論文  参考訳（メタデータ） (2023-12-19T12:25:10Z)
• Sparse but Strong: Crafting Adversarially Robust Graph Lottery Tickets [3.325501850627077]
  Graph Lottery Tickets(GLT)は、その密度の高いものと比較して、推論レイテンシと計算フットプリントを大幅に削減する。 これらの利点にも拘わらず、敵構造摂動に対するそれらの性能はいまだに完全に検討されている。 本稿では,隣接行列とGNN重みを具現化する,逆向きに頑健なグラフスペーシフィケーションフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-11T17:52:46Z)
• Implicit Graph Neural Diffusion Networks: Convergence, Generalization, and Over-Smoothing [7.984586585987328]
  Inlicit Graph Neural Networks (GNN)は、グラフ学習問題に対処する上で大きな成功を収めた。 パラメータ化グラフラプラシアン演算子に基づく暗黙グラフ拡散層を設計するための幾何学的枠組みを提案する。 ディリクレエネルギー最小化問題の固定点方程式として, 暗黙のGNN層がどう見えるかを示す。
  論文  参考訳（メタデータ） (2023-08-07T05:22:33Z)
• DiP-GNN: Discriminative Pre-Training of Graph Neural Networks [49.19824331568713]
  GNNのパワーを高めるために,グラフニューラルネットワーク(GNN)事前学習法が提案されている。 一般的な事前トレーニング手法の1つは、エッジのパーセンテージをマスクアウトすることであり、GNNはそれらを回復するように訓練されている。 筆者らのフレームワークでは, 識別器が見るグラフは, マスキングエッジの比率を回復できるため, 元のグラフとよく一致している。
  論文  参考訳（メタデータ） (2022-09-15T17:41:50Z)
• Triple Sparsification of Graph Convolutional Networks without Sacrificing the Accuracy [4.023062108297454]
  我々は、GNNにおける全てのスペーサー化を研究するために、SparseGCNパイプラインを開発した。 一般的に使用されているベンチマークグラフデータセットの精度を犠牲にすることなく、埋め込み行列に最大11.6%の間隔を追加できることを実証的に示す。
  論文  参考訳（メタデータ） (2022-08-06T18:26:30Z)
• Training Robust Graph Neural Networks with Topology Adaptive Edge Dropping [116.26579152942162]
  グラフニューラルネットワーク(GNN)は、グラフ構造情報を利用してネットワークデータから表現をモデル化する処理アーキテクチャである。 彼らの成功にもかかわらず、GNNは限られた訓練データから得られる準最適一般化性能に悩まされている。 本稿では、一般化性能を改善し、堅牢なGNNモデルを学習するためのトポロジ適応エッジドロップ法を提案する。
  論文  参考訳（メタデータ） (2021-06-05T13:20:36Z)
• A Unified Lottery Ticket Hypothesis for Graph Neural Networks [82.31087406264437]
  本稿では,グラフ隣接行列とモデルの重み付けを同時に行う統一GNNスペーシフィケーション(UGS)フレームワークを提案する。 グラフ宝くじ(GLT)をコアサブデータセットとスパースサブネットワークのペアとして定義することにより、人気のある宝くじチケット仮説を初めてGNNsにさらに一般化します。
  論文  参考訳（メタデータ） (2021-02-12T21:52:43Z)
• Fast Graph Attention Networks Using Effective Resistance Based Graph Sparsification [70.50751397870972]
  FastGATは、スペクトルスペーシフィケーションを用いて、注目に基づくGNNを軽量にし、入力グラフの最適プルーニングを生成する手法である。 我々は,ノード分類タスクのための大規模実世界のグラフデータセット上でFastGATを実験的に評価した。
  論文  参考訳（メタデータ） (2020-06-15T22:07:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。