論文の概要: Adversarial Erasing with Pruned Elements: Towards Better Graph Lottery Ticket

• arxiv url: http://arxiv.org/abs/2308.02916v2
• Date: Thu, 10 Aug 2023 18:10:13 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-14 16:13:47.895041
• Title: Adversarial Erasing with Pruned Elements: Towards Better Graph Lottery Ticket
• Title（参考訳）: Pruned Elementsによる逆消去 - グラフロテリチケットの改善に向けて
• Authors: Yuwen Wang, Shunyu Liu, Kaixuan Chen, Tongtian Zhu, Ji Qiao, Mengjie Shi, Yuanyu Wan, Mingli Song
• Abstract要約: Graph Lottery Ticket (GLT) は、大きな入力グラフ上のディープグラフニューラルネットワーク(GNN)の計算コストを軽減するために提案されている。 刈り取られた情報を再評価・再考することなく、反復等級ベースプルーニング(IMP)を適用して、解答研究におけるGLTの勝利を得る。 我々は、GLTに再グループ化して最終的な性能を高めることができる予測、すなわち、刈り取られたグラフ接続とモデルパラメータに見落とされた価値情報を定式化する。
• 参考スコア（独自算出の注目度）: 29.566550489366875
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph Lottery Ticket (GLT), a combination of core subgraph and sparse subnetwork, has been proposed to mitigate the computational cost of deep Graph Neural Networks (GNNs) on large input graphs while preserving original performance. However, the winning GLTs in exisiting studies are obtained by applying iterative magnitude-based pruning (IMP) without re-evaluating and re-considering the pruned information, which disregards the dynamic changes in the significance of edges/weights during graph/model structure pruning, and thus limits the appeal of the winning tickets. In this paper, we formulate a conjecture, i.e., existing overlooked valuable information in the pruned graph connections and model parameters which can be re-grouped into GLT to enhance the final performance. Specifically, we propose an adversarial complementary erasing (ACE) framework to explore the valuable information from the pruned components, thereby developing a more powerful GLT, referred to as the ACE-GLT. The main idea is to mine valuable information from pruned edges/weights after each round of IMP, and employ the ACE technique to refine the GLT processing. Finally, experimental results demonstrate that our ACE-GLT outperforms existing methods for searching GLT in diverse tasks. Our code will be made publicly available.
• Abstract（参考訳）: Graph Lottery Ticket (GLT) はコアサブグラフとスパースサブネットワークを組み合わせることで,大規模入力グラフ上での深部グラフニューラルネットワーク(GNN)の計算コストを低減し,元の性能を維持している。 しかし、入賞研究における当選GLTは、グラフ/モデル解析におけるエッジ/ウェイトの重要性の動的変化を無視し、入賞券の魅力を損なうことなく、再評価・再考することなく反復等級ベースプルーニング(IMP)を適用して得られる。 本稿では,pruned graph 接続とモデルパラメータにおける既存の見落としの貴重な情報を glt に再グループ化し,最終的な性能を向上させる予想を定式化する。 具体的には, 逆相補的消去(ACE)フレームワークを提案し, 刈り取られた部品から貴重な情報を探索し, ACE-GLTと呼ばれるより強力なGLTを開発する。 主なアイデアは、IMPの各ラウンドの後に刈り取られたエッジ/ウェイトから貴重な情報をマイニングし、ACE技術を用いてGLT処理を洗練させることである。 最後に, ACE-GLT は GLT を探索する既存手法よりも優れていることを示す。 私たちのコードは公開されます。

関連論文リスト

• Two Heads Are Better Than One: Boosting Graph Sparse Training via Semantic and Topological Awareness [80.87683145376305]
  グラフニューラルネットワーク(GNN)は、様々なグラフ学習タスクに優れるが、大規模グラフに適用した場合、計算上の課題に直面している。 データレベルで空間を動的に操作するグラフスパーストレーニング(GST)を提案する。 GSTは、最大位相整合性と性能劣化のないスパースグラフを生成する。
  論文  参考訳（メタデータ） (2024-02-02T09:10:35Z)
• Rethinking Graph Lottery Tickets: Graph Sparsity Matters [22.494153884469288]
  Lottery Ticket hypothesis (LTH) は、オリジナルの高密度ネットワークに対する競争性能を達成できる勝利チケットの存在を主張している。 本稿では,グラフ間隔が高い場合のGNN性能を改善するための2つの手法を提案する。
  論文  参考訳（メタデータ） (2023-05-03T15:35:15Z)
• Comprehensive Graph Gradual Pruning for Sparse Training in Graph Neural Networks [52.566735716983956]
  本稿では,CGPと呼ばれるグラフの段階的プルーニングフレームワークを動的にGNNに提案する。 LTHに基づく手法とは異なり、提案手法では再学習を必要とせず、計算コストを大幅に削減する。 提案手法は,既存の手法の精度を一致させたり,あるいは超えたりしながら,トレーニングと推論の効率を大幅に向上させる。
  論文  参考訳（メタデータ） (2022-07-18T14:23:31Z)
• Explainable Sparse Knowledge Graph Completion via High-order Graph Reasoning Network [111.67744771462873]
  本稿では,スパース知識グラフ(KG)のための新しい説明可能なモデルを提案する。 高次推論をグラフ畳み込みネットワーク、すなわちHoGRNに結合する。 情報不足を緩和する一般化能力を向上させるだけでなく、解釈可能性も向上する。
  論文  参考訳（メタデータ） (2022-07-14T10:16:56Z)
• GNNAutoScale: Scalable and Expressive Graph Neural Networks via Historical Embeddings [51.82434518719011]
  GNNAutoScale(GAS)は、任意のメッセージパスGNNを大規模グラフにスケールするためのフレームワークである。 ガスは、前回のトレーニングの繰り返しから過去の埋め込みを利用して計算グラフのサブツリー全体を掘り起こします。 ガスは大規模グラフ上で最先端のパフォーマンスに達する。
  論文  参考訳（メタデータ） (2021-06-10T09:26:56Z)
• A Unified Lottery Ticket Hypothesis for Graph Neural Networks [82.31087406264437]
  本稿では,グラフ隣接行列とモデルの重み付けを同時に行う統一GNNスペーシフィケーション(UGS)フレームワークを提案する。 グラフ宝くじ(GLT)をコアサブデータセットとスパースサブネットワークのペアとして定義することにより、人気のある宝くじチケット仮説を初めてGNNsにさらに一般化します。
  論文  参考訳（メタデータ） (2021-02-12T21:52:43Z)
• Learning to Drop: Robust Graph Neural Network via Topological Denoising [50.81722989898142]
  グラフニューラルネットワーク(GNN)のロバスト性および一般化性能を向上させるために,パラメータ化トポロジカルデノイングネットワークであるPTDNetを提案する。 PTDNetは、パラメータ化されたネットワークでスパーシファイドグラフ内のエッジ数をペナル化することで、タスク非関連エッジを創出する。 PTDNetはGNNの性能を著しく向上させ,さらにノイズの多いデータセットでは性能が向上することを示す。
  論文  参考訳（メタデータ） (2020-11-13T18:53:21Z)
• LFGCN: Levitating over Graphs with Levy Flights [20.98197935128397]
  半教師付き学習のための新しいL'evy Flights Graph Convolutional Networks (LFGCN) 手法を提案する。 また、Girvan-Newman引数に基づくP-DropEdge法を提案する。 このケーススタディでは、LFGCNなどのディープネットワークツールの機械を電力網網の解析に利用しています。
  論文  参考訳（メタデータ） (2020-09-04T19:13:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。