論文の概要: Towards Lightweight Graph Neural Network Search with Curriculum Graph Sparsification

• arxiv url: http://arxiv.org/abs/2406.16357v1
• Date: Mon, 24 Jun 2024 06:53:37 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-25 15:53:24.608357
• Title: Towards Lightweight Graph Neural Network Search with Curriculum Graph Sparsification
• Title（参考訳）: グラフスカラー化による軽量グラフニューラルネットワーク探索に向けて
• Authors: Beini Xie, Heng Chang, Ziwei Zhang, Zeyang Zhang, Simin Wu, Xin Wang, Yuan Meng, Wenwu Zhu,
• Abstract要約: 本稿では,有意義なグラフデータを通じて重要なサブアーキテクチャを識別する結合グラフデータとアーキテクチャ機構を設計することを提案する。 最適軽量グラフニューラルネット(GNN)を探索するために,グラフスペーシングとネットワーク・プルーニング(GASSIP)法を用いた軽量グラフニューラル・アーキテクチャ・サーチを提案する。 本手法は,探索したGNNとスペーサーグラフのモデルパラメータを半分以下にすることで,オンパーあるいはそれ以上高いノード分類性能を実現する。
• 参考スコア（独自算出の注目度）: 48.334100429553644
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Graph Neural Architecture Search (GNAS) has achieved superior performance on various graph-structured tasks. However, existing GNAS studies overlook the applications of GNAS in resource-constraint scenarios. This paper proposes to design a joint graph data and architecture mechanism, which identifies important sub-architectures via the valuable graph data. To search for optimal lightweight Graph Neural Networks (GNNs), we propose a Lightweight Graph Neural Architecture Search with Graph SparsIfication and Network Pruning (GASSIP) method. In particular, GASSIP comprises an operation-pruned architecture search module to enable efficient lightweight GNN search. Meanwhile, we design a novel curriculum graph data sparsification module with an architecture-aware edge-removing difficulty measurement to help select optimal sub-architectures. With the aid of two differentiable masks, we iteratively optimize these two modules to efficiently search for the optimal lightweight architecture. Extensive experiments on five benchmarks demonstrate the effectiveness of GASSIP. Particularly, our method achieves on-par or even higher node classification performance with half or fewer model parameters of searched GNNs and a sparser graph.
• Abstract（参考訳）: グラフニューラルアーキテクチャサーチ(GNAS)は、様々なグラフ構造化タスクにおいて優れたパフォーマンスを実現している。 しかし、既存のGNAS研究は資源制約シナリオにおけるGNASの応用を見落としている。 本稿では,有意義なグラフデータを通じて重要なサブアーキテクチャを識別する結合グラフデータとアーキテクチャ機構を設計することを提案する。 最適軽量グラフニューラルネット(GNN)を探索するために,グラフスペーシングとネットワーク・プルーニング(GASSIP)法を用いた軽量グラフニューラル・アーキテクチャ・サーチを提案する。 特に,GASSIPは,効率的な軽量GNN検索を実現するために,操作実行型アーキテクチャ検索モジュールを備える。 一方,アーキテクチャを意識したエッジ除去困難度測定機能を備えた新しいカリキュラムグラフデータスカラー化モジュールを設計し,最適サブアーキテクチャの選択を支援する。 2つの異なるマスクの助けを借りて、2つのモジュールを反復的に最適化し、最適な軽量アーキテクチャを効率的に探索する。 5つのベンチマークの大規模な実験は、GASSIPの有効性を示している。 特に,探索したGNNとスペーサーグラフのモデルパラメータを半分以下にすることで,オンパーあるいはそれ以上高いノード分類性能を実現する。

関連論文リスト

• Efficient and Explainable Graph Neural Architecture Search via Monte-Carlo Tree Search [5.076419064097733]
  グラフニューラルネットワーク(GNN)は、さまざまな領域でデータサイエンスタスクを実行する強力なツールである。 人的労力と計算コストを削減するため、グラフニューラルアーキテクチャ探索(Graph NAS)が準最適GNNアーキテクチャの探索に使用されている。 本稿では, (i) 様々なグラフに適応可能な単純な探索空間と, (ii) 決定プロセスを説明可能な検索アルゴリズムからなるExGNASを提案する。
  論文  参考訳（メタデータ） (2023-08-30T03:21:45Z)
• NAS-Bench-Graph: Benchmarking Graph Neural Architecture Search [55.75621026447599]
  NAS-Bench-Graphは、GraphNASの統一的、再現可能、効率的な評価をサポートする調整されたベンチマークである。 具体的には,26,206のユニークなグラフニューラルネットワーク(GNN)アーキテクチャを網羅した,統一的で表現力のあるコンパクトな検索空間を構築する。 提案したベンチマークに基づいて,GNNアーキテクチャの性能を検索テーブルから直接取得できるが,それ以上の計算は行わない。
  論文  参考訳（メタデータ） (2022-06-18T10:17:15Z)
• Automatic Relation-aware Graph Network Proliferation [182.30735195376792]
  GNNを効率的に検索するためのARGNP(Automatic Relation-Aware Graph Network Proliferation)を提案する。 これらの操作は階層的なノード/リレーショナル情報を抽出し、グラフ上のメッセージパッシングのための異方的ガイダンスを提供する。 4つのグラフ学習タスクのための6つのデータセットの実験により、我々の手法によって生成されたGNNは、現在最先端の手作りおよび検索に基づくGNNよりも優れていることが示された。
  論文  参考訳（メタデータ） (2022-05-31T10:38:04Z)
• GraphPAS: Parallel Architecture Search for Graph Neural Networks [12.860313120881996]
  グラフニューラルネットワークのための並列グラフアーキテクチャ探索(GraphPAS)フレームワークを提案する。 GraphPASでは、共有ベースの進化学習を設計することで、検索空間を並列に探索する。 実験結果から,GraphPASは最先端モデルの効率と精度を同時に向上することが示された。
  論文  参考訳（メタデータ） (2021-12-07T02:55:24Z)
• ACE-HGNN: Adaptive Curvature Exploration Hyperbolic Graph Neural Network [72.16255675586089]
  本稿では、入力グラフと下流タスクに基づいて最適な曲率を適応的に学習する適応曲率探索ハイパーボリックグラフニューラルネットワークACE-HGNNを提案する。 複数の実世界のグラフデータセットの実験は、競争性能と優れた一般化能力を備えたモデル品質において、顕著で一貫したパフォーマンス改善を示す。
  論文  参考訳（メタデータ） (2021-10-15T07:18:57Z)
• Edge-featured Graph Neural Architecture Search [131.4361207769865]
  最適GNNアーキテクチャを見つけるために,エッジ機能付きグラフニューラルアーキテクチャ探索を提案する。 具体的には、高次表現を学習するためにリッチなエンティティとエッジの更新操作を設計する。 EGNASは、現在最先端の人間設計および検索されたGNNよりも高い性能で、より優れたGNNを検索できることを示す。
  論文  参考訳（メタデータ） (2021-09-03T07:53:18Z)
• Pooling Architecture Search for Graph Classification [36.728077433219916]
  グラフニューラルネットワーク(GNN)は、近傍のアグリゲーションスキームに基づいてノードレベルの表現を学習するように設計されている。 集約操作後にポーリング法を適用し、粗い粒度のグラフを生成する。 ほとんどのケースでうまく機能するように、普遍的なプールアーキテクチャを設計することは難しい問題である。 グラフ分類のための適応型プールアーキテクチャを探索するために,ニューラルアーキテクチャサーチ(NAS)を提案する。
  論文  参考訳（メタデータ） (2021-08-24T09:03:03Z)
• Rethinking Graph Neural Network Search from Message-passing [120.62373472087651]
  本稿では,新しい検索空間を設計したグラフニューラルアーキテクチャサーチ(GNAS)を提案する。 グラフニューラルアーキテクチャパラダイム(GAP:Graph Neural Architecture Paradigm)をツリートポロジー計算手順と2種類の微粒原子操作で設計します。 実験では、GNASは複数のメッセージ通過機構と最適なメッセージ通過深さを持つより良いGNNを探索できることを示しています。
  論文  参考訳（メタデータ） (2021-03-26T06:10:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。