論文の概要: Bonsai: Gradient-free Graph Distillation for Node Classification

• arxiv url: http://arxiv.org/abs/2410.17579v2
• Date: Thu, 24 Oct 2024 05:24:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-25 12:52:29.025645
• Title: Bonsai: Gradient-free Graph Distillation for Node Classification
• Title（参考訳）: Bonsai: ノード分類のためのグラディエントフリーグラフ蒸留
• Authors: Mridul Gupta, Samyak Jain, Vansh Ramani, Hariprasad Kodamana, Sayan Ranu,
• Abstract要約: グラフ蒸留は、GNNのスケーラブルなトレーニングを可能にするための有望な道として登場した。 本研究は, 現行のグラフ蒸留技術において, 重大な欠点を明らかにするものである。 本稿では,テキスト計算木がメッセージパッシングGNNの基本処理単位を形成するという観察により,新しいグラフ蒸留法であるボンサイについて述べる。
• 参考スコア（独自算出の注目度）: 16.96628744692792
• License:
• Abstract: Graph distillation has emerged as a promising avenue to enable scalable training of GNNs by compressing the training dataset while preserving essential graph characteristics. Our study uncovers significant shortcomings in current graph distillation techniques. First, the majority of the algorithms paradoxically require training on the full dataset to perform distillation. Second, due to their gradient-emulating approach, these methods require fresh distillation for any change in hyperparameters or GNN architecture, limiting their flexibility and reusability. Finally, they fail to achieve substantial size reduction due to synthesizing fully-connected, edge-weighted graphs. To address these challenges, we present Bonsai, a novel graph distillation method empowered by the observation that \textit{computation trees} form the fundamental processing units of message-passing GNNs. Bonsai distills datasets by encoding a careful selection of \textit{exemplar} trees that maximize the representation of all computation trees in the training set. This unique approach imparts Bonsai as the first linear-time, model-agnostic graph distillation algorithm for node classification that outperforms existing baselines across $6$ real-world datasets on accuracy, while being $22$ times faster on average. Bonsai is grounded in rigorous mathematical guarantees on the adopted approximation strategies making it robust to GNN architectures, datasets, and parameters.
• Abstract（参考訳）: グラフ蒸留は、トレーニングデータセットを圧縮し、重要なグラフ特性を保持しながら、GNNのスケーラブルなトレーニングを可能にするための、有望な道として登場した。 本研究は, 現行のグラフ蒸留技術において, 重大な欠点を明らかにするものである。 第一に、アルゴリズムの大半はパラドックス的に全データセットのトレーニングを必要として蒸留を行う。 第二に、勾配エミュレーションのアプローチのため、これらの手法はハイパーパラメータやGNNアーキテクチャの変更に対して新鮮な蒸留を必要とし、柔軟性と再利用性を制限する。 最後に、完全に連結されたエッジ重み付きグラフを合成するため、相当なサイズの縮小を達成できない。 これらの課題に対処するため,<textit{computation tree} がメッセージパッシングGNNの基本処理単位を形成するという観測により,新しいグラフ蒸留法であるボンサイを提案する。 Bonsaiは、トレーニングセット内のすべての計算ツリーの表現を最大化する‘textit{exemplar}木’を慎重に選択することで、データセットを蒸留する。 このユニークなアプローチは、Bonsaiを、ノード分類のための最初の線形時間モデルに依存しないグラフ蒸留アルゴリズムとして生み出す。 Bonsaiは、GNNアーキテクチャやデータセット、パラメータに対して堅牢な近似戦略を採用した厳密な数学的保証を基礎としている。

関連論文リスト

• Virtual Node Generation for Node Classification in Sparsely-Labeled Graphs [2.0060301665996016]
  本稿では,グラフに付加されたラベル付きノードとして,少数の高品質な合成ノードを注入する新しいノード生成手法を提案する。 一般的なグラフ事前学習(自己教師付き学習)、半教師付き学習、メタ学習法と互換性がある。 実験では、公開されている10のデータセットに対して、14のベースラインに対して統計的に有意なパフォーマンス改善を実証した。
  論文  参考訳（メタデータ） (2024-09-12T02:36:44Z)
• GSTAM: Efficient Graph Distillation with Structural Attention-Matching [13.673737442696154]
  本稿では,グラフ分類データセットを凝縮する新しい手法であるGSTAM(Graph Distillation with Structure Attention Matching)を紹介する。 GSTAMは、GNNの注意マップを利用して、元のデータセットから合成グラフに構造情報を抽出する。 総合的な実験では、GSTAMは既存の方法よりも優れており、極端な凝縮比では0.45%から6.5%の性能が向上している。
  論文  参考訳（メタデータ） (2024-08-29T19:40:04Z)
• Deep Manifold Graph Auto-Encoder for Attributed Graph Embedding [51.75091298017941]
  本稿では,属性付きグラフデータに対する新しいDeep Manifold (Variational) Graph Auto-Encoder (DMVGAE/DMGAE)を提案する。 提案手法は,最先端のベースラインアルゴリズムを,一般的なデータセット間でのダウンストリームタスクの差を大きく越える。
  論文  参考訳（メタデータ） (2024-01-12T17:57:07Z)
• Efficient Heterogeneous Graph Learning via Random Projection [58.4138636866903]
  不均一グラフニューラルネットワーク(HGNN)は、異種グラフを深層学習するための強力なツールである。 最近のプリ計算ベースのHGNNは、一時間メッセージパッシングを使用して不均一グラフを正規形テンソルに変換する。 我々はRandom Projection Heterogeneous Graph Neural Network (RpHGNN) というハイブリッド計算前HGNNを提案する。
  論文  参考訳（メタデータ） (2023-10-23T01:25:44Z)
• Mirage: Model-Agnostic Graph Distillation for Graph Classification [16.764894668661952]
  グラフ蒸留は、元のトレーニングデータからより小さな合成トレーニングセットを構築するための試みである。 Mirageは、メッセージパスGNNが入力グラフを複数の計算ツリーに分解する、という洞察に基づいて構築されている。
  論文  参考訳（メタデータ） (2023-10-14T04:21:52Z)
• Comprehensive Graph Gradual Pruning for Sparse Training in Graph Neural Networks [52.566735716983956]
  本稿では,CGPと呼ばれるグラフの段階的プルーニングフレームワークを動的にGNNに提案する。 LTHに基づく手法とは異なり、提案手法では再学習を必要とせず、計算コストを大幅に削減する。 提案手法は,既存の手法の精度を一致させたり,あるいは超えたりしながら,トレーニングと推論の効率を大幅に向上させる。
  論文  参考訳（メタデータ） (2022-07-18T14:23:31Z)
• Condensing Graphs via One-Step Gradient Matching [50.07587238142548]
  ネットワーク重みを訓練せずに1ステップのみの勾配マッチングを行う1ステップ勾配マッチング方式を提案する。 我々の理論的分析は、この戦略が実際のグラフの分類損失を減少させる合成グラフを生成することができることを示している。 特に、元のパフォーマンスの最大98%を近似しながら、データセットサイズを90%削減することが可能です。
  論文  参考訳（メタデータ） (2022-06-15T18:20:01Z)
• Training Robust Graph Neural Networks with Topology Adaptive Edge Dropping [116.26579152942162]
  グラフニューラルネットワーク(GNN)は、グラフ構造情報を利用してネットワークデータから表現をモデル化する処理アーキテクチャである。 彼らの成功にもかかわらず、GNNは限られた訓練データから得られる準最適一般化性能に悩まされている。 本稿では、一般化性能を改善し、堅牢なGNNモデルを学習するためのトポロジ適応エッジドロップ法を提案する。
  論文  参考訳（メタデータ） (2021-06-05T13:20:36Z)
• Heuristic Semi-Supervised Learning for Graph Generation Inspired by Electoral College [80.67842220664231]
  本稿では,新たなノードやエッジを自動的に拡張して,高密度サブグラフ内のラベル類似性を向上する,新しい前処理手法であるElectoral College(ELCO)を提案する。 テストされたすべての設定において、我々の手法はベースモデルの平均スコアを4.7ポイントの広いマージンで引き上げるとともに、常に最先端のモデルよりも優れています。
  論文  参考訳（メタデータ） (2020-06-10T14:48:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。