論文の概要: Mirage: Model-Agnostic Graph Distillation for Graph Classification
- arxiv url: http://arxiv.org/abs/2310.09486v3
- Date: Sun, 4 Feb 2024 05:08:00 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-07 04:44:01.851744
- Title: Mirage: Model-Agnostic Graph Distillation for Graph Classification
- Title（参考訳）: Mirage: グラフ分類のためのモデル非依存グラフ蒸留
- Authors: Mridul Gupta and Sahil Manchanda and Hariprasad Kodamana and Sayan
Ranu
- Abstract要約: グラフ蒸留は、元のトレーニングデータからより小さな合成トレーニングセットを構築するための試みである。
Mirageは、メッセージパスGNNが入力グラフを複数の計算ツリーに分解する、という洞察に基づいて構築されている。
- 参考スコア（独自算出の注目度）: 17.98614941641321
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: GNNs, like other deep learning models, are data and computation hungry. There
is a pressing need to scale training of GNNs on large datasets to enable their
usage on low-resource environments. Graph distillation is an effort in that
direction with the aim to construct a smaller synthetic training set from the
original training data without significantly compromising model performance.
While initial efforts are promising, this work is motivated by two key
observations: (1) Existing graph distillation algorithms themselves rely on
training with the full dataset, which undermines the very premise of graph
distillation. (2) The distillation process is specific to the target GNN
architecture and hyper-parameters and thus not robust to changes in the
modeling pipeline. We circumvent these limitations by designing a distillation
algorithm called Mirage for graph classification. Mirage is built on the
insight that a message-passing GNN decomposes the input graph into a multiset
of computation trees. Furthermore, the frequency distribution of computation
trees is often skewed in nature, enabling us to condense this data into a
concise distilled summary. By compressing the computation data itself, as
opposed to emulating gradient flows on the original training set-a prevalent
approach to date-Mirage transforms into an unsupervised and
architecture-agnostic distillation algorithm. Extensive benchmarking on
real-world datasets underscores Mirage's superiority, showcasing enhanced
generalization accuracy, data compression, and distillation efficiency when
compared to state-of-the-art baselines.
- Abstract（参考訳）: 他のディープラーニングモデルと同様、GNNもデータと計算に飢えている。
低リソース環境での使用を可能にするため、大規模なデータセット上でGNNのトレーニングをスケールする必要がある。
グラフ蒸留は、モデル性能を著しく損なうことなく、元のトレーニングデータからより小さな合成訓練セットを構築することを目的としている。
1)既存のグラフ蒸留アルゴリズム自体が、グラフ蒸留の前提を損なう完全なデータセットによるトレーニングに依存している。
2) 蒸留プロセスは, ターゲットのGNNアーキテクチャやハイパーパラメータに特有であり, モデリングパイプラインの変化に対して堅牢ではない。
グラフ分類のためのMirageと呼ばれる蒸留アルゴリズムを設計することで,これらの制限を回避する。
MirageはメッセージパスGNNが入力グラフを複数の計算ツリーに分解するという知見に基づいて構築されている。
さらに, 計算木の周波数分布は自然に歪んでいて, このデータを簡潔な蒸留要約にまとめることができる。
計算データ自体を圧縮することにより、元のトレーニングセット上の勾配流をエミュレートする代わりに、日付ミレージ変換を教師なしかつアーキテクチャに依存しない蒸留アルゴリズムに変換する。
実世界のデータセットに対する広範囲なベンチマークは、Mirageの優位性を強調し、最先端のベースラインと比較して、一般化の正確さ、データ圧縮、蒸留効率の向上を示している。
関連論文リスト
- Bonsai: Gradient-free Graph Distillation for Node Classification [16.96628744692792]
グラフ蒸留は、GNNのスケーラブルなトレーニングを可能にするための有望な道として登場した。
本研究は, 現行のグラフ蒸留技術において, 重大な欠点を明らかにするものである。
本稿では,テキスト計算木がメッセージパッシングGNNの基本処理単位を形成するという観察により,新しいグラフ蒸留法であるボンサイについて述べる。
論文 参考訳（メタデータ） (2024-10-23T06:08:45Z) - GSTAM: Efficient Graph Distillation with Structural Attention-Matching [13.673737442696154]
本稿では,グラフ分類データセットを凝縮する新しい手法であるGSTAM(Graph Distillation with Structure Attention Matching)を紹介する。
GSTAMは、GNNの注意マップを利用して、元のデータセットから合成グラフに構造情報を抽出する。
総合的な実験では、GSTAMは既存の方法よりも優れており、極端な凝縮比では0.45%から6.5%の性能が向上している。
論文 参考訳（メタデータ） (2024-08-29T19:40:04Z) - Sparsity exploitation via discovering graphical models in multi-variate
time-series forecasting [1.2762298148425795]
本稿では,グラフ生成モジュールとGNN予測モジュールを含む分離学習手法を提案する。
まず、Graphical Lasso(またはGraphLASSO)を使用して、データから空間パターンを直接利用してグラフ構造を構築します。
次に、これらのグラフ構造と入力データをGCRN(Graph Convolutional Recurrent Network)に適合させて予測モデルをトレーニングする。
論文 参考訳（メタデータ） (2023-06-29T16:48:00Z) - Generalizing Dataset Distillation via Deep Generative Prior [75.9031209877651]
本稿では,データセット全体の知識をいくつかの合成画像に抽出することを提案する。
このアイデアは、学習アルゴリズムにトレーニングデータとして与えられる少数の合成データポイントを合成し、結果として元のデータに基づいてトレーニングされたデータを近似するモデルを構築する。
生成モデルの潜在空間における複数の中間特徴ベクトルに多数の画像を蒸留する新しい最適化アルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-05-02T17:59:31Z) - Diving into Unified Data-Model Sparsity for Class-Imbalanced Graph
Representation Learning [30.23894624193583]
非ユークリッドグラフデータに基づくグラフニューラルネットワーク(GNN)トレーニングは、しばしば比較的高い時間コストに直面する。
グラフ決定(Graph Decantation, GraphDec)と呼ばれる統一されたデータモデル動的疎結合フレームワークを開発し, 大規模なクラス不均衡グラフデータのトレーニングによる課題に対処する。
論文 参考訳（メタデータ） (2022-10-01T01:47:00Z) - Towards Sparsification of Graph Neural Networks [9.568566305616656]
我々は2つの最先端モデル圧縮手法を用いて、GNNにおける重み付け層の分散化を訓練・訓練し、スパーストレーニングを行う。
実世界のグラフ上で,両手法の精度,訓練空間性,および FLOP の学習効率を評価し,比較する。
論文 参考訳（メタデータ） (2022-09-11T01:39:29Z) - Condensing Graphs via One-Step Gradient Matching [50.07587238142548]
ネットワーク重みを訓練せずに1ステップのみの勾配マッチングを行う1ステップ勾配マッチング方式を提案する。
我々の理論的分析は、この戦略が実際のグラフの分類損失を減少させる合成グラフを生成することができることを示している。
特に、元のパフォーマンスの最大98%を近似しながら、データセットサイズを90%削減することが可能です。
論文 参考訳（メタデータ） (2022-06-15T18:20:01Z) - Optimal Propagation for Graph Neural Networks [51.08426265813481]
最適グラフ構造を学習するための二段階最適化手法を提案する。
また、時間的複雑さをさらに軽減するために、低ランク近似モデルについても検討する。
論文 参考訳（メタデータ） (2022-05-06T03:37:00Z) - Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。
GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。
提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
論文 参考訳（メタデータ） (2022-03-03T09:53:53Z) - Training Robust Graph Neural Networks with Topology Adaptive Edge
Dropping [116.26579152942162]
グラフニューラルネットワーク(GNN)は、グラフ構造情報を利用してネットワークデータから表現をモデル化する処理アーキテクチャである。
彼らの成功にもかかわらず、GNNは限られた訓練データから得られる準最適一般化性能に悩まされている。
本稿では、一般化性能を改善し、堅牢なGNNモデルを学習するためのトポロジ適応エッジドロップ法を提案する。
論文 参考訳（メタデータ） (2021-06-05T13:20:36Z) - Heuristic Semi-Supervised Learning for Graph Generation Inspired by
Electoral College [80.67842220664231]
本稿では,新たなノードやエッジを自動的に拡張して,高密度サブグラフ内のラベル類似性を向上する,新しい前処理手法であるElectoral College(ELCO)を提案する。
テストされたすべての設定において、我々の手法はベースモデルの平均スコアを4.7ポイントの広いマージンで引き上げるとともに、常に最先端のモデルよりも優れています。
論文 参考訳（メタデータ） (2020-06-10T14:48:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。