論文の概要: Graph Condensation for Inductive Node Representation Learning

• arxiv url: http://arxiv.org/abs/2307.15967v2
• Date: Sat, 9 Dec 2023 05:46:16 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-12 22:31:09.012003
• Title: Graph Condensation for Inductive Node Representation Learning
• Title（参考訳）: 帰納的ノード表現学習のためのグラフ凝縮
• Authors: Xinyi Gao, Tong Chen, Yilong Zang, Wentao Zhang, Quoc Viet Hung Nguyen, Kai Zheng, Hongzhi Yin
• Abstract要約: マッピング対応グラフ凝縮法(MCond)を提案する。 MCondは、帰納的表現学習のための合成グラフに新しいノードを統合する。 Redditデータセットでは、最大121.5倍の推論スピードアップと55.9倍のストレージ要求の削減を実現している。
• 参考スコア（独自算出の注目度）: 59.76374128436873
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph neural networks (GNNs) encounter significant computational challenges when handling large-scale graphs, which severely restricts their efficacy across diverse applications. To address this limitation, graph condensation has emerged as a promising technique, which constructs a small synthetic graph for efficiently training GNNs while retaining performance. However, due to the topology structure among nodes, graph condensation is limited to condensing only the observed training nodes and their corresponding structure, thus lacking the ability to effectively handle the unseen data. Consequently, the original large graph is still required in the inference stage to perform message passing to inductive nodes, resulting in substantial computational demands. To overcome this issue, we propose mapping-aware graph condensation (MCond), explicitly learning the one-to-many node mapping from original nodes to synthetic nodes to seamlessly integrate new nodes into the synthetic graph for inductive representation learning. This enables direct information propagation on the synthetic graph, which is much more efficient than on the original large graph. Specifically, MCond employs an alternating optimization scheme with innovative loss terms from transductive and inductive perspectives, facilitating the mutual promotion between graph condensation and node mapping learning. Extensive experiments demonstrate the efficacy of our approach in inductive inference. On the Reddit dataset, MCond achieves up to 121.5x inference speedup and 55.9x reduction in storage requirements compared with counterparts based on the original graph.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)は、大規模グラフを扱う際に重大な計算上の問題に直面する。 この制限に対処するために、グラフ凝縮は、性能を維持しながら効率よくGNNを訓練する小さな合成グラフを構築する、有望な手法として登場した。 しかし、ノード間のトポロジ構造のため、グラフの凝縮は観測されたトレーニングノードとその対応する構造のみを凝縮することに制限され、不明瞭なデータを効果的に処理する能力に欠ける。 したがって、元の大きなグラフは推論段階でも帰納的ノードへのメッセージ転送を実行するために必要であり、結果としてかなりの計算量が必要となる。 そこで本研究では,従来のノードから合成ノードへの一対多のノードマッピングを明示的に学習し,新しいノードを合成グラフにシームレスに統合して帰納的表現学習を行う。 これにより、元の大きなグラフよりもずっと効率的である合成グラフ上での直接情報伝達が可能になる。 具体的には、mcondはトランスダクティブとインダクティブの観点から革新的な損失項を持つ交互最適化スキームを採用し、グラフ凝縮とノードマッピング学習の相互促進を促進する。 インダクティブ推論におけるアプローチの有効性を実証した。 redditデータセットでは、mcondは最大121.5倍の推論スピードアップと55.9倍のストレージ要件の削減を実現している。

関連論文リスト

• Disentangled Condensation for Large-scale Graphs [31.781721873508978]
  グラフニューラルネットワーク(GNN)の高価なトレーニングコストを節約するための興味深いテクニックとして、グラフ凝縮が登場した。 本稿では, 凝縮過程を2段階のGNNフリーパラダイムに分解し, ノードを独立に凝縮し, エッジを生成することを提案する。 この単純で効果的なアプローチは、中規模グラフの精度に匹敵する精度で最先端の手法よりも少なくとも10倍早く達成できる。
  論文  参考訳（メタデータ） (2024-01-18T09:59:00Z)
• GraphRARE: Reinforcement Learning Enhanced Graph Neural Network with Relative Entropy [21.553180564868306]
  GraphRAREはノード相対エントロピーと深層強化学習に基づいて構築されたフレームワークである。 革新的なノード相対エントロピーは、ノードペア間の相互情報を測定するために使用される。 グラフトポロジを最適化するために,深層強化学習に基づくアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2023-12-15T11:30:18Z)
• NodeFormer: A Scalable Graph Structure Learning Transformer for Node Classification [70.51126383984555]
  本稿では,任意のノード間のノード信号を効率的に伝搬する全ペアメッセージパッシング方式を提案する。 効率的な計算は、カーナライズされたGumbel-Softmax演算子によって実現される。 グラフ上のノード分類を含む様々なタスクにおいて,本手法の有望な有効性を示す実験を行った。
  論文  参考訳（メタデータ） (2023-06-14T09:21:15Z)
• Structure-free Graph Condensation: From Large-scale Graphs to Condensed Graph-free Data [91.27527985415007]
  既存のグラフ凝縮法は、凝縮グラフ内のノードと構造の合同最適化に依存している。 我々は、大規模グラフを小さなグラフノード集合に蒸留する、SFGCと呼ばれる新しい構造自由グラフ凝縮パラダイムを提唱する。
  論文  参考訳（メタデータ） (2023-06-05T07:53:52Z)
• Localized Contrastive Learning on Graphs [110.54606263711385]
  局所グラフコントラスト学習(Local-GCL)という,シンプルだが効果的なコントラストモデルを導入する。 その単純さにもかかわらず、Local-GCLは、様々なスケールと特性を持つグラフ上の自己教師付きノード表現学習タスクにおいて、非常に競争力のある性能を達成する。
  論文  参考訳（メタデータ） (2022-12-08T23:36:00Z)
• Learning Graph Structure from Convolutional Mixtures [119.45320143101381]
  本稿では、観測されたグラフと潜伏グラフのグラフ畳み込み関係を提案し、グラフ学習タスクをネットワーク逆(デコンボリューション)問題として定式化する。 固有分解に基づくスペクトル法の代わりに、近似勾配反復をアンロール・トランケートして、グラフデコンボリューションネットワーク(GDN)と呼ばれるパラメータ化ニューラルネットワークアーキテクチャに到達させる。 GDNは、教師付き方式でグラフの分布を学習し、損失関数を適応させることでリンク予測やエッジウェイト回帰タスクを実行し、本質的に帰納的である。
  論文  参考訳（メタデータ） (2022-05-19T14:08:15Z)
• A Graph Data Augmentation Strategy with Entropy Preserving [11.886325179121226]
  本稿では,グラフ間の特徴情報を評価するための定量的指標として,新しいグラフエントロピー定義を提案する。 グラフエントロピーの保存を考慮し、摂動機構を用いてトレーニングデータを生成する効果的な方法を提案する。 提案手法はトレーニング過程におけるGCNの堅牢性と一般化能力を大幅に向上させる。
  論文  参考訳（メタデータ） (2021-07-13T12:58:32Z)
• Self-Supervised Graph Learning with Proximity-based Views and Channel Contrast [4.761137180081091]
  グラフニューラルネットワーク(GNN)は、近傍の集約をコアコンポーネントとして使用し、近接ノード間の機能を滑らかにする。 この問題に対処するため、我々は2つのグラフビューでグラフを強化し、ノードは最も類似した特徴や局所構造を持つものと直接リンクする。 生成したビューと元のグラフをまたいだ表現の一致を最大化する手法を提案する。
  論文  参考訳（メタデータ） (2021-06-07T15:38:36Z)
• Uniting Heterogeneity, Inductiveness, and Efficiency for Graph Representation Learning [68.97378785686723]
  グラフニューラルネットワーク(GNN)は,グラフ上のノード表現学習の性能を大幅に向上させた。 GNNの過半数クラスは均質グラフのためにのみ設計されており、より有益な異種グラフに劣る適応性をもたらす。 本稿では,低次ノードと高次ノードの両方のエッジに付随するヘテロジニアスなノード特徴をパッケージ化する,新しい帰納的メタパスフリーメッセージパッシング方式を提案する。
  論文  参考訳（メタデータ） (2021-04-04T23:31:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。