論文の概要: Diving into Unified Data-Model Sparsity for Class-Imbalanced Graph Representation Learning

• arxiv url: http://arxiv.org/abs/2210.00162v1
• Date: Sat, 1 Oct 2022 01:47:00 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-04 16:09:00.361733
• Title: Diving into Unified Data-Model Sparsity for Class-Imbalanced Graph Representation Learning
• Title（参考訳）: クラス不均衡グラフ表現学習のための統一データモデル空間分割
• Authors: Chunhui Zhang, Chao Huang, Yijun Tian, Qianlong Wen, Zhongyu Ouyang, Youhuan Li, Yanfang Ye, Chuxu Zhang
• Abstract要約: 非ユークリッドグラフデータに基づくグラフニューラルネットワーク(GNN)トレーニングは、しばしば比較的高い時間コストに直面する。 グラフ決定(Graph Decantation, GraphDec)と呼ばれる統一されたデータモデル動的疎結合フレームワークを開発し, 大規模なクラス不均衡グラフデータのトレーニングによる課題に対処する。
• 参考スコア（独自算出の注目度）: 30.23894624193583
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Even pruned by the state-of-the-art network compression methods, Graph Neural Networks (GNNs) training upon non-Euclidean graph data often encounters relatively higher time costs, due to its irregular and nasty density properties, compared with data in the regular Euclidean space. Another natural property concomitantly with graph is class-imbalance which cannot be alleviated by the massive graph data while hindering GNNs' generalization. To fully tackle these unpleasant properties, (i) theoretically, we introduce a hypothesis about what extent a subset of the training data can approximate the full dataset's learning effectiveness. The effectiveness is further guaranteed and proved by the gradients' distance between the subset and the full set; (ii) empirically, we discover that during the learning process of a GNN, some samples in the training dataset are informative for providing gradients to update model parameters. Moreover, the informative subset is not fixed during training process. Samples that are informative in the current training epoch may not be so in the next one. We also notice that sparse subnets pruned from a well-trained GNN sometimes forget the information provided by the informative subset, reflected in their poor performances upon the subset. Based on these findings, we develop a unified data-model dynamic sparsity framework named Graph Decantation (GraphDec) to address challenges brought by training upon a massive class-imbalanced graph data. The key idea of GraphDec is to identify the informative subset dynamically during the training process by adopting sparse graph contrastive learning. Extensive experiments on benchmark datasets demonstrate that GraphDec outperforms baselines for graph and node tasks, with respect to classification accuracy and data usage efficiency.
• Abstract（参考訳）: 最先端のネットワーク圧縮手法に圧倒されてさえも、非ユークリッドグラフデータに対するグラフニューラルネットワーク(GNN)トレーニングは、通常のユークリッド空間のデータと比較して不規則で汚い密度特性のため、比較的高い時間コストに直面することが多い。 グラフと共通する別の自然な性質は、gnnの一般化を妨げる一方で、巨大なグラフデータでは緩和できないクラス不均衡である。 これらの不快な性質に 完全に取り組むためです i) 理論的には,トレーニングデータのサブセットが,データセットの学習効率をどの程度近似できるかという仮説を導入する。 有効性はさらに保証され、部分集合と完全集合の間の勾配距離によって証明される。 実験により,GNNの学習過程において,モデルのパラメータを更新するための勾配を与えるために,トレーニングデータセットのサンプルが有用であることが判明した。 さらに、情報サブセットはトレーニングプロセス中に固定されない。 現在のトレーニングエポックで有益なサンプルは、次の例ではそうではないかもしれません。 また、十分に訓練されたGNNから切り出されたスパースサブネットは、情報的サブセットが提供する情報を忘れてしまうことがある。 これらの結果に基づき,グラフデファイナンス(Graph Decantation, GraphDec)と呼ばれる統一されたデータモデル動的疎結合フレームワークを開発し,大規模なクラス不均衡グラフデータに基づくトレーニングによる課題に対処する。 GraphDecのキーとなるアイデアは、スパースグラフコントラスト学習を採用することで、トレーニングプロセス中に情報サブセットを動的に識別することである。 ベンチマークデータセットに関する広範な実験は、graphdecが分類精度とデータ利用効率に関して、グラフおよびノードタスクのベースラインよりも優れていることを示している。

関連論文リスト

• Loss-aware Curriculum Learning for Heterogeneous Graph Neural Networks [30.333265803394998]
  異種グラフニューラルネットワーク(GNN)の性能向上のためのカリキュラム学習手法の適用について検討する。 データの品質をよりよく分類するために、データの全ノードの品質を測定するLTSと呼ばれる損失認識トレーニングスケジュールを設計する。 本研究は,複雑なグラフ構造データ解析のためのHGNNの能力向上のためのカリキュラム学習の有効性を示すものである。
  論文  参考訳（メタデータ） (2024-02-29T05:44:41Z)
• GraphGuard: Detecting and Counteracting Training Data Misuse in Graph Neural Networks [69.97213941893351]
  グラフデータ分析におけるグラフニューラルネットワーク(GNN)の出現は、モデルトレーニング中のデータ誤用に関する重要な懸念を引き起こしている。 既存の手法は、データ誤用検出または緩和のいずれかに対応しており、主にローカルGNNモデル用に設計されている。 本稿では,これらの課題に対処するため,GraphGuardという先駆的なアプローチを導入する。
  論文  参考訳（メタデータ） (2023-12-13T02:59:37Z)
• Graph Out-of-Distribution Generalization with Controllable Data Augmentation [51.17476258673232]
  グラフニューラルネットワーク(GNN)は,グラフ特性の分類において異常な性能を示した。 トレーニングとテストデータの選択バイアスが原因で、分散偏差が広まっています。 仮想サンプルの分布偏差を測定するためのOODキャリブレーションを提案する。
  論文  参考訳（メタデータ） (2023-08-16T13:10:27Z)
• Addressing the Impact of Localized Training Data in Graph Neural Networks [0.0]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データから学習において顕著な成功を収めた。 本稿では,グラフの局所化部分集合に対するGNNのトレーニングの影響を評価することを目的とする。 本稿では,局所化学習データとグラフ推論との分散不一致を最小化する正規化手法を提案する。
  論文  参考訳（メタデータ） (2023-07-24T11:04:22Z)
• Certified Graph Unlearning [39.29148804411811]
  グラフ構造化データは実際にユビキタスであり、しばしばグラフニューラルネットワーク(GNN)を使用して処理される 我々は,GNNのemph認定グラフアンラーニングのための最初のフレームワークを紹介する。 ノード機能、エッジ、ノードアンラーニングの3つの異なるタイプのアンラーニング要求を検討する必要がある。
  論文  参考訳（メタデータ） (2022-06-18T07:41:10Z)
• Optimal Propagation for Graph Neural Networks [51.08426265813481]
  最適グラフ構造を学習するための二段階最適化手法を提案する。 また、時間的複雑さをさらに軽減するために、低ランク近似モデルについても検討する。
  論文  参考訳（メタデータ） (2022-05-06T03:37:00Z)
• Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
  グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。 GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。 提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
  論文  参考訳（メタデータ） (2022-03-03T09:53:53Z)
• OOD-GNN: Out-of-Distribution Generalized Graph Neural Network [73.67049248445277]
  グラフニューラルネットワーク(GNN)は、グラフデータのテストとトレーニングを同一の分布から行うことで、優れたパフォーマンスを実現している。 既存のGNNでは、テストとグラフデータのトレーニングの間に分散シフトが存在する場合、その性能が著しく低下する。 本稿では,学習グラフと異なる分布を持つ未確認試験グラフに対して,満足な性能を実現するために,アウト・オブ・ディストリビューション一般化グラフニューラルネットワーク(OOD-GNN)を提案する。
  論文  参考訳（メタデータ） (2021-12-07T16:29:10Z)
• Distributionally Robust Semi-Supervised Learning Over Graphs [68.29280230284712]
  グラフ構造化データに対する半教師付き学習(SSL)は、多くのネットワークサイエンスアプリケーションに現れる。 グラフ上の学習を効率的に管理するために,近年,グラフニューラルネットワーク(GNN)の変種が開発されている。 実際に成功したにも拘わらず、既存の手法のほとんどは、不確実な結節属性を持つグラフを扱うことができない。 ノイズ測定によって得られたデータに関連する分布の不確実性によっても問題が発生する。 分散ロバストな学習フレームワークを開発し,摂動に対する定量的ロバスト性を示すモデルを訓練する。
  論文  参考訳（メタデータ） (2021-10-20T14:23:54Z)
• Sub-graph Contrast for Scalable Self-Supervised Graph Representation Learning [21.0019144298605]
  既存のグラフニューラルネットワークは、計算量やメモリコストが限られているため、完全なグラフデータで供給される。 textscSubg-Conは、中央ノードとそのサンプルサブグラフ間の強い相関を利用して、地域構造情報をキャプチャすることで提案される。 既存のグラフ表現学習アプローチと比較して、textscSubg-Conは、より弱い監視要件、モデル学習のスケーラビリティ、並列化において、顕著なパフォーマンス上のアドバンテージを持っています。
  論文  参考訳（メタデータ） (2020-09-22T01:58:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。