論文の概要: Scalable Graph Self-Supervised Learning

• arxiv url: http://arxiv.org/abs/2402.09603v1
• Date: Wed, 14 Feb 2024 22:23:35 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-16 17:41:52.816338
• Title: Scalable Graph Self-Supervised Learning
• Title（参考訳）: スケーラブルグラフ自己教師付き学習
• Authors: Ali Saheb Pasand, Reza Moravej, Mahdi Biparva, Raika Karimi, Ali Ghodsi
• Abstract要約: 正規化におけるグラフの自己監視学習(SSL)法では、グラフ内のノード数や埋め込み次元によって計算複雑性が増大する。 ボリューム最大化項を用いた事前学習損失関数の共分散行列計算のコスト削減のための新しい手法を提案する。
• 参考スコア（独自算出の注目度）: 5.111788854550303
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In regularization Self-Supervised Learning (SSL) methods for graphs, computational complexity increases with the number of nodes in graphs and embedding dimensions. To mitigate the scalability of non-contrastive graph SSL, we propose a novel approach to reduce the cost of computing the covariance matrix for the pre-training loss function with volume-maximization terms. Our work focuses on reducing the cost associated with the loss computation via graph node or dimension sampling. We provide theoretical insight into why dimension sampling would result in accurate loss computations and support it with mathematical derivation of the novel approach. We develop our experimental setup on the node-level graph prediction tasks, where SSL pre-training has shown to be difficult due to the large size of real world graphs. Our experiments demonstrate that the cost associated with the loss computation can be reduced via node or dimension sampling without lowering the downstream performance. Our results demonstrate that sampling mostly results in improved downstream performance. Ablation studies and experimental analysis are provided to untangle the role of the different factors in the experimental setup.
• Abstract（参考訳）: 正規化におけるグラフの自己監視学習(SSL)法では、グラフ内のノード数や埋め込み次元によって計算複雑性が増大する。 本研究では,非競合グラフSSLのスケーラビリティを緩和するため,最大化項付き学習前損失関数の共分散行列の計算コストを削減する手法を提案する。 本研究は,グラフノードや次元サンプリングによる損失計算に伴うコスト削減に重点を置いている。 次元サンプリングが正確な損失計算をもたらす理由を理論的に考察し,新しい手法を数学的に導出して支援する。 我々は,実世界グラフの大規模化によりssl事前学習が困難であることが判明した,ノードレベルのグラフ予測タスクにおける実験的なセットアップを開発した。 本実験は, ダウンストリーム性能を低下させることなく, ノード, 次元サンプリングにより損失計算に伴うコストを低減できることを実証した。 その結果,サンプリングによるダウンストリームパフォーマンスの向上が確認できた。 アブレーション研究と実験分析により,実験セットアップにおける異なる因子の役割が解明された。

関連論文リスト

• YOSO: You-Only-Sample-Once via Compressed Sensing for Graph Neural Network Training [9.02251811867533]
  YOSO(You-Only-Sample-Once)は、予測精度を維持しながら効率的なトレーニングを実現するアルゴリズムである。 YOSOは、正規直交基底計算のような従来の圧縮センシング(CS)法で高価な計算を避けるだけでなく、高い確率精度の保持も保証している。
  論文  参考訳（メタデータ） (2024-11-08T16:47:51Z)
• Navigating Complexity: Toward Lossless Graph Condensation via Expanding Window Matching [26.303436980548174]
  グラフ凝縮は、コンパクトなグラフデータセットを合成することで、大規模グラフデータセットのサイズを減らすことを目的としている。 既存の手法では、特定のデータセットの元のグラフを正確に複製することができないことが多い。 本稿では,これまで無視されていた監視信号をブリッジすることで,無テクトトロスグラフの凝縮化に向けた最初の試みを行う。
  論文  参考訳（メタデータ） (2024-02-07T16:32:02Z)
• Learning to Reweight for Graph Neural Network [63.978102332612906]
  グラフニューラルネットワーク(GNN)は、グラフタスクに対して有望な結果を示す。 既存のGNNの一般化能力は、テストとトレーニンググラフデータの間に分散シフトが存在する場合に低下する。 本稿では,分布外一般化能力を大幅に向上させる非線形グラフデコリレーション法を提案する。
  論文  参考訳（メタデータ） (2023-12-19T12:25:10Z)
• Graph Out-of-Distribution Generalization with Controllable Data Augmentation [51.17476258673232]
  グラフニューラルネットワーク(GNN)は,グラフ特性の分類において異常な性能を示した。 トレーニングとテストデータの選択バイアスが原因で、分散偏差が広まっています。 仮想サンプルの分布偏差を測定するためのOODキャリブレーションを提案する。
  論文  参考訳（メタデータ） (2023-08-16T13:10:27Z)
• Joint Edge-Model Sparse Learning is Provably Efficient for Graph Neural Networks [89.28881869440433]
  本稿では,グラフニューラルネットワーク(GNN)における結合エッジモデルスパース学習の理論的特徴について述べる。 解析学的には、重要なノードをサンプリングし、最小のマグニチュードでプルーニングニューロンをサンプリングすることで、サンプルの複雑さを減らし、テスト精度を損なうことなく収束を改善することができる。
  論文  参考訳（メタデータ） (2023-02-06T16:54:20Z)
• Localized Contrastive Learning on Graphs [110.54606263711385]
  局所グラフコントラスト学習(Local-GCL)という,シンプルだが効果的なコントラストモデルを導入する。 その単純さにもかかわらず、Local-GCLは、様々なスケールと特性を持つグラフ上の自己教師付きノード表現学習タスクにおいて、非常に競争力のある性能を達成する。
  論文  参考訳（メタデータ） (2022-12-08T23:36:00Z)
• Hierarchical Estimation for Effective and Efficient Sampling Graph Neural Network [18.979153994728]
  既存の手法では,ノードワイド,レイヤワイド,サブグラフサンプリングという3つのサンプリングパラダイムを利用し,拡張性を考慮した非バイアス推定器を設計する。 まず、統一ノードサンプリング分散分析フレームワークを提案し、その中核となる課題を「循環的依存」として分析する。 7つの代表的なデータセットの実験結果から,本手法の有効性と有効性が確認された。
  論文  参考訳（メタデータ） (2022-11-16T09:16:04Z)
• OOD-GNN: Out-of-Distribution Generalized Graph Neural Network [73.67049248445277]
  グラフニューラルネットワーク(GNN)は、グラフデータのテストとトレーニングを同一の分布から行うことで、優れたパフォーマンスを実現している。 既存のGNNでは、テストとグラフデータのトレーニングの間に分散シフトが存在する場合、その性能が著しく低下する。 本稿では,学習グラフと異なる分布を持つ未確認試験グラフに対して,満足な性能を実現するために,アウト・オブ・ディストリビューション一般化グラフニューラルネットワーク(OOD-GNN)を提案する。
  論文  参考訳（メタデータ） (2021-12-07T16:29:10Z)
• Distributionally Robust Semi-Supervised Learning Over Graphs [68.29280230284712]
  グラフ構造化データに対する半教師付き学習(SSL)は、多くのネットワークサイエンスアプリケーションに現れる。 グラフ上の学習を効率的に管理するために,近年,グラフニューラルネットワーク(GNN)の変種が開発されている。 実際に成功したにも拘わらず、既存の手法のほとんどは、不確実な結節属性を持つグラフを扱うことができない。 ノイズ測定によって得られたデータに関連する分布の不確実性によっても問題が発生する。 分散ロバストな学習フレームワークを開発し,摂動に対する定量的ロバスト性を示すモデルを訓練する。
  論文  参考訳（メタデータ） (2021-10-20T14:23:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。