論文の概要: Layer-diverse Negative Sampling for Graph Neural Networks

• arxiv url: http://arxiv.org/abs/2403.11408v1
• Date: Mon, 18 Mar 2024 01:48:50 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-19 16:57:28.340327
• Title: Layer-diverse Negative Sampling for Graph Neural Networks
• Title（参考訳）: グラフニューラルネットワークのための層差負サンプリング
• Authors: Wei Duan, Jie Lu, Yu Guang Wang, Junyu Xuan,
• Abstract要約: グラフニューラルネットワーク(GNN)は、様々な構造学習アプリケーションのための強力なソリューションである。 メッセージパッシング伝搬のための層間負サンプリング法を提案する。 本研究は,ネガティブサンプルの多様性向上と総合学習性能向上におけるアプローチの有効性を実証する。
• 参考スコア（独自算出の注目度）: 19.84639875144519
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Graph neural networks (GNNs) are a powerful solution for various structure learning applications due to their strong representation capabilities for graph data. However, traditional GNNs, relying on message-passing mechanisms that gather information exclusively from first-order neighbours (known as positive samples), can lead to issues such as over-smoothing and over-squashing. To mitigate these issues, we propose a layer-diverse negative sampling method for message-passing propagation. This method employs a sampling matrix within a determinantal point process, which transforms the candidate set into a space and selectively samples from this space to generate negative samples. To further enhance the diversity of the negative samples during each forward pass, we develop a space-squeezing method to achieve layer-wise diversity in multi-layer GNNs. Experiments on various real-world graph datasets demonstrate the effectiveness of our approach in improving the diversity of negative samples and overall learning performance. Moreover, adding negative samples dynamically changes the graph's topology, thus with the strong potential to improve the expressiveness of GNNs and reduce the risk of over-squashing.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)は、グラフデータに対する強力な表現能力のため、さまざまな構造学習アプリケーションのための強力なソリューションである。 しかし、従来のGNNは、一階の隣人(正のサンプルとして知られる)からのみ情報を収集するメッセージパッシング機構に依存しており、過密化や過密化といった問題を引き起こす可能性がある。 これらの問題を緩和するために,メッセージパッシング伝搬のための層間負のサンプリング手法を提案する。 この方法は、行列点過程内でサンプリング行列を用いて、候補セットを空間に変換し、この空間から選択的にサンプルし、負のサンプルを生成する。 各前方通過時の負のサンプルの多様性をさらに高めるため,多層GNNにおける層幅の多様性を実現するための空間探索法を開発した。 様々な実世界のグラフデータセットを用いた実験は、負のサンプルの多様性と全体的な学習性能を改善するためのアプローチの有効性を示す。 さらに、負のサンプルを追加することでグラフのトポロジが動的に変化するため、GNNの表現性を向上し、過剰なスキャッシングのリスクを低減する可能性が強い。

関連論文リスト

• Diffusion-based Negative Sampling on Graphs for Link Prediction [8.691564173331924]
  リンク予測は、ソーシャルネットワーク分析やレコメンデーションシステムなど、Web上の重要なアプリケーションを用いたグラフ解析の基本的なタスクである。 本稿では,潜在空間からフレキシブルかつ制御可能な硬さのレベルを持つ負ノード生成を可能にする,マルチレベル負サンプリングの新しい手法を提案する。 条件拡散に基づくマルチレベル負サンプリング (DMNS) と呼ばれる本手法は, 拡散モデルのマルコフ連鎖特性を利用して, 可変硬度の複数レベルにおいて負のノードを生成する。
  論文  参考訳（メタデータ） (2024-03-25T23:07:31Z)
• Learning How to Propagate Messages in Graph Neural Networks [55.2083896686782]
  本稿では,グラフニューラルネットワーク(GNN)におけるメッセージ伝搬戦略の学習問題について検討する。 本稿では,GNNパラメータの最大類似度推定を支援するために,最適伝搬ステップを潜時変数として導入する。 提案フレームワークは,GNNにおけるメッセージのパーソナライズおよび解釈可能な伝達戦略を効果的に学習することができる。
  論文  参考訳（メタデータ） (2023-10-01T15:09:59Z)
• Tackling Diverse Minorities in Imbalanced Classification [80.78227787608714]
  不均衡データセットは、様々な現実世界のアプリケーションで一般的に見られ、分類器の訓練において重要な課題が提示されている。 マイノリティクラスとマイノリティクラスの両方のデータサンプルを混合することにより、反復的に合成サンプルを生成することを提案する。 提案するフレームワークの有効性を,7つの公開ベンチマークデータセットを用いて広範な実験により実証する。
  論文  参考訳（メタデータ） (2023-08-28T18:48:34Z)
• Enhancing Graph Contrastive Learning with Node Similarity [4.60032347615771]
  グラフコントラスト学習(GCL)は、自己教師型学習の代表的なフレームワークである。 GCLは、意味的に類似したノード(正のサンプル)と異種ノード(負のサンプル)とアンカーノードとの対比によってノード表現を学習する。 本稿では,全ての正のサンプルと偽陰性サンプルを含まない拡張目的を提案する。
  論文  参考訳（メタデータ） (2022-08-13T22:49:20Z)
• Interpolation-based Correlation Reduction Network for Semi-Supervised Graph Learning [49.94816548023729]
  補間型相関低減ネットワーク(ICRN)と呼ばれる新しいグラフコントラスト学習手法を提案する。 提案手法では,決定境界のマージンを大きくすることで,潜在特徴の識別能力を向上させる。 この2つの設定を組み合わせることで、豊富なラベル付きノードと稀に価値あるラベル付きノードから豊富な監視情報を抽出し、離散表現学習を行う。
  論文  参考訳（メタデータ） (2022-06-06T14:26:34Z)
• VQ-GNN: A Universal Framework to Scale up Graph Neural Networks using Vector Quantization [70.8567058758375]
  VQ-GNNは、Vector Quantization(VQ)を使用して、パフォーマンスを損なうことなく、畳み込みベースのGNNをスケールアップするための普遍的なフレームワークである。 我々のフレームワークは,グラフ畳み込み行列の低ランク版と組み合わせた量子化表現を用いて,GNNの「隣の爆発」問題を回避する。
  論文  参考訳（メタデータ） (2021-10-27T11:48:50Z)
• Relation-aware Graph Attention Model With Adaptive Self-adversarial Training [29.240686573485718]
  本稿では,不均一なマルチリレーショナルグラフにおける関係予測タスクのエンドツーエンドソリューションについて述べる。 特にパイプライン内の2つのビルディングブロック、すなわちヘテロジニアスグラフ表現学習と負のサンプリングに対処する。 パラメータフリーな負のサンプリング手法であるadaptive self-adversarial (asa) 負のサンプリングを導入する。
  論文  参考訳（メタデータ） (2021-02-14T16:11:56Z)
• SCE: Scalable Network Embedding from Sparsest Cut [20.08464038805681]
  大規模ネットワーク埋め込みは、教師なしの方法で各ノードの潜在表現を学習することである。 このような対照的な学習手法の成功の鍵は、正と負のサンプルを引き出す方法である。 本稿では, 負のサンプルのみを用いた教師なしネットワーク埋め込みのためのSCEを提案する。
  論文  参考訳（メタデータ） (2020-06-30T03:18:15Z)
• Policy-GNN: Aggregation Optimization for Graph Neural Networks [60.50932472042379]
  グラフニューラルネットワーク(GNN)は、局所的なグラフ構造をモデル化し、隣人からの情報を集約することで階層的なパターンを捉えることを目的としている。 複雑なグラフとスパースな特徴を与えられた各ノードに対して効果的なアグリゲーション戦略を開発することは難しい課題である。 本稿では,GNNのサンプリング手順とメッセージパッシングを複合学習プロセスにモデル化するメタ政治フレームワークであるPolicy-GNNを提案する。
  論文  参考訳（メタデータ） (2020-06-26T17:03:06Z)
• Hop Sampling: A Simple Regularized Graph Learning for Non-Stationary Environments [12.251253742049437]
  グラフ表現学習は、ソーシャルネットワーク分析など、幅広いアプリケーションで人気を集めている。 グラフニューラルネットワーク(GNN)を現実のアプリケーションに適用することは、静止しない環境のため、依然として難しい。 ホップサンプリング(Hop Smpling)は,GNNの過剰漁を効果的に防止できる簡単な正規化手法である。
  論文  参考訳（メタデータ） (2020-06-26T10:22:57Z)
• Understanding Negative Sampling in Graph Representation Learning [87.35038268508414]
  最適化目標と結果のばらつきを決定するためには, 正のサンプリングと同様に負のサンプリングが重要であることを示す。 我々は,自己コントラスト近似による正の分布を近似し,メトロポリス・ハスティングスによる負のサンプリングを高速化するメトロポリス・ハスティングス(MCNS)を提案する。 提案手法は,リンク予測,ノード分類,パーソナライズドレコメンデーションを含む,下流グラフ学習タスクをカバーする5つのデータセットに対して評価する。
  論文  参考訳（メタデータ） (2020-05-20T06:25:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。