論文の概要: Do spectral cues matter in contrast-based graph self-supervised learning?

• arxiv url: http://arxiv.org/abs/2405.19600v1
• Date: Thu, 30 May 2024 01:30:34 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-31 18:36:41.425801
• Title: Do spectral cues matter in contrast-based graph self-supervised learning?
• Title（参考訳）: コントラストに基づくグラフ自己教師学習においてスペクトル手がかりは問題か?
• Authors: Xiangru Jian, Xinjian Zhao, Wei Pang, Chaolong Ying, Yimu Wang, Yaoyao Xu, Tianshu Yu,
• Abstract要約: スペクトル領域に関する一見矛盾する仮定やアプローチに基づく手法は、学習性能の顕著な向上を示している。 本研究は, スペクトル特性と現代の方法論の学習結果との関係について, 徹底的な研究を行う。 これらの単純で効果的な戦略が常に優れた性能をもたらすことを示す証拠が提示される。
• 参考スコア（独自算出の注目度）: 10.803503272887173
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: The recent surge in contrast-based graph self-supervised learning has prominently featured an intensified exploration of spectral cues. However, an intriguing paradox emerges, as methods grounded in seemingly conflicting assumptions or heuristic approaches regarding the spectral domain demonstrate notable enhancements in learning performance. This paradox prompts a critical inquiry into the genuine contribution of spectral information to contrast-based graph self-supervised learning. This study undertakes an extensive investigation into this inquiry, conducting a thorough study of the relationship between spectral characteristics and the learning outcomes of contemporary methodologies. Based on this analysis, we claim that the effectiveness and significance of spectral information need to be questioned. Instead, we revisit simple edge perturbation: random edge dropping designed for node-level self-supervised learning and random edge adding intended for graph-level self-supervised learning. Compelling evidence is presented that these simple yet effective strategies consistently yield superior performance while demanding significantly fewer computational resources compared to all prior spectral augmentation methods. The proposed insights represent a significant leap forward in the field, potentially reshaping the understanding and implementation of graph self-supervised learning.
• Abstract（参考訳）: コントラストに基づくグラフ自己教師学習の最近の増加は、スペクトルの探究の強化を特徴としている。 しかし、スペクトル領域に関する一見矛盾する仮定やヒューリスティックなアプローチに基づく手法が、学習性能の顕著な向上を示すため、興味深いパラドックスが出現する。 このパラドックスは、コントラストベースのグラフ自己教師学習へのスペクトル情報の真の寄与について、批判的な調査を促す。 本研究は, スペクトル特性と現代の方法論の学習結果との関係について, 徹底的な調査を行っている。 この分析に基づいて,スペクトル情報の有効性と意義を問う必要がある。 ノードレベルの自己教師付き学習のために設計されたランダムエッジドロップと、グラフレベルの自己教師型学習を目的としたランダムエッジの追加。 これらの単純で効果的な戦略は、従来のスペクトル増強法に比べて計算資源をはるかに少なく要求しながら、常に優れた性能を得ることを示す証拠が提示されている。 提案した洞察は、グラフ自己教師型学習の理解と実装を再構築する可能性があり、この分野における大きな飛躍を示している。

関連論文リスト

• Graph-level Protein Representation Learning by Structure Knowledge Refinement [50.775264276189695]
  本稿では、教師なしの方法でグラフ全体の表現を学習することに焦点を当てる。 本稿では、データ構造を用いて、ペアが正か負かの確率を決定する構造知識精製(Structure Knowledge Refinement, SKR)という新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-01-05T09:05:33Z)
• Understanding Community Bias Amplification in Graph Representation Learning [22.522798932536038]
  本稿では,グラフ表現学習におけるコミュニティバイアス増幅現象について検討する。 本稿では,Random Graph Coarsening Contrastive Learningと呼ばれる新しいグラフコントラスト学習モデルを提案する。
  論文  参考訳（メタデータ） (2023-12-08T07:43:05Z)
• Self-supervised Learning and Graph Classification under Heterophily [4.358149865548289]
  我々は,Metric(PGM)に基づく,事前学習型グラフニューラルネットワーク(GNN)のための新しい自己教師型戦略を提案する。 我々の戦略は、分子特性予測とタンパク質機能予測のための最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-06-14T12:32:38Z)
• Understanding Self-Predictive Learning for Reinforcement Learning [61.62067048348786]
  強化学習のための自己予測学習の学習ダイナミクスについて検討する。 本稿では,2つの表現を同時に学習する新しい自己予測アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-12-06T20:43:37Z)
• Spectral Augmentation for Self-Supervised Learning on Graphs [43.19199994575821]
  グラフコントラスト学習(GCL)は、インスタンス識別を通じて表現を学習することを目的としている。 これは、小さな摂動に対して堅牢な不変パターンを反映するためにグラフ拡張に依存する。 最近の研究は、空間領域における一様ランダムなトポロジー拡張を主に実施している。 スペクトル変化を最大化することによりトポロジ拡張を導出するスペクトル拡張を開発する。
  論文  参考訳（メタデータ） (2022-10-02T22:20:07Z)
• Robust Causal Graph Representation Learning against Confounding Effects [21.380907101361643]
  本稿では,ロバスト因果グラフ表現学習(RCGRL)を提案する。 RCGRLは、無条件のモーメント制約の下でインストゥルメンタル変数を生成するアクティブなアプローチを導入し、グラフ表現学習モデルにより、共同設立者を排除している。
  論文  参考訳（メタデータ） (2022-08-18T01:31:25Z)
• Learning node embeddings via summary graphs: a brief theoretical analysis [55.25628709267215]
  グラフ表現学習は多くのグラフマイニングアプリケーションにおいて重要な役割を果たすが、大規模なグラフの埋め込みを学習することは依然として問題である。 最近の研究は、グラフの要約(つまり、より小さな要約グラフへの埋め込みを学習し、元のグラフのノード埋め込みを復元することでスケーラビリティを向上させる。 本稿では,導入したカーネル行列に基づく3つの特定の埋め込み学習手法について,詳細な理論的解析を行う。
  論文  参考訳（メタデータ） (2022-07-04T04:09:50Z)
• Bayesian Graph Contrastive Learning [55.36652660268726]
  本稿では,ランダムな拡張がエンコーダにつながることを示すグラフコントラスト学習手法の新たな視点を提案する。 提案手法は,各ノードを決定論的ベクトルに埋め込む既存の手法とは対照的に,各ノードを潜在空間の分布で表現する。 いくつかのベンチマークデータセットにおける既存の最先端手法と比較して,性能が大幅に向上したことを示す。
  論文  参考訳（メタデータ） (2021-12-15T01:45:32Z)
• A Free Lunch from the Noise: Provable and Practical Exploration for Representation Learning [55.048010996144036]
  ある雑音仮定の下では、対応するマルコフ遷移作用素の線型スペクトル特性を自由な閉形式で得られることを示す。 本稿では,スペクトルダイナミクス埋め込み(SPEDE)を提案する。これはトレードオフを破り,雑音の構造を利用して表現学習のための楽観的な探索を完遂する。
  論文  参考訳（メタデータ） (2021-11-22T19:24:57Z)
• Fairness-Aware Node Representation Learning [9.850791193881651]
  本研究は,グラフ強化設計によるグラフ対照的学習における公平性問題に対処する。 グラフ上の異なる公平性の概念を導入し、提案されたグラフ拡張のガイドラインとして機能する。 実ソーシャルネットワークにおける実験結果から,提案した拡張により,統計的平等と平等な機会の両面において公平性が向上することを示した。
  論文  参考訳（メタデータ） (2021-06-09T21:12:14Z)
• Towards Deeper Graph Neural Networks [63.46470695525957]
  グラフ畳み込みは近傍の集約を行い、最も重要なグラフ操作の1つである。 いくつかの最近の研究で、この性能劣化は過度に滑らかな問題に起因している。 本研究では,大きな受容領域からの情報を適応的に組み込むディープ適応グラフニューラルネットワーク(DAGNN)を提案する。
  論文  参考訳（メタデータ） (2020-07-18T01:11:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。