論文の概要: Balancing Graph Embedding Smoothness in Self-Supervised Learning via Information-Theoretic Decomposition
- arxiv url: http://arxiv.org/abs/2504.12011v1
- Date: Wed, 16 Apr 2025 12:09:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-24 18:04:11.969107
- Title: Balancing Graph Embedding Smoothness in Self-Supervised Learning via Information-Theoretic Decomposition
- Title（参考訳）: 情報理論分解による自己教師付き学習における平滑性埋め込みグラフのバランシング
- Authors: Heesoo Jung, Hogun Park,
- Abstract要約: グラフにおける自己教師付き学習(SSL)は特に、プリテキストタスクを備えたグラフニューラルネットワーク(GNN)の利用において大きな注目を集めている。
既存の手法では,グラフ埋め込みスムーズ性によって駆動されるスペクトルの両端の位置を,各端が特定の下流タスクのアウトパフォーマンスに対応していることを示す。
フレームワークであるBSGは、グラフベースのSSLの表現品質を補うために設計された新しい損失関数を導入した。
- 参考スコア（独自算出の注目度）: 3.330229314824913
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Self-supervised learning (SSL) in graphs has garnered significant attention, particularly in employing Graph Neural Networks (GNNs) with pretext tasks initially designed for other domains, such as contrastive learning and feature reconstruction. However, it remains uncertain whether these methods effectively reflect essential graph properties, precisely representation similarity with its neighbors. We observe that existing methods position opposite ends of a spectrum driven by the graph embedding smoothness, with each end corresponding to outperformance on specific downstream tasks. Decomposing the SSL objective into three terms via an information-theoretic framework with a neighbor representation variable reveals that this polarization stems from an imbalance among the terms, which existing methods may not effectively maintain. Further insights suggest that balancing between the extremes can lead to improved performance across a wider range of downstream tasks. A framework, BSG (Balancing Smoothness in Graph SSL), introduces novel loss functions designed to supplement the representation quality in graph-based SSL by balancing the derived three terms: neighbor loss, minimal loss, and divergence loss. We present a theoretical analysis of the effects of these loss functions, highlighting their significance from both the SSL and graph smoothness perspectives. Extensive experiments on multiple real-world datasets across node classification and link prediction consistently demonstrate that BSG achieves state-of-the-art performance, outperforming existing methods. Our implementation code is available at https://github.com/steve30572/BSG.
- Abstract（参考訳）: グラフにおける自己教師付き学習(SSL)は特に、対照的な学習や特徴再構成など、当初他のドメイン用に設計されたプリテキストタスクを備えたグラフニューラルネットワーク(GNN)を採用する際に、大きな注目を集めている。
しかし、これらの手法が本質的なグラフ特性を効果的に反映するかどうかは不明であり、隣人との正確な類似性を表現している。
既存の手法では、グラフ埋め込みスムーズ性によって駆動されるスペクトルの対向端の位置を、各端が特定の下流タスクのアウトパフォーマンスに対応するようにしている。
SSLの目的を情報理論のフレームワークを通じて3つの用語に分解すると、この偏極は既存の手法では効果的に維持できない用語間の不均衡に起因することが分かる。
さらなる洞察は、極端間のバランスが、より広範囲の下流タスクにおけるパフォーマンス改善につながることを示唆している。
BSG(Balancing Smoothness in Graph SSL)というフレームワークは、グラフベースのSSLの表現品質を補うために設計された新しい損失関数を導入している。
本稿では,これらの損失関数の効果を理論的に解析し,SSLとグラフの滑らかさの観点からその意義を明らかにする。
ノード分類とリンク予測にまたがる複数の実世界のデータセットに対する大規模な実験は、BSGが最先端のパフォーマンスを達成し、既存の手法より優れていることを一貫して示している。
私たちの実装コードはhttps://github.com/steve30572/BSGで公開されています。
関連論文リスト
- Oversmoothing as Loss of Sign: Towards Structural Balance in Graph Neural Networks [54.62268052283014]
オーバースムーシングはグラフニューラルネットワーク(GNN)において一般的な問題である
反過剰化手法の3つの主要なクラスは、数学的に符号付きグラフ上のメッセージパッシングと解釈できる。
負のエッジはノードをある程度撃退することができ、これらのメソッドが過剰なスムースを緩和する方法に関する深い洞察を提供する。
論文 参考訳（メタデータ） (2025-02-17T03:25:36Z) - Leveraging Joint Predictive Embedding and Bayesian Inference in Graph Self Supervised Learning [0.0]
グラフ表現学習は、ノード分類やリンク予測といったタスクの基盤として登場した。
現在の自己教師付き学習(SSL)手法は、計算の非効率性、対照的な目的への依存、表現の崩壊といった課題に直面している。
本稿では,意味情報と構造情報を保存しながら,対照的な目的と負のサンプリングを排除したグラフSSLのための新しい結合埋め込み予測フレームワークを提案する。
論文 参考訳（メタデータ） (2025-02-02T07:42:45Z) - Smoothness Really Matters: A Simple Yet Effective Approach for Unsupervised Graph Domain Adaptation [28.214010408550394]
Unsupervised Graph Domain Adaptation (UGDA)は、ラベル付きソースグラフからの知識をラベル付きターゲットグラフに転送することで、ドメイン間の分散シフトをブリッジする。
TDSS(Target-Domain Structure Smoothing)と呼ばれるUGDAのための新しいアプローチを提案する。
TDSSは、ターゲットグラフ上で直接構造的滑らか化を行うための、シンプルで効果的な方法である。
論文 参考訳（メタデータ） (2024-12-16T10:56:58Z) - Point Cloud Denoising With Fine-Granularity Dynamic Graph Convolutional Networks [58.050130177241186]
ノイズの摂動は、しばしば3次元の点雲を破損させ、表面の再構成、レンダリング、さらなる処理といった下流のタスクを妨げる。
本稿では,GDGCNと呼ばれる粒度動的グラフ畳み込みネットワークについて紹介する。
論文 参考訳（メタデータ） (2024-11-21T14:19:32Z) - Conditional Distribution Learning on Graphs [15.730933577970687]
半教師付きグラフ分類のためのグラフ構造化データからグラフ表現を学習する条件分布学習(CDL)法を提案する。
具体的には、元の特徴に対して弱機能および強拡張機能の条件分布を整列するエンドツーエンドグラフ表現学習モデルを提案する。
論文 参考訳（メタデータ） (2024-11-20T07:26:36Z) - VIGraph: Generative Self-supervised Learning for Class-Imbalanced Node Classification [9.686218058331061]
グラフデータのクラス不均衡は、ノード分類において重要な課題である。
SMOTEベースのアプローチのような既存の手法は、不均衡グラフを構築する際の限界を示す。
本稿では,変分GAEを基本モデルとする簡易かつ効果的な生成型SSL手法であるVIGraphを紹介する。
論文 参考訳（メタデータ） (2023-11-02T12:36:19Z) - Localized Contrastive Learning on Graphs [110.54606263711385]
局所グラフコントラスト学習(Local-GCL)という,シンプルだが効果的なコントラストモデルを導入する。
その単純さにもかかわらず、Local-GCLは、様々なスケールと特性を持つグラフ上の自己教師付きノード表現学習タスクにおいて、非常に競争力のある性能を達成する。
論文 参考訳（メタデータ） (2022-12-08T23:36:00Z) - Optimal Propagation for Graph Neural Networks [51.08426265813481]
最適グラフ構造を学習するための二段階最適化手法を提案する。
また、時間的複雑さをさらに軽減するために、低ランク近似モデルについても検討する。
論文 参考訳（メタデータ） (2022-05-06T03:37:00Z) - Graph Structure Learning with Variational Information Bottleneck [70.62851953251253]
本稿では,新しい変分情報ボトルネックガイド付きグラフ構造学習フレームワーク,すなわちVIB-GSLを提案する。
VIB-GSLは情報的かつ圧縮的なグラフ構造を学習し、特定の下流タスクに対して実行可能な情報を蒸留する。
論文 参考訳（メタデータ） (2021-12-16T14:22:13Z) - Contrastive and Generative Graph Convolutional Networks for Graph-based
Semi-Supervised Learning [64.98816284854067]
グラフベースのSemi-Supervised Learning (SSL)は、少数のラベル付きデータのラベルをグラフ経由で残りの巨大なラベル付きデータに転送することを目的としている。
本稿では,データ類似性とグラフ構造を両立させ,監視信号の強化を図るため,新しいGCNベースのSSLアルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-09-15T13:59:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。