論文の概要: Graph Contrastive Learning with Low-Rank Regularization and Low-Rank Attention for Noisy Node Classification

• arxiv url: http://arxiv.org/abs/2402.09600v2
• Date: Sat, 28 Jun 2025 05:31:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-01 21:27:53.301018
• Title: Graph Contrastive Learning with Low-Rank Regularization and Low-Rank Attention for Noisy Node Classification
• Title（参考訳）: 雑音ノード分類のための低ランク規則化と低ランク注意を用いたグラフコントラスト学習
• Authors: Yancheng Wang, Yingzhen Yang,
• Abstract要約: 本稿では,GCL-LRR (Graph Contrastive Learning with Low-Rank Regularization) という,頑健で革新的なノード表現学習手法を提案する。 GCL-LRRはノード分類のための2段階のトランスダクティブ学習フレームワークである。 本稿では,新しいLR-Attention層をGCL-LRRに組み込んだ改良モデルGCL-LR-Attentionを提案する。
• 参考スコア（独自算出の注目度）: 8.905020033545643
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph Neural Networks (GNNs) have achieved remarkable success in learning node representations and have shown strong performance in tasks such as node classification. However, recent findings indicate that the presence of noise in real-world graph data can substantially impair the effectiveness of GNNs. To address this challenge, we introduce a robust and innovative node representation learning method named Graph Contrastive Learning with Low-Rank Regularization, or GCL-LRR, which follows a two-stage transductive learning framework for node classification. In the first stage, the GCL-LRR encoder is optimized through prototypical contrastive learning while incorporating a low-rank regularization objective. In the second stage, the representations generated by GCL-LRR are employed by a linear transductive classifier to predict the labels of unlabeled nodes within the graph. Our GCL-LRR is inspired by the Low Frequency Property (LFP) of the graph data and its labels, and it is also theoretically motivated by our sharp generalization bound for transductive learning. To the best of our knowledge, our theoretical result is among the first to theoretically demonstrate the advantage of low-rank regularization in transductive learning, which is also supported by strong empirical results. To further enhance the performance of GCL-LRR, we present an improved model named GCL-LR-Attention, which incorporates a novel LR-Attention layer into GCL-LRR. GCL-LR-Attention reduces the kernel complexity of GCL-LRR and contributes to a tighter generalization bound, leading to improved performance. Extensive evaluations on standard benchmark datasets evidence the effectiveness and robustness of both GCL-LRR and GCL-LR-Attention in learning meaningful node representations. The code is available at https://github.com/Statistical-Deep-Learning/GCL-LR-Attention.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)はノード表現の学習において顕著な成功を収め、ノード分類などのタスクでは高いパフォーマンスを示している。 しかし,近年の研究では,実世界のグラフデータにおけるノイズの存在が,GNNの有効性を著しく損なう可能性が示唆されている。 そこで我々は,ノード分類のための2段階のトランスダクティブ学習フレームワークであるGCL-LRR(Graph Contrastive Learning with Low-Rank Regularization)を提案する。 第1段階では、GCL-LRRエンコーダは、低ランク正規化目的を取り入れつつ、原型的コントラスト学習により最適化される。 第2段階では、GCL-LRRによって生成された表現は、グラフ内の未ラベルノードのラベルを予測するために線形トランスダクティブ分類器によって使用される。 我々のGCL-LRRは、グラフデータとそのラベルの低周波特性(LFP)にインスパイアされており、また、我々の急激な一般化がトランスダクティブ学習に結びついていることも理論的に動機付けている。 我々の知識を最大限に活用するために、我々の理論的結果は、強力な経験的結果によって支えられるトランスダクティブラーニングにおける低ランク正規化の利点を理論的に証明する最初のものである。 GCL-LRRの性能をさらに向上するため,新しいLR-Attention層をGCL-LRRに組み込んだ改良モデルGCL-LR-Attentionを提案する。 GCL-LR-AttentionはGCL-LRRのカーネルの複雑さを減らし、より厳密な一般化バウンドに寄与し、性能が向上する。 GCL-LRRとGCL-LR-Attentionが有意なノード表現を学習する際の有効性と堅牢性を示す。 コードはhttps://github.com/Statistical-Deep-Learning/GCL-LR-Attentionで公開されている。

関連論文リスト

• Graph Structure Refinement with Energy-based Contrastive Learning [56.957793274727514]
  グラフの構造と表現を学習するための生成訓練と識別訓練のジョイントに基づく教師なし手法を提案する。 本稿では,ECL-GSR(Energy-based Contrastive Learning)によるグラフ構造再構成(GSR)フレームワークを提案する。 ECL-GSRは、主要なベースラインに対するサンプルやメモリの少ない高速なトレーニングを実現し、下流タスクの単純さと効率性を強調している。
  論文  参考訳（メタデータ） (2024-12-20T04:05:09Z)
• GRE^2-MDCL: Graph Representation Embedding Enhanced via Multidimensional Contrastive Learning [0.0]
  グラフ表現学習は、ノードをベクトル表現にマッピングする際にグラフトポロジを保存する強力なツールとして登場した。 現在のグラフニューラルネットワークモデルは、広範なラベル付きデータを必要とするという課題に直面している。 多次元コントラスト学習によるグラフ表現埋め込みを提案する。
  論文  参考訳（メタデータ） (2024-09-12T03:09:05Z)
• Architecture Matters: Uncovering Implicit Mechanisms in Graph Contrastive Learning [34.566003077992384]
  本稿では,グラフコントラスト学習法(GCL)の体系的研究について述べる。 GNNの暗黙的帰納バイアスが対照的な学習にどのように作用するかを明らかにすることによって、理論上はGCLの興味深い性質に関する洞察を提供する。 既存のNNメソッドを直接GCLに移植するのではなく、グラフ学習のユニークなアーキテクチャにもっと注意を払うことを提唱する。
  論文  参考訳（メタデータ） (2023-11-05T15:54:17Z)
• Label Deconvolution for Node Representation Learning on Large-scale Attributed Graphs against Learning Bias [75.44877675117749]
  本稿では,GNNの逆写像に対する新しい,スケーラブルな近似による学習バイアスを軽減するために,ラベルの効率的な正規化手法,すなわちラベルのデコンボリューション(LD)を提案する。 実験では、LDはOpen Graphデータセットのベンチマークで最先端のメソッドを大幅に上回っている。
  論文  参考訳（メタデータ） (2023-09-26T13:09:43Z)
• SimTeG: A Frustratingly Simple Approach Improves Textual Graph Learning [131.04781590452308]
  テキストグラフ学習におけるフラストレーションに富んだアプローチであるSimTeGを提案する。 まず、下流タスクで予め訓練されたLM上で、教師付きパラメータ効率の微調整(PEFT)を行う。 次に、微調整されたLMの最後の隠れ状態を用いてノード埋め込みを生成する。
  論文  参考訳（メタデータ） (2023-08-03T07:00:04Z)
• LightGCL: Simple Yet Effective Graph Contrastive Learning for Recommendation [9.181689366185038]
  グラフニューラルクラスタリングネットワーク(GNN)は、グラフベースのレコメンデータシステムのための強力な学習手法である。 本稿では,単純なグラフコントラスト学習パラダイムであるLightGCLを提案する。
  論文  参考訳（メタデータ） (2023-02-16T10:16:21Z)
• Uncovering the Structural Fairness in Graph Contrastive Learning [87.65091052291544]
  グラフコントラスト学習(GCL)は、ノード表現を学習するための有望な自己教師型アプローチとして登場した。 GCL法で得られた表現は,GCN法で学習した表現よりも既に公平であることを示す。 我々は、低次ノードと高次ノードに異なる戦略を適用し、GRAph contrastive learning for Degree bias (GRADE)と呼ばれるグラフ拡張手法を考案した。
  論文  参考訳（メタデータ） (2022-10-06T15:58:25Z)
• Let Invariant Rationale Discovery Inspire Graph Contrastive Learning [98.10268114789775]
  ハイパフォーマンスな拡張は、インスタンス識別に関するアンカーグラフの健全な意味を保存すべきである。 新たなフレームワーク Rationale-aware Graph Contrastive Learning (RGCL) を提案する。 RGCLは有理数生成器を使用して、グラフのインスタンス識別に関する健全な特徴を論理として明らかにし、対照的な学習のための有理数認識ビューを生成する。
  論文  参考訳（メタデータ） (2022-06-16T01:28:40Z)
• Bayesian Robust Graph Contrastive Learning [4.6761071607574545]
  本稿では,GNNエンコーダに頑健なノード表現を学習させる,新しいロバストな手法を提案する。 公開および大規模ベンチマークの実験は、BRGCLの優れた性能と学習ノード表現の堅牢性を示している。
  論文  参考訳（メタデータ） (2022-05-27T17:21:17Z)
• Adversarial Graph Augmentation to Improve Graph Contrastive Learning [21.54343383921459]
  本稿では,GNNがトレーニング中に冗長な情報を捕捉することを避けるために,AD-GCL(adversarial-GCL)と呼ばれる新しい原理を提案する。 我々は、AD-GCLを最先端のGCL法と比較し、教師なしで最大$14%、転送で$6%、半教師なしの学習環境で$3%の性能向上を達成した。
  論文  参考訳（メタデータ） (2021-06-10T15:34:26Z)
• Combining Label Propagation and Simple Models Out-performs Graph Neural Networks [52.121819834353865]
  多くの標準的なトランスダクティブノード分類ベンチマークでは、最先端のGNNの性能を超えたり、一致させることができる。 これをC&S(Correct and Smooth)と呼ぶ。 我々のアプローチは、様々なベンチマークで最先端のGNNの性能を上回るか、ほぼ一致している。
  論文  参考訳（メタデータ） (2020-10-27T02:10:52Z)
• Fast Graph Attention Networks Using Effective Resistance Based Graph Sparsification [70.50751397870972]
  FastGATは、スペクトルスペーシフィケーションを用いて、注目に基づくGNNを軽量にし、入力グラフの最適プルーニングを生成する手法である。 我々は,ノード分類タスクのための大規模実世界のグラフデータセット上でFastGATを実験的に評価した。
  論文  参考訳（メタデータ） (2020-06-15T22:07:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。