論文の概要: Improving Node Representation by Boosting Target-Aware Contrastive Loss
- arxiv url: http://arxiv.org/abs/2410.03901v1
- Date: Fri, 4 Oct 2024 20:08:24 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-02 15:31:01.563980
- Title: Improving Node Representation by Boosting Target-Aware Contrastive Loss
- Title（参考訳）: 目標認識型コントラスト損失の増大によるノード表現の改善
- Authors: Ying-Chun Lin, Jennifer Neville,
- Abstract要約: 本稿では,ターゲット認識型コントラスト学習(Target-Aware Contrastive Learning,Target-Aware CL)を紹介する。
XTCLを最小化することにより、ターゲット認識CLは、ターゲットタスクとノード表現の間の相互情報を増加させる。
実験により、XTCLは2つのタスクの性能を著しく改善することを示した。
- 参考スコア（独自算出の注目度）: 10.73390567832967
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Graphs model complex relationships between entities, with nodes and edges capturing intricate connections. Node representation learning involves transforming nodes into low-dimensional embeddings. These embeddings are typically used as features for downstream tasks. Therefore, their quality has a significant impact on task performance. Existing approaches for node representation learning span (semi-)supervised, unsupervised, and self-supervised paradigms. In graph domains, (semi-)supervised learning often only optimizes models based on class labels, neglecting other abundant graph signals, which limits generalization. While self-supervised or unsupervised learning produces representations that better capture underlying graph signals, the usefulness of these captured signals for downstream target tasks can vary. To bridge this gap, we introduce Target-Aware Contrastive Learning (Target-aware CL) which aims to enhance target task performance by maximizing the mutual information between the target task and node representations with a self-supervised learning process. This is achieved through a sampling function, XGBoost Sampler (XGSampler), to sample proper positive examples for the proposed Target-Aware Contrastive Loss (XTCL). By minimizing XTCL, Target-aware CL increases the mutual information between the target task and node representations, such that model generalization is improved. Additionally, XGSampler enhances the interpretability of each signal by showing the weights for sampling the proper positive examples. We show experimentally that XTCL significantly improves the performance on two target tasks: node classification and link prediction tasks, compared to state-of-the-art models.
- Abstract（参考訳）: グラフは、複雑な接続をキャプチャするノードとエッジを持つエンティティ間の複雑な関係をモデル化する。
ノード表現学習では、ノードを低次元の埋め込みに変換する。
これらの埋め込みは典型的には下流タスクの機能として使用される。
そのため、その品質はタスクのパフォーマンスに大きな影響を与えます。
ノード表現学習のための既存のアプローチは、半教師付き、非教師なし、自己教師付きパラダイムである。
グラフ領域では、(半教師付き学習はクラスラベルに基づくモデルのみを最適化し、他の豊富なグラフ信号を無視し、一般化を制限する。
自己教師付き学習や教師なし学習は、基礎となるグラフ信号をよりよくキャプチャする表現を生成するが、これらのキャプチャされた信号が下流のターゲットタスクに有用であることは、様々である。
このギャップを埋めるために,目標タスクとノード表現間の相互情報を自己教師型学習プロセスで最大化し,目標タスク性能を向上させることを目的としたターゲット認識コントラスト学習(Target-Aware Contrastive Learning, CL)を導入する。
これは、XGBoost Sampler (XGSampler) というサンプリング機能によって実現され、提案されているTarget-Aware Contrastive Loss (XTCL) の適切な正のサンプルをサンプリングする。
XTCLを最小化することにより、ターゲット認識CLはターゲットタスクとノード表現間の相互情報を増大させ、モデルの一般化が向上する。
さらに、XGSamplerは適切な正のサンプルをサンプリングするための重みを示すことによって、各信号の解釈可能性を高める。
実験により,XTCLはノード分類とリンク予測タスクの2つのタスクにおいて,最先端モデルと比較して性能を著しく向上することを示した。
関連論文リスト
- Self-Supervised Conditional Distribution Learning on Graphs [15.730933577970687]
本稿では,従来の特徴に対して,弱い特徴と強く拡張された特徴の条件分布を整列するエンドツーエンドグラフ表現学習モデルを提案する。
このアライメントは、グラフ構造化データ拡張による本質的な意味情報の破壊のリスクを効果的に低減する。
論文 参考訳（メタデータ） (2024-11-20T07:26:36Z) - Learning a Mini-batch Graph Transformer via Two-stage Interaction Augmentation [34.969019293698885]
Mini-batch Graph Transformer (MGT) は、半教師付きノード予測タスクにおいて大きな利点を示している。
各ミニバッチにおけるノード数の制限は、グラフのグローバルな特性を捉えるためのモデルの容量を制限する。
LGMformerは,2段階の拡張現実戦略を取り入れた新しいMGTモデルである。
論文 参考訳（メタデータ） (2024-07-13T14:42:22Z) - Mitigating Semantic Confusion from Hostile Neighborhood for Graph Active
Learning [38.5372139056485]
Graph Active Learning(GAL)は、グラフニューラルネットワーク(GNN)のパフォーマンスを最大化するためのアノテーションのための、グラフで最も情報に富むノードを見つけることを目的としている。
Gal戦略は、特にグラフがノイズの多い場合、選択したトレーニングセットに意味的な混乱をもたらす可能性がある。
本稿では,意味的混乱を緩和するために,グラフのためのセマンティック・アウェア・アクティブ・ラーニング・フレームワークを提案する。
論文 参考訳（メタデータ） (2023-08-17T07:06:54Z) - GUESR: A Global Unsupervised Data-Enhancement with Bucket-Cluster
Sampling for Sequential Recommendation [58.6450834556133]
本研究では,グローバルな視点から複雑な関連性を持つ項目表現を強化するために,グラフコントラスト学習を提案する。
本稿では,CapsNetモジュールを拡張したターゲットアテンション機構により,ユーザの動的嗜好を導出する。
提案したGUESRは,大幅な改善を達成できただけでなく,汎用的な拡張戦略ともみなすことができた。
論文 参考訳（メタデータ） (2023-03-01T05:46:36Z) - Self-Supervised Node Representation Learning via Node-to-Neighbourhood
Alignment [10.879056662671802]
自己教師付きノード表現学習は、教師付きノードと競合する未ラベルグラフからノード表現を学ぶことを目的としている。
本研究では,ノードとその周辺領域の隠蔽表現を整列させることにより,単純なyet効率の自己教師付きノード表現学習を提案する。
我々は,グラフ構造化データセットの集合に対して,ノード分類性能が期待できるノード表現を,小規模から大規模に学習する。
論文 参考訳（メタデータ） (2023-02-09T13:21:18Z) - GraphCoCo: Graph Complementary Contrastive Learning [65.89743197355722]
グラフコントラスト学習(GCL)は、手作業によるアノテーションの監督なしに、グラフ表現学習(GRL)において有望な性能を示した。
本稿では,この課題に対処するため,グラフココというグラフ補完型コントラスト学習手法を提案する。
論文 参考訳（メタデータ） (2022-03-24T02:58:36Z) - Graph Representation Learning via Contrasting Cluster Assignments [57.87743170674533]
GRCCAと呼ばれるクラスタ割り当てを対比して、教師なしグラフ表現モデルを提案する。
クラスタリングアルゴリズムとコントラスト学習を組み合わせることで、局所的およびグローバルな情報を合成的にうまく活用する動機付けがある。
GRCCAは、ほとんどのタスクにおいて強力な競争力を持っている。
論文 参考訳（メタデータ） (2021-12-15T07:28:58Z) - A Robust and Generalized Framework for Adversarial Graph Embedding [73.37228022428663]
本稿では,AGE という逆グラフ埋め込みのための頑健なフレームワークを提案する。
AGEは、暗黙の分布から強化された負のサンプルとして偽の隣接ノードを生成する。
本フレームワークでは,3種類のグラフデータを扱う3つのモデルを提案する。
論文 参考訳（メタデータ） (2021-05-22T07:05:48Z) - Group-Wise Semantic Mining for Weakly Supervised Semantic Segmentation [49.90178055521207]
この研究は、画像レベルのアノテーションとピクセルレベルのセグメンテーションのギャップを埋めることを目標に、弱い監督されたセマンティックセグメンテーション(WSSS)に対処する。
画像群における意味的依存関係を明示的にモデル化し,より信頼性の高い擬似的基盤構造を推定する,新たなグループ学習タスクとしてWSSSを定式化する。
特に、入力画像がグラフノードとして表現されるグループ単位のセマンティックマイニングのためのグラフニューラルネットワーク(GNN)を考案する。
論文 参考訳（メタデータ） (2020-12-09T12:40:13Z) - Graph Contrastive Learning with Adaptive Augmentation [23.37786673825192]
本稿では,適応的拡張を用いた新しいグラフコントラスト表現学習法を提案する。
具体的には,ノードの集中度に基づく拡張スキームを設計し,重要な結合構造を明らかにする。
提案手法は,既存の最先端のベースラインを一貫して上回り,教師付きベースラインを超えている。
論文 参考訳（メタデータ） (2020-10-27T15:12:21Z) - Self-supervised Graph Learning for Recommendation [69.98671289138694]
ユーザ・イテムグラフを用いた自己教師型学習を推奨する。
補助的自己監督タスクは、自己識別によるノード表現学習を強化する。
3つのベンチマークデータセットに関する実証的研究は、SGLの有効性を示す。
論文 参考訳（メタデータ） (2020-10-21T06:35:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。