論文の概要: CIMAGE: Exploiting the Conditional Independence in Masked Graph Auto-encoders

• arxiv url: http://arxiv.org/abs/2503.07852v1
• Date: Mon, 10 Mar 2025 20:59:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-12 15:45:23.482718
• Title: CIMAGE: Exploiting the Conditional Independence in Masked Graph Auto-encoders
• Title（参考訳）: CIMAGE: マス付きグラフ自動エンコーダにおける条件付き独立性の爆発
• Authors: Jongwon Park, Heesoo Jung, Hogun Park,
• Abstract要約: 条件付き独立性(CI)は本質的に最小冗長性と最大関連基準を満たすが、その適用は通常下流ラベルへのアクセスを必要とする。 CIMAGEは、条件付き独立を利用して、潜伏空間における効果的なマスキング戦略を導出する新しいアプローチである。 我々の理論解析は,CIMAGEの新しいCI対応マスキング手法の優位性をさらに裏付けるものである。
• 参考スコア（独自算出の注目度）: 3.700463358780727
• License:
• Abstract: Recent Self-Supervised Learning (SSL) methods encapsulating relational information via masking in Graph Neural Networks (GNNs) have shown promising performance. However, most existing approaches rely on random masking strategies in either feature or graph space, which may fail to capture task-relevant information fully. We posit that this limitation stems from an inability to achieve minimum redundancy between masked and unmasked components while ensuring maximum relevance of both to potential downstream tasks. Conditional Independence (CI) inherently satisfies the minimum redundancy and maximum relevance criteria, but its application typically requires access to downstream labels. To address this challenge, we introduce CIMAGE, a novel approach that leverages Conditional Independence to guide an effective masking strategy within the latent space. CIMAGE utilizes CI-aware latent factor decomposition to generate two distinct contexts, leveraging high-confidence pseudo-labels derived from unsupervised graph clustering. In this framework, the pretext task involves reconstructing the masked second context solely from the information provided by the first context. Our theoretical analysis further supports the superiority of CIMAGE's novel CI-aware masking method by demonstrating that the learned embedding exhibits approximate linear separability, which enables accurate predictions for the downstream task. Comprehensive evaluations across diverse graph benchmarks illustrate the advantage of CIMAGE, with notably higher average rankings on node classification and link prediction tasks. Notably, our proposed model highlights the under-explored potential of CI in enhancing graph SSL methodologies and offers enriched insights for effective graph representation learning.
• Abstract（参考訳）: 近年,グラフニューラルネットワーク(GNN)におけるマスキングによって関係情報をカプセル化する自己監視学習(SSL)手法は,有望な性能を示している。 しかし、既存のほとんどのアプローチは、機能またはグラフ空間のランダムマスキング戦略に依存しており、タスク関連情報をフルに取得できない可能性がある。 この制限は、マスクされたコンポーネントとマスクされていないコンポーネントの最小冗長性を達成できないことと、下流タスクの双方の最大の関連性を保証することに起因していると仮定する。 条件付き独立性(CI)は本質的に最小冗長性と最大関連基準を満たすが、その適用は通常下流ラベルへのアクセスを必要とする。 この課題に対処するために,CIMAGEは条件付き独立性を利用して,潜伏空間における効果的なマスキング戦略を導出する手法である。 CIMAGEはCI対応の潜在因子分解を利用して、2つの異なるコンテキストを生成し、教師なしグラフクラスタリングから派生した高信頼の擬似ラベルを活用する。 このフレームワークでは、第1のコンテキストが提供する情報からのみマスクされた第2のコンテキストを再構築する。 我々の理論解析は,CIMAGEの新しいCI対応マスキング手法の優位性をさらに裏付けるものであり,学習された埋め込みが近似線形分離性を示し,下流タスクの正確な予測を可能にすることを証明している。 多様なグラフベンチマークによる総合的な評価は、CIMAGEの利点を示し、特にノード分類とリンク予測タスクにおける平均ランクが高かった。 特に,提案モデルでは,グラフSSL手法の強化におけるCIの未探索の可能性を強調し,グラフ表現学習に有効な知見を提供する。

関連論文リスト

• Leveraging Joint Predictive Embedding and Bayesian Inference in Graph Self Supervised Learning [0.0]
  グラフ表現学習は、ノード分類やリンク予測といったタスクの基盤として登場した。 現在の自己教師付き学習(SSL)手法は、計算の非効率性、対照的な目的への依存、表現の崩壊といった課題に直面している。 本稿では,意味情報と構造情報を保存しながら,対照的な目的と負のサンプリングを排除したグラフSSLのための新しい結合埋め込み予測フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-02T07:42:45Z)
• Bridge the Points: Graph-based Few-shot Segment Anything Semantically [79.1519244940518]
  プレトレーニング技術の最近の進歩により、視覚基礎モデルの能力が向上した。 最近の研究はSAMをFew-shot Semantic segmentation (FSS)に拡張している。 本稿では,グラフ解析に基づく簡易かつ効果的な手法を提案する。
  論文  参考訳（メタデータ） (2024-10-09T15:02:28Z)
• Boosting Graph Neural Network Expressivity with Learnable Lanczos Constraints [7.605749412696919]
  グラフニューラルネットワーク(GNN)はグラフ構造化データの処理に優れるが、リンク予測タスクでは性能が劣ることが多い。 グラフラプラシア行列の固有基底に誘導された部分グラフを埋め込むことによりGNNの表現性を高める新しい手法を提案する。 本研究では,2-WLで区別できないグラフを,効率的な時間的複雑性を維持しながら識別できることを実証する。
  論文  参考訳（メタデータ） (2024-08-22T12:22:00Z)
• A Pure Transformer Pretraining Framework on Text-attributed Graphs [50.833130854272774]
  グラフ構造を先行として扱うことで,特徴中心の事前学習の視点を導入する。 我々のフレームワークであるGraph Sequence Pretraining with Transformer (GSPT)はランダムウォークを通してノードコンテキストをサンプリングする。 GSPTはノード分類とリンク予測の両方に容易に適応でき、様々なデータセットで有望な経験的成功を示す。
  論文  参考訳（メタデータ） (2024-06-19T22:30:08Z)
• UGMAE: A Unified Framework for Graph Masked Autoencoders [67.75493040186859]
  グラフマスク付きオートエンコーダのための統一フレームワークであるUGMAEを提案する。 まず,ノードの特異性を考慮した適応型特徴マスク生成器を開発した。 次に,階層型構造再構成と特徴再構成を併用し,総合的なグラフ情報を取得する。
  論文  参考訳（メタデータ） (2024-02-12T19:39:26Z)
• Rethinking Graph Masked Autoencoders through Alignment and Uniformity [26.86368034133612]
  グラフ上の自己教師付き学習は、対照的で生成的な方法に分岐することができる。 グラフマスク付きオートエンコーダ(GraphMAE)の最近の出現は、生成法の背後にあるモーメントを回復させる。
  論文  参考訳（メタデータ） (2024-02-11T15:21:08Z)
• RARE: Robust Masked Graph Autoencoder [45.485891794905946]
  Masked graph autoencoder (MGAE) は、有望な自己教師付きグラフ事前学習(SGP)パラダイムとして登場した。 本稿では,ロバストmAsked gRaph autoEncoder (RARE) と呼ばれる新しいSGP手法を提案する。
  論文  参考訳（メタデータ） (2023-04-04T03:35:29Z)
• Mixed Graph Contrastive Network for Semi-Supervised Node Classification [63.924129159538076]
  我々はMixed Graph Contrastive Network(MGCN)と呼ばれる新しいグラフコントラスト学習手法を提案する。 本研究では,非摂動増強戦略と相関還元機構により,潜伏埋め込みの識別能力を向上する。 これら2つの設定を組み合わせることで、識別表現学習のために、豊富なノードと稀に価値あるラベル付きノードの両方から、豊富な監視情報を抽出する。
  論文  参考訳（メタデータ） (2022-06-06T14:26:34Z)
• Graph Representation Learning via Graphical Mutual Information Maximization [86.32278001019854]
  本稿では,入力グラフとハイレベルな隠蔽表現との相関を測る新しい概念であるGMIを提案する。 我々は,グラフニューラルエンコーダの入力と出力の間でGMIを最大化することで訓練された教師なし学習モデルを開発する。
  論文  参考訳（メタデータ） (2020-02-04T08:33:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。