論文の概要: Preserving Node Distinctness in Graph Autoencoders via Similarity Distillation
- arxiv url: http://arxiv.org/abs/2406.17517v1
- Date: Tue, 25 Jun 2024 12:54:35 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-26 14:32:18.397635
- Title: Preserving Node Distinctness in Graph Autoencoders via Similarity Distillation
- Title（参考訳）: 類似度蒸留によるグラフオートエンコーダのノード識別性保持
- Authors: Ge Chen, Yulan Hu, Sheng Ouyang, Yong Liu, Cuicui Luo,
- Abstract要約: グラフオートエンコーダ(GAE)は、平均二乗誤差(MSE)のような距離ベースの基準に依存して入力グラフを再構築する。
単一の再構築基準にのみ依存すると 再建されたグラフの 特徴が失われる可能性がある
我々は,再構成されたグラフにおいて,必要な相違性を維持するための簡易かつ効果的な戦略を開発した。
- 参考スコア（独自算出の注目度）: 9.395697548237333
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Graph autoencoders (GAEs), as a kind of generative self-supervised learning approach, have shown great potential in recent years. GAEs typically rely on distance-based criteria, such as mean-square-error (MSE), to reconstruct the input graph. However, relying solely on a single reconstruction criterion may lead to a loss of distinctiveness in the reconstructed graph, causing nodes to collapse into similar representations and resulting in sub-optimal performance. To address this issue, we have developed a simple yet effective strategy to preserve the necessary distinctness in the reconstructed graph. Inspired by the knowledge distillation technique, we found that the dual encoder-decoder architecture of GAEs can be viewed as a teacher-student relationship. Therefore, we propose transferring the knowledge of distinctness from the raw graph to the reconstructed graph, achieved through a simple KL constraint. Specifically, we compute pairwise node similarity scores in the raw graph and reconstructed graph. During the training process, the KL constraint is optimized alongside the reconstruction criterion. We conducted extensive experiments across three types of graph tasks, demonstrating the effectiveness and generality of our strategy. This indicates that the proposed approach can be employed as a plug-and-play method to avoid vague reconstructions and enhance overall performance.
- Abstract（参考訳）: グラフオートエンコーダ (GAE) は, 生成的自己教師型学習手法の一種であり, 近年大きな可能性を示している。
GAEは通常、平均二乗誤差(MSE)のような距離ベースの基準に頼り、入力グラフを再構築する。
しかし、単一の再構成基準のみに依存すると、再構成されたグラフの特異性が失われ、ノードが同様の表現に崩壊し、準最適性能がもたらされる可能性がある。
この問題に対処するために、再構築されたグラフにおける必要な相違性を維持するための、シンプルで効果的な戦略を開発した。
知識蒸留技術に着想を得て,GAEの二重エンコーダデコーダアーキテクチャを教師-学生関係とみなすことができた。
そこで本研究では,単純なKL制約によって達成された生グラフから再構成グラフへの相違点の知識の移譲を提案する。
具体的には、生グラフと再構成グラフのペアワイズノード類似度スコアを計算する。
トレーニングプロセス中、KL制約は再構築基準とともに最適化される。
我々は3種類のグラフタスクにまたがる広範な実験を行い、戦略の有効性と汎用性を実証した。
提案手法は,曖昧な再構成を回避し,全体的な性能を向上させるために,プラグアンドプレイ法として利用できることを示す。
関連論文リスト
- Contrastive Graph Condensation: Advancing Data Versatility through Self-Supervised Learning [47.74244053386216]
グラフ凝縮は、大規模原グラフのコンパクトで代替的なグラフを合成するための有望な解である。
本稿では、自己教師型代理タスクを取り入れたCTGC(Contrastive Graph Condensation)を導入し、元のグラフから批判的、因果的な情報を抽出する。
CTGCは、様々な下流タスクを限られたラベルで処理し、一貫して最先端のGCメソッドより優れている。
論文 参考訳（メタデータ） (2024-11-26T03:01:22Z) - GraphCroc: Cross-Correlation Autoencoder for Graph Structural Reconstruction [6.817416560637197]
グラフオートエンコーダ(GAE)はノード埋め込みからグラフ構造を再構築する。
我々はGAE表現能力を著しく向上する相互相関機構を導入する。
また、さまざまな下流タスクに適したフレキシブルエンコーダアーキテクチャをサポートする新しいGAEであるGraphCrocを提案する。
論文 参考訳（メタデータ） (2024-10-04T12:59:45Z) - HC-GAE: The Hierarchical Cluster-based Graph Auto-Encoder for Graph Representation Learning [24.641827220223682]
グラフデータ解析に有効な構造特性を学習できる階層型クラスタベースGAE(HC-GAE)を開発した。
提案したHC-GAEは,ノード分類やグラフ分類に有効な表現を生成できる。
論文 参考訳（メタデータ） (2024-05-23T16:08:04Z) - Rethinking Graph Masked Autoencoders through Alignment and Uniformity [26.86368034133612]
グラフ上の自己教師付き学習は、対照的で生成的な方法に分岐することができる。
グラフマスク付きオートエンコーダ(GraphMAE)の最近の出現は、生成法の背後にあるモーメントを回復させる。
論文 参考訳（メタデータ） (2024-02-11T15:21:08Z) - Localized Contrastive Learning on Graphs [110.54606263711385]
局所グラフコントラスト学習(Local-GCL)という,シンプルだが効果的なコントラストモデルを導入する。
その単純さにもかかわらず、Local-GCLは、様々なスケールと特性を持つグラフ上の自己教師付きノード表現学習タスクにおいて、非常に競争力のある性能を達成する。
論文 参考訳（メタデータ） (2022-12-08T23:36:00Z) - GraphCoCo: Graph Complementary Contrastive Learning [65.89743197355722]
グラフコントラスト学習(GCL)は、手作業によるアノテーションの監督なしに、グラフ表現学習(GRL)において有望な性能を示した。
本稿では,この課題に対処するため,グラフココというグラフ補完型コントラスト学習手法を提案する。
論文 参考訳（メタデータ） (2022-03-24T02:58:36Z) - Towards Unsupervised Deep Graph Structure Learning [67.58720734177325]
本稿では,学習したグラフトポロジを外部ガイダンスなしでデータ自身で最適化する,教師なしグラフ構造学習パラダイムを提案する。
具体的には、元のデータから"アンカーグラフ"として学習目標を生成し、対照的な損失を用いてアンカーグラフと学習グラフとの一致を最大化する。
論文 参考訳（メタデータ） (2022-01-17T11:57:29Z) - A Robust and Generalized Framework for Adversarial Graph Embedding [73.37228022428663]
本稿では,AGE という逆グラフ埋め込みのための頑健なフレームワークを提案する。
AGEは、暗黙の分布から強化された負のサンプルとして偽の隣接ノードを生成する。
本フレームワークでは,3種類のグラフデータを扱う3つのモデルを提案する。
論文 参考訳（メタデータ） (2021-05-22T07:05:48Z) - Diversified Multiscale Graph Learning with Graph Self-Correction [55.43696999424127]
2つのコア成分を組み込んだ多次元グラフ学習モデルを提案します。
情報埋め込みグラフを生成するグラフ自己補正(GSC)機構、および入力グラフの包括的な特性評価を達成するために多様性ブースト正規化(DBR)。
一般的なグラフ分類ベンチマークの実験は、提案されたGSCメカニズムが最先端のグラフプーリング方法よりも大幅に改善されることを示しています。
論文 参考訳（メタデータ） (2021-03-17T16:22:24Z) - Self-Constructing Graph Convolutional Networks for Semantic Labeling [23.623276007011373]
本稿では,学習可能な潜伏変数を用いて埋め込みを生成する自己構築グラフ(SCG)を提案する。
SCGは、空中画像中の複雑な形状の物体から、最適化された非局所的なコンテキストグラフを自動的に取得することができる。
本稿では,ISPRS Vaihingen データセット上で提案した SCG の有効性と柔軟性を示す。
論文 参考訳（メタデータ） (2020-03-15T21:55:24Z) - Embedding Graph Auto-Encoder for Graph Clustering [90.8576971748142]
グラフ自動エンコーダ(GAE)モデルは、半教師付きグラフ畳み込みネットワーク(GCN)に基づく
我々は、グラフクラスタリングのための特定のGAEベースのモデルを設計し、その理論、すなわち、埋め込みグラフオートエンコーダ(EGAE)と整合する。
EGAEは1つのエンコーダと2つのデコーダで構成される。
論文 参考訳（メタデータ） (2020-02-20T09:53:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。