論文の概要: CARL-G: Clustering-Accelerated Representation Learning on Graphs

• arxiv url: http://arxiv.org/abs/2306.06936v2
• Date: Mon, 31 Jul 2023 20:54:18 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-02 17:30:19.132920
• Title: CARL-G: Clustering-Accelerated Representation Learning on Graphs
• Title（参考訳）: CARL-G: グラフによるクラスタリング高速化表現学習
• Authors: William Shiao, Uday Singh Saini, Yozen Liu, Tong Zhao, Neil Shah, Evangelos E. Papalexakis
• Abstract要約: 本稿では,クラスタ検証指標(CVI)にインスパイアされた損失を利用したグラフ表現学習のための新しいクラスタリングベースのフレームワークを提案する。 CARL-Gはクラスタリング法やCVIに適応し,クラスタリング法とCVIの適切な選択により,CARL-Gは4/5データセットのノード分類ベースラインを最大79倍のトレーニングスピードアップで上回ることを示す。
• 参考スコア（独自算出の注目度）: 18.763104937800215
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Self-supervised learning on graphs has made large strides in achieving great performance in various downstream tasks. However, many state-of-the-art methods suffer from a number of impediments, which prevent them from realizing their full potential. For instance, contrastive methods typically require negative sampling, which is often computationally costly. While non-contrastive methods avoid this expensive step, most existing methods either rely on overly complex architectures or dataset-specific augmentations. In this paper, we ask: Can we borrow from classical unsupervised machine learning literature in order to overcome those obstacles? Guided by our key insight that the goal of distance-based clustering closely resembles that of contrastive learning: both attempt to pull representations of similar items together and dissimilar items apart. As a result, we propose CARL-G - a novel clustering-based framework for graph representation learning that uses a loss inspired by Cluster Validation Indices (CVIs), i.e., internal measures of cluster quality (no ground truth required). CARL-G is adaptable to different clustering methods and CVIs, and we show that with the right choice of clustering method and CVI, CARL-G outperforms node classification baselines on 4/5 datasets with up to a 79x training speedup compared to the best-performing baseline. CARL-G also performs at par or better than baselines in node clustering and similarity search tasks, training up to 1,500x faster than the best-performing baseline. Finally, we also provide theoretical foundations for the use of CVI-inspired losses in graph representation learning.
• Abstract（参考訳）: グラフ上での自己教師あり学習は、様々な下流タスクで大きなパフォーマンスを達成する上で大きな進歩を遂げた。 しかし、最先端の手法の多くは障害を抱えており、その可能性を最大限に発揮できない。 例えば、対照的な方法は一般的に負のサンプリングを必要とし、しばしば計算コストがかかる。 非矛盾的メソッドはこの高価なステップを避けるが、既存のメソッドの多くは複雑なアーキテクチャやデータセット固有の拡張に依存している。 本稿では、これらの障害を克服するために、古典的な教師なし機械学習文献から借用できるだろうか? 距離ベースのクラスタリングのゴールは、類似したアイテムの表現をまとめ、異なるアイテムを分割するという、対照的な学習の目標とよく似ている、という私たちの重要な洞察に導かれています。 その結果、carl-gは、クラスタ検証インデックス(cvis)に触発された損失、すなわちクラスタ品質の内部測定(基礎的真理は不要)を利用した、グラフ表現学習のための新しいクラスタリングベースのフレームワークである。 CARL-Gはクラスタリング法やCVIに適応し,クラスタリング法とCVIの適切な選択により,CARL-Gは4/5データセットのノード分類ベースラインを最大79倍のトレーニングスピードアップで上回ることを示す。 CARL-Gは、ノードクラスタリングや類似検索タスクのベースラインと同等以上のパフォーマンスを示し、最高のパフォーマンスのベースラインよりも最大1500倍高速にトレーニングする。 最後に,CVIによるグラフ表現学習における損失の理論的基礎も提供する。

関連論文リスト

• Deep Contrastive Graph Learning with Clustering-Oriented Guidance [61.103996105756394]
  グラフ畳み込みネットワーク(GCN)は、グラフベースのクラスタリングを改善する上で大きな可能性を秘めている。 モデルはGCNを適用するために初期グラフを事前に推定する。 一般的なデータクラスタリングには,Deep Contrastive Graph Learning (DCGL)モデルが提案されている。
  論文  参考訳（メタデータ） (2024-02-25T07:03:37Z)
• CLC: Cluster Assignment via Contrastive Representation Learning [9.631532215759256]
  コントラスト学習を用いてクラスタ割り当てを直接学習するコントラスト学習ベースのクラスタリング(CLC)を提案する。 完全なImageNetデータセットで53.4%の精度を実現し、既存のメソッドを大きなマージンで上回ります。
  論文  参考訳（メタデータ） (2023-06-08T07:15:13Z)
• Localized Contrastive Learning on Graphs [110.54606263711385]
  局所グラフコントラスト学習(Local-GCL)という,シンプルだが効果的なコントラストモデルを導入する。 その単純さにもかかわらず、Local-GCLは、様々なスケールと特性を持つグラフ上の自己教師付きノード表現学習タスクにおいて、非常に競争力のある性能を達成する。
  論文  参考訳（メタデータ） (2022-12-08T23:36:00Z)
• GLCC: A General Framework for Graph-level Clustering [5.069852282550117]
  本稿では,グラフレベルのクラスタリングの問題について検討する。 GLCC(Graph-Level Contrastive Clustering)というグラフレベルの一般的なクラスタリングフレームワークを提案する。 様々なよく知られたデータセットに対する実験は、競合するベースラインよりも提案したGLCCの方が優れていることを示す。
  論文  参考訳（メタデータ） (2022-10-21T11:08:10Z)
• CGC: Contrastive Graph Clustering for Community Detection and Tracking [33.48636823444052]
  グラフクラスタリングのための新しいエンドツーエンドフレームワークであるCGCを開発した。 CGCは、対照的なグラフ学習フレームワークでノードの埋め込みとクラスタ割り当てを学習する。 時間進化データに対してCGCを拡張し、時間的グラフクラスタリングを漸進的な学習方式で行う。
  論文  参考訳（メタデータ） (2022-04-05T17:34:47Z)
• ACTIVE:Augmentation-Free Graph Contrastive Learning for Partial Multi-View Clustering [52.491074276133325]
  部分的マルチビュークラスタリングの問題を解決するために,拡張自由グラフコントラスト学習フレームワークを提案する。 提案手法は、インスタンスレベルのコントラスト学習と欠落データ推論をクラスタレベルに高め、個々の欠落データがクラスタリングに与える影響を効果的に軽減する。
  論文  参考訳（メタデータ） (2022-03-01T02:32:25Z)
• Effective and Efficient Graph Learning for Multi-view Clustering [173.8313827799077]
  マルチビュークラスタリングのための効率的かつ効率的なグラフ学習モデルを提案する。 本手法はテンソルシャッテンp-ノルムの最小化により異なるビューのグラフ間のビュー類似性を利用する。 提案アルゴリズムは時間経済であり,安定した結果を得るとともに,データサイズによく対応している。
  論文  参考訳（メタデータ） (2021-08-15T13:14:28Z)
• Graph Contrastive Clustering [131.67881457114316]
  本稿では,クラスタリングタスクに適用可能な新しいグラフコントラスト学習フレームワークを提案し,gcc(graph constrastive clustering)法を考案した。 特に、グラフラプラシアンに基づくコントラスト損失は、より識別的かつクラスタリングフレンドリーな特徴を学ぶために提案されている。 一方で、よりコンパクトなクラスタリング割り当てを学ぶために、グラフベースのコントラスト学習戦略が提案されている。
  論文  参考訳（メタデータ） (2021-04-03T15:32:49Z)
• Structured Graph Learning for Clustering and Semi-supervised Classification [74.35376212789132]
  データの局所構造とグローバル構造の両方を保存するためのグラフ学習フレームワークを提案する。 本手法は, サンプルの自己表現性を利用して, 局所構造を尊重するために, 大域的構造と適応的隣接アプローチを捉える。 我々のモデルは、ある条件下でのカーネルk平均法とk平均法の組合せと等価である。
  論文  参考訳（メタデータ） (2020-08-31T08:41:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。