論文の概要: Every Node is Different: Dynamically Fusing Self-Supervised Tasks for Attributed Graph Clustering

• arxiv url: http://arxiv.org/abs/2401.06595v1
• Date: Fri, 12 Jan 2024 14:24:10 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-15 19:22:54.239760
• Title: Every Node is Different: Dynamically Fusing Self-Supervised Tasks for Attributed Graph Clustering
• Title（参考訳）: ノード毎に異なる: 分散グラフクラスタリングのためのセルフスーパービジョンタスクを動的にFusingする
• Authors: Pengfei Zhu, Qian Wang, Yu Wang, Jialu Li, Qinghua Hu
• Abstract要約: グラフクラスタリングのための動的Fusing Self-Supervised Learning (DyFSS)を提案する。 DyFSSは、ゲーティングネットワークから派生した異なる重みを使って、多様なSSLタスクから抽出された特徴を融合する。 実験では、DyFSSは最先端のマルチタスクSSLメソッドよりも精度が最大8.66%向上している。
• 参考スコア（独自算出の注目度）: 59.45743537594695
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Attributed graph clustering is an unsupervised task that partitions nodes into different groups. Self-supervised learning (SSL) shows great potential in handling this task, and some recent studies simultaneously learn multiple SSL tasks to further boost performance. Currently, different SSL tasks are assigned the same set of weights for all graph nodes. However, we observe that some graph nodes whose neighbors are in different groups require significantly different emphases on SSL tasks. In this paper, we propose to dynamically learn the weights of SSL tasks for different nodes and fuse the embeddings learned from different SSL tasks to boost performance. We design an innovative graph clustering approach, namely Dynamically Fusing Self-Supervised Learning (DyFSS). Specifically, DyFSS fuses features extracted from diverse SSL tasks using distinct weights derived from a gating network. To effectively learn the gating network, we design a dual-level self-supervised strategy that incorporates pseudo labels and the graph structure. Extensive experiments on five datasets show that DyFSS outperforms the state-of-the-art multi-task SSL methods by up to 8.66% on the accuracy metric. The code of DyFSS is available at: https://github.com/q086/DyFSS.
• Abstract（参考訳）: attributed graph clusteringは教師なしのタスクで、ノードを異なるグループに分割する。 自己教師付き学習(SSL)は、このタスクを扱う大きな可能性を示し、最近の研究では、複数のSSLタスクを同時に学習し、パフォーマンスをさらに向上する。 現在、異なるSSLタスクはすべてのグラフノードの重みのセットに割り当てられている。 しかし,異なるグループに隣接しているグラフノードでは,SSLタスクのエムフェーズが著しく異なる場合がある。 本稿では,異なるノードに対するSSLタスクの重み付けを動的に学習し,異なるSSLタスクから学んだ埋め込みを融合させて性能を向上させることを提案する。 本研究では,動的Fusing Self-Supervised Learning (DyFSS) という,革新的なグラフクラスタリング手法を設計する。 特にDyFSSは、ゲーティングネットワークから派生した異なる重みを使って、多様なSSLタスクから抽出された機能を融合する。 ゲーティングネットワークを効果的に学習するために,擬似ラベルとグラフ構造を組み込んだデュアルレベル自己教師付き戦略を設計する。 5つのデータセットに対する大規模な実験により、DyFSSは最先端のマルチタスクSSLメソッドよりも精度が最大8.66%向上していることが示された。 DyFSSのコードは、https://github.com/q086/DyFSSで入手できる。

関連論文リスト

• Do Neural Scaling Laws Exist on Graph Self-Supervised Learning? [9.297227372861876]
  自己教師付き学習(SSL)は、大規模未ラベルデータの知識を効果的に活用することにより、NLPおよびCVドメインの基盤モデルを得るのに不可欠である。 グラフドメインの既存のSSLが、大規模な事前トレーニングでGraph Foundation Models(GFMs)を構築するためのスケーリング動作に従うことができるかどうかは、いまだ謎のままである。 本稿では,GFM開発における既存のSSL技術の実現可能性について検討し,新しい評価試行でグラフSSL設計の新たな方向性を開拓する。
  論文  参考訳（メタデータ） (2024-08-20T23:45:11Z)
• DATA: Domain-Aware and Task-Aware Pre-training [94.62676913928831]
  我々は、自己教師付き学習(SSL)に特化した、シンプルで効果的なNASアプローチであるDataを提示する。 提案手法は,画像分類,オブジェクト検出,セマンティックセグメンテーションなど,下流タスクにおける計算コストの広い範囲にわたる有望な結果を実現する。
  論文  参考訳（メタデータ） (2022-03-17T02:38:49Z)
• Sound and Visual Representation Learning with Multiple Pretraining Tasks [104.11800812671953]
  自己管理タスク(SSL)は、データと異なる特徴を明らかにする。 この作業は、下流のすべてのタスクをうまく一般化する複数のSSLタスク(Multi-SSL)を組み合わせることを目的としている。 音響表現の実験では、SSLタスクのインクリメンタルラーニング(IL)によるマルチSSLが、単一のSSLタスクモデルより優れていることが示されている。
  論文  参考訳（メタデータ） (2022-01-04T09:09:38Z)
• Self-Supervised Learning of Graph Neural Networks: A Unified Review [50.71341657322391]
  ラベルなしサンプルを多用する新たなパラダイムとして,自己教師型学習が登場している。 SSLを用いたグラフニューラルネットワーク(GNNs)のトレーニング方法の統一レビューを提供します。 gnnに対するssl手法の処理は,様々な手法の類似性と相違に光を当て,新しい手法やアルゴリズムの開発段階を定めている。
  論文  参考訳（メタデータ） (2021-02-22T03:43:45Z)
• Self-supervised Learning on Graphs: Deep Insights and New Direction [66.78374374440467]
  自己教師付き学習(SSL)は、ラベルのないデータにドメイン固有のプレテキストタスクを作成することを目的としている。 グラフニューラルネットワーク(GNN)の形でのグラフ領域へのディープラーニングの一般化への関心が高まっている。
  論文  参考訳（メタデータ） (2020-06-17T20:30:04Z)
• TAFSSL: Task-Adaptive Feature Sub-Space Learning for few-shot classification [50.358839666165764]
  本稿では,タスク適応機能サブスペース学習(TAFSSL)により,Few-Shot Learningシナリオの性能を大幅に向上させることができることを示す。 具体的には、挑戦的な miniImageNet と tieredImageNet ベンチマークにおいて、TAFSSL はトランスダクティブおよび半教師付き FSL 設定の両方で現在の状態を改善することができることを示しています。
  論文  参考訳（メタデータ） (2020-03-14T16:59:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。