論文の概要: CCGL: Contrastive Cascade Graph Learning

• arxiv url: http://arxiv.org/abs/2107.12576v1
• Date: Tue, 27 Jul 2021 03:37:50 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-28 14:35:30.133141
• Title: CCGL: Contrastive Cascade Graph Learning
• Title（参考訳）: CCGL: 対照的なカスケードグラフ学習
• Authors: Xovee Xu, Fan Zhou, Kunpeng Zhang, Siyuan Liu
• Abstract要約: Contrastive Cascade Graph Learning (CCGL)は、カスケードグラフ表現学習のための新しいフレームワークである。 CCGLは、自己教師付きコントラスト事前学習を通じて、グラフカスケードタスクの汎用モデルを学ぶ。 ラベル付きデータを用いた微調整によりタスク固有のカスケードモデルを学習する。
• 参考スコア（独自算出の注目度）: 25.43615673424728
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Supervised learning, while prevalent for information cascade modeling, often requires abundant labeled data in training, and the trained model is not easy to generalize across tasks and datasets. Semi-supervised learning facilitates unlabeled data for cascade understanding in pre-training. It often learns fine-grained feature-level representations, which can easily result in overfitting for downstream tasks. Recently, contrastive self-supervised learning is designed to alleviate these two fundamental issues in linguistic and visual tasks. However, its direct applicability for cascade modeling, especially graph cascade related tasks, remains underexplored. In this work, we present Contrastive Cascade Graph Learning (CCGL), a novel framework for cascade graph representation learning in a contrastive, self-supervised, and task-agnostic way. In particular, CCGL first designs an effective data augmentation strategy to capture variation and uncertainty. Second, it learns a generic model for graph cascade tasks via self-supervised contrastive pre-training using both unlabeled and labeled data. Third, CCGL learns a task-specific cascade model via fine-tuning using labeled data. Finally, to make the model transferable across datasets and cascade applications, CCGL further enhances the model via distillation using a teacher-student architecture. We demonstrate that CCGL significantly outperforms its supervised and semi-supervised counterpartsfor several downstream tasks.
• Abstract（参考訳）: 教師付き学習は、情報カスケードモデリングによく使われるが、トレーニングでは豊富なラベル付きデータを必要とすることが多く、トレーニングされたモデルはタスクやデータセットをまたいで簡単に一般化できない。 半教師付き学習は、事前学習におけるカスケード理解のためのラベルなしデータを促進する。 しばしばきめ細かい機能レベルの表現を学習し、ダウンストリームタスクの過度な適合をもたらす可能性がある。 近年,言語課題と視覚課題の2つの根本的な問題を緩和するために,コントラスト型自己教師学習が設計されている。 しかし、カスケードモデリング、特にグラフカスケード関連タスクへの直接適用性は未解明のままである。 本研究では,コントラストグラフ表現学習のための新しいフレームワークであるコントラストカスケードグラフ学習(ccgl)を提案する。 特に、CCGLは、変動と不確実性を捉える効果的なデータ拡張戦略を最初に設計した。 次に、ラベルなしデータとラベル付きデータの両方を使用して、自己教師付きコントラストプレトレーニングを通じてグラフカスケードタスクのジェネリックモデルを学ぶ。 第3に、CCGLはラベル付きデータを用いた微調整によりタスク固有のカスケードモデルを学習する。 最後に、データセットやカスケードアプリケーション間でモデルを転送できるようにするため、CCGLは教師/学生アーキテクチャを使用した蒸留によりモデルをさらに強化する。 CCGLは、いくつかの下流タスクにおいて、教師付きおよび半教師付きタスクを著しく上回っていることを示す。

関連論文リスト

• TCGU: Data-centric Graph Unlearning based on Transferable Condensation [36.670771080732486]
  Transferable Condensation Graph Unlearning (TCGU)は、ゼロガンスグラフアンラーニングのためのデータ中心のソリューションである。 我々は,TGUが既存のGU手法よりもモデルユーティリティ,未学習効率,未学習効率において優れた性能を発揮することを示す。
  論文  参考訳（メタデータ） (2024-10-09T02:14:40Z)
• GraphFM: A Comprehensive Benchmark for Graph Foundation Model [33.157367455390144]
  ファンデーション・モデル(FM)は、人工知能システムの開発のための一般的なクラスである。 FMの基礎として自己教師型学習の研究が盛んに行われたが、いくつかの顕著な問題が続いている。 下流タスクにおける一般化能力の程度は未だ不明である。 これらのモデルが大規模なデータセットにどの程度効果的にスケールできるかは不明だ。
  論文  参考訳（メタデータ） (2024-06-12T15:10:44Z)
• Deep Contrastive Graph Learning with Clustering-Oriented Guidance [61.103996105756394]
  グラフ畳み込みネットワーク(GCN)は、グラフベースのクラスタリングを改善する上で大きな可能性を秘めている。 モデルはGCNを適用するために初期グラフを事前に推定する。 一般的なデータクラスタリングには,Deep Contrastive Graph Learning (DCGL)モデルが提案されている。
  論文  参考訳（メタデータ） (2024-02-25T07:03:37Z)
• ZeroG: Investigating Cross-dataset Zero-shot Transferability in Graphs [36.749959232724514]
  ZeroGは、クロスデータセットの一般化を可能にするために設計された新しいフレームワークである。 特徴の不整合、ラベル空間の整合、負の移動といった、固有の課題に対処する。 本稿では,抽出したサブグラフの意味情報と構造情報を豊かにするための,プロンプトベースのサブグラフサンプリングモジュールを提案する。
  論文  参考訳（メタデータ） (2024-02-17T09:52:43Z)
• PUMA: Efficient Continual Graph Learning for Node Classification with Graph Condensation [49.00940417190911]
  既存のグラフ表現学習モデルは、新しいグラフを学習する際に破滅的な問題に遭遇する。 本稿では,PUMA(PUdo-label guided Memory bAnkrogation)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-22T05:09:58Z)
• Contrastive Graph Few-Shot Learning [67.01464711379187]
  グラフマイニングタスクのためのコントラストグラフFew-shot Learningフレームワーク(CGFL)を提案する。 CGFLは、データ表現を自己管理的に学習し、分散シフトの影響を緩和し、より良い一般化を行う。 総合的な実験により、CGFLはいくつかのグラフマイニングタスクにおいて最先端のベースラインより優れていることが示された。
  論文  参考訳（メタデータ） (2022-09-30T20:40:23Z)
• Data-Free Adversarial Knowledge Distillation for Graph Neural Networks [62.71646916191515]
  グラフ構造化データ(DFAD-GNN)を用いたデータフリー逆知識蒸留のための第1のエンドツーエンドフレームワークを提案する。 具体的には、DFAD-GNNは、教師モデルと学生モデルとを2つの識別器とみなし、教師モデルから学生モデルに知識を抽出するために学習グラフを導出するジェネレータという、主に3つの成分からなる生成的対向ネットワークを採用している。 我々のDFAD-GNNは、グラフ分類タスクにおける最先端のデータフリーベースラインを大幅に上回っている。
  論文  参考訳（メタデータ） (2022-05-08T08:19:40Z)
• Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
  グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。 GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。 提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
  論文  参考訳（メタデータ） (2022-03-03T09:53:53Z)
• A Deep Latent Space Model for Graph Representation Learning [10.914558012458425]
  本稿では,従来の潜時変動に基づく生成モデルをディープラーニングフレームワークに組み込むために,有向グラフのための深潜時空間モデル(DLSM)を提案する。 提案モデルは,階層的変動型オートエンコーダアーキテクチャによって階層的に接続されるグラフ畳み込みネットワーク(GCN)エンコーダとデコーダから構成される。 実世界のデータセットにおける実験により,提案モデルがリンク予測とコミュニティ検出の両タスクにおける最先端のパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2021-06-22T12:41:19Z)
• Revisiting Graph based Collaborative Filtering: A Linear Residual Graph Convolutional Network Approach [55.44107800525776]
  グラフ畳み込みネットワーク(GCN)は、最先端のグラフベースの表現学習モデルである。 本稿では、GCNベースの協調フィルタリング(CF)ベースのレコメンダシステム(RS)について再検討する。 単純なグラフ畳み込みネットワークの理論と整合して,非線形性を取り除くことで推奨性能が向上することを示す。 本稿では,ユーザ・イテム相互作用モデリングを用いたCF用に特別に設計された残差ネットワーク構造を提案する。
  論文  参考訳（メタデータ） (2020-01-28T04:41:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。