論文の概要: Graph Self Supervised Learning: the BT, the HSIC, and the VICReg

• arxiv url: http://arxiv.org/abs/2105.12247v1
• Date: Tue, 25 May 2021 22:34:19 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-28 04:57:41.630855
• Title: Graph Self Supervised Learning: the BT, the HSIC, and the VICReg
• Title（参考訳）: Graph Self Supervised Learning:BT, HSIC, VICReg
• Authors: Sayan Nag
• Abstract要約: 近年,特に畳み込みニューラルネットワーク(CNN)において,自己指導型学習と事前学習戦略が開発されている。 近年、グラフニューラルネットワーク(GNN)にもそのような手法が適用されている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Self-supervised learning and pre-training strategies have developed over the last few years especially for Convolutional Neural Networks (CNNs). Recently application of such methods can also be noticed for Graph Neural Networks (GNNs). In this paper, we have used a graph based self-supervised learning strategy with different loss functions (Barlow Twins[ 7], HSIC[ 4], VICReg[ 1]) which have shown promising results when applied with CNNs previously. We have also proposed a hybrid loss function combining the advantages of VICReg and HSIC and called it as VICRegHSIC. The performance of these aforementioned methods have been compared when applied to two different datasets namely MUTAG and PROTEINS. Moreover, the impact of different batch sizes, projector dimensions and data augmentation strategies have also been explored. The results are preliminary and we will be continuing to explore with other datasets.
• Abstract（参考訳）: 自己教師型学習と事前学習戦略はここ数年で特に畳み込みニューラルネットワーク(CNN)のために発展してきた。 近年,グラフニューラルネットワーク(GNN)にもそのような手法が適用されている。 本稿では,これまでcnnに適用した有望な結果を示す,損失関数の異なるグラフベースの自己教師付き学習戦略(barlow twins[7], hsic[4], vicreg[1])を用いてきた。 また、VICRegとHSICの利点を組み合わせたハイブリッド損失関数を提案し、VICRegHSICと呼ぶ。 これらの手法の性能は、MUTAG と PROTEINS という2つの異なるデータセットに適用した場合に比較されている。 さらに、異なるバッチサイズ、プロジェクタ次元、データ拡張戦略の影響も検討されている。 結果は予備的であり、他のデータセットで調査を続けます。

関連論文リスト

• Graph Transductive Defense: a Two-Stage Defense for Graph Membership Inference Attacks [50.19590901147213]
  グラフニューラルネットワーク(GNN)は、さまざまな現実世界のアプリケーションにおいて、強力なグラフ学習機能を提供する。 GNNは、メンバーシップ推論攻撃(MIA)を含む敵攻撃に対して脆弱である 本稿では,グラフトランスダクティブ学習特性に合わせて,グラフトランスダクティブ・ディフェンス(GTD)を提案する。
  論文  参考訳（メタデータ） (2024-06-12T06:36:37Z)
• Loss-aware Curriculum Learning for Heterogeneous Graph Neural Networks [30.333265803394998]
  異種グラフニューラルネットワーク(GNN)の性能向上のためのカリキュラム学習手法の適用について検討する。 データの品質をよりよく分類するために、データの全ノードの品質を測定するLTSと呼ばれる損失認識トレーニングスケジュールを設計する。 本研究は,複雑なグラフ構造データ解析のためのHGNNの能力向上のためのカリキュラム学習の有効性を示すものである。
  論文  参考訳（メタデータ） (2024-02-29T05:44:41Z)
• Efficient Heterogeneous Graph Learning via Random Projection [58.4138636866903]
  不均一グラフニューラルネットワーク(HGNN)は、異種グラフを深層学習するための強力なツールである。 最近のプリ計算ベースのHGNNは、一時間メッセージパッシングを使用して不均一グラフを正規形テンソルに変換する。 我々はRandom Projection Heterogeneous Graph Neural Network (RpHGNN) というハイブリッド計算前HGNNを提案する。
  論文  参考訳（メタデータ） (2023-10-23T01:25:44Z)
• Graph Neural Networks Provably Benefit from Structural Information: A Feature Learning Perspective [53.999128831324576]
  グラフニューラルネットワーク(GNN)は、グラフ表現学習の先駆けとなった。 本研究では,特徴学習理論の文脈におけるグラフ畳み込みの役割について検討する。
  論文  参考訳（メタデータ） (2023-06-24T10:21:11Z)
• Subgraph Networks Based Contrastive Learning [5.736011243152416]
  グラフコントラスト学習(GCL)は、注釈付きデータ不足の問題を解決する。 既存のGCL手法の多くは、グラフ拡張戦略や相互情報推定操作の設計に重点を置いている。 サブグラフネットワークに基づくコントラスト学習(SGNCL)という新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-06-06T08:52:44Z)
• Adversarial Learning Data Augmentation for Graph Contrastive Learning in Recommendation [56.10351068286499]
  グラフコントラスト学習のための学習可能なデータ拡張法(LDA-GCL)を提案する。 提案手法は,InfoMin と InfoMax の原則に従うデータ強化学習とグラフコントラスト学習を含む。 本手法は,データ拡張とユーザやアイテムの効果的な表現を学習するために,対向損失関数を最適化する。
  論文  参考訳（メタデータ） (2023-02-05T06:55:51Z)
• Revisiting Embeddings for Graph Neural Networks [0.0]
  画像とテキストの両方に対して異なる埋め込み抽出手法を探索する。 埋め込みの選択は異なるGNNアーキテクチャの性能に偏っていることがわかった。 本稿では,グラフ接続型ネットワーク(GraNet)層を提案する。
  論文  参考訳（メタデータ） (2022-09-19T20:37:55Z)
• GraphCoCo: Graph Complementary Contrastive Learning [65.89743197355722]
  グラフコントラスト学習(GCL)は、手作業によるアノテーションの監督なしに、グラフ表現学習(GRL)において有望な性能を示した。 本稿では,この課題に対処するため,グラフココというグラフ補完型コントラスト学習手法を提案する。
  論文  参考訳（メタデータ） (2022-03-24T02:58:36Z)
• Unveiling the potential of Graph Neural Networks for robust Intrusion Detection [2.21481607673149]
  本稿では,グラフとして構造化された攻撃の流れパターンを学習するための新しいグラフニューラルネットワーク(GNN)モデルを提案する。 我々のモデルは従来の実験と同等の精度を維持することができる一方、最先端のML技術は敵攻撃下で50%の精度(F1スコア)を低下させる。
  論文  参考訳（メタデータ） (2021-07-30T16:56:39Z)
• Graph Contrastive Learning with Augmentations [109.23158429991298]
  グラフデータの教師なし表現を学習するためのグラフコントラスト学習(GraphCL)フレームワークを提案する。 我々のフレームワークは、最先端の手法と比較して、類似またはより良い一般化可能性、転送可能性、堅牢性のグラフ表現を作成できることを示す。
  論文  参考訳（メタデータ） (2020-10-22T20:13:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。