論文の概要: A Graph is Worth 1-bit Spikes: When Graph Contrastive Learning Meets Spiking Neural Networks

• arxiv url: http://arxiv.org/abs/2305.19306v2
• Date: Mon, 19 Feb 2024 14:33:06 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-21 06:45:59.170365
• Title: A Graph is Worth 1-bit Spikes: When Graph Contrastive Learning Meets Spiking Neural Networks
• Title（参考訳）: グラフは1ビットのスパイクの価値:グラフのコントラスト学習がニューラルネットワークをスパイクするとき
• Authors: Jintang Li, Huizhe Zhang, Ruofan Wu, Zulun Zhu, Baokun Wang, Changhua Meng, Zibin Zheng, Liang Chen
• Abstract要約: SpikeGCLは、グラフのバイナライズされた1ビット表現を学ぶための新しいフレームワークである。 SpikeGCLが完全精度に匹敵するものであることを示すための理論的保証を提供する。
• 参考スコア（独自算出の注目度）: 35.35462459134551
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While contrastive self-supervised learning has become the de-facto learning paradigm for graph neural networks, the pursuit of higher task accuracy requires a larger hidden dimensionality to learn informative and discriminative full-precision representations, raising concerns about computation, memory footprint, and energy consumption burden (largely overlooked) for real-world applications. This work explores a promising direction for graph contrastive learning (GCL) with spiking neural networks (SNNs), which leverage sparse and binary characteristics to learn more biologically plausible and compact representations. We propose SpikeGCL, a novel GCL framework to learn binarized 1-bit representations for graphs, making balanced trade-offs between efficiency and performance. We provide theoretical guarantees to demonstrate that SpikeGCL has comparable expressiveness with its full-precision counterparts. Experimental results demonstrate that, with nearly 32x representation storage compression, SpikeGCL is either comparable to or outperforms many fancy state-of-the-art supervised and self-supervised methods across several graph benchmarks.
• Abstract（参考訳）: 対照的な自己教師型学習はグラフニューラルネットワークのデファクト学習パラダイムとなっているが、高いタスク精度の追求には、情報的かつ識別的な完全精度表現を学習し、計算、メモリフットプリント、および実世界のアプリケーションに対するエネルギー消費負担(概して見落としている)に対する懸念を高めるために、より大きな隠れ次元を必要とする。 この研究は、より生物学的に妥当でコンパクトな表現を学習するためにスパースとバイナリ特性を利用する、スパイキングニューラルネットワーク(SNN)を用いたグラフコントラスト学習(GCL)の有望な方向を探究する。 本稿では,グラフの2値化1ビット表現を学習し,効率と性能のバランスの取れたトレードオフを実現する新しいGCLフレームワークであるSpikeGCLを提案する。 SpikeGCLが完全精度に匹敵する表現性を持っていることを示す理論的保証を提供する。 実験の結果、32倍近い表現記憶圧縮では、SpikeGCLは多くのグラフベンチマークにおいて最先端の教師付きおよび自己教師付きメソッドに匹敵する、あるいは優れることが示された。

関連論文リスト

• GRE^2-MDCL: Graph Representation Embedding Enhanced via Multidimensional Contrastive Learning [0.0]
  グラフ表現学習は、ノードをベクトル表現にマッピングする際にグラフトポロジを保存する強力なツールとして登場した。 現在のグラフニューラルネットワークモデルは、広範なラベル付きデータを必要とするという課題に直面している。 多次元コントラスト学習によるグラフ表現埋め込みを提案する。
  論文  参考訳（メタデータ） (2024-09-12T03:09:05Z)
• Disentangled Generative Graph Representation Learning [51.59824683232925]
  本稿では,自己教師型学習フレームワークであるDiGGR(Disentangled Generative Graph Representation Learning)を紹介する。 潜伏要因を学習し、それをグラフマスクモデリングのガイドとして活用することを目的としている。 2つの異なるグラフ学習タスクのための11の公開データセットの実験は、DiGGRが従来よりも一貫して多くの自己教師付きメソッドを上回っていることを示している。
  論文  参考訳（メタデータ） (2024-08-24T05:13:02Z)
• Localized Contrastive Learning on Graphs [110.54606263711385]
  局所グラフコントラスト学習(Local-GCL)という,シンプルだが効果的なコントラストモデルを導入する。 その単純さにもかかわらず、Local-GCLは、様々なスケールと特性を持つグラフ上の自己教師付きノード表現学習タスクにおいて、非常に競争力のある性能を達成する。
  論文  参考訳（メタデータ） (2022-12-08T23:36:00Z)
• GraphLearner: Graph Node Clustering with Fully Learnable Augmentation [76.63963385662426]
  Contrastive Deep Graph Clustering (CDGC)は、異なるクラスタにノードをグループ化するために、コントラスト学習のパワーを活用する。 我々は、GraphLearnerと呼ばれる、完全学習可能な拡張を備えたグラフノードクラスタリングを提案する。 学習可能な拡張器を導入し、CDGCのための高品質でタスク固有の拡張サンプルを生成する。
  論文  参考訳（メタデータ） (2022-12-07T10:19:39Z)
• Let Invariant Rationale Discovery Inspire Graph Contrastive Learning [98.10268114789775]
  ハイパフォーマンスな拡張は、インスタンス識別に関するアンカーグラフの健全な意味を保存すべきである。 新たなフレームワーク Rationale-aware Graph Contrastive Learning (RGCL) を提案する。 RGCLは有理数生成器を使用して、グラフのインスタンス識別に関する健全な特徴を論理として明らかにし、対照的な学習のための有理数認識ビューを生成する。
  論文  参考訳（メタデータ） (2022-06-16T01:28:40Z)
• GraphCoCo: Graph Complementary Contrastive Learning [65.89743197355722]
  グラフコントラスト学習(GCL)は、手作業によるアノテーションの監督なしに、グラフ表現学習(GRL)において有望な性能を示した。 本稿では,この課題に対処するため,グラフココというグラフ補完型コントラスト学習手法を提案する。
  論文  参考訳（メタデータ） (2022-03-24T02:58:36Z)
• Learning Robust Representation through Graph Adversarial Contrastive Learning [6.332560610460623]
  既存の研究では、グラフニューラルネットワーク(GNN)によって生成されたノード表現が、敵の攻撃に対して脆弱であることが示されている。 本稿では,グラフ自己教師型学習に対数拡張を導入することにより,新しいグラフ適応型コントラスト学習フレームワーク(GraphACL)を提案する。
  論文  参考訳（メタデータ） (2022-01-31T07:07:51Z)
• Adversarial Graph Augmentation to Improve Graph Contrastive Learning [21.54343383921459]
  本稿では,GNNがトレーニング中に冗長な情報を捕捉することを避けるために,AD-GCL(adversarial-GCL)と呼ばれる新しい原理を提案する。 我々は、AD-GCLを最先端のGCL法と比較し、教師なしで最大$14%、転送で$6%、半教師なしの学習環境で$3%の性能向上を達成した。
  論文  参考訳（メタデータ） (2021-06-10T15:34:26Z)
• Graph Barlow Twins: A self-supervised representation learning framework for graphs [25.546290138565393]
  本稿では,自己教師付きグラフ表現学習のためのフレームワークであるグラフバーローツインを提案する。 負のサンプルではなく、相互相関に基づく損失関数を利用する。 提案手法は,最高の自己管理手法と完全教師付き手法として,競争力のある結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-06-04T13:10:51Z)
• Graph Contrastive Learning with Augmentations [109.23158429991298]
  グラフデータの教師なし表現を学習するためのグラフコントラスト学習(GraphCL)フレームワークを提案する。 我々のフレームワークは、最先端の手法と比較して、類似またはより良い一般化可能性、転送可能性、堅牢性のグラフ表現を作成できることを示す。
  論文  参考訳（メタデータ） (2020-10-22T20:13:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。