論文の概要: A Simplified Framework for Contrastive Learning for Node Representations

• arxiv url: http://arxiv.org/abs/2305.00623v1
• Date: Mon, 1 May 2023 02:04:36 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-02 14:08:59.898402
• Title: A Simplified Framework for Contrastive Learning for Node Representations
• Title（参考訳）: ノード表現のコントラスト学習のための簡易フレームワーク
• Authors: Ilgee Hong, Huy Tran, Claire Donnat
• Abstract要約: グラフにノードを埋め込むために,グラフニューラルネットワークと組み合わせてコントラスト学習を展開できる可能性を検討する。 組込み行列の単純なカラムワイド後処理により, 組込み結果の品質とトレーニング時間を大幅に改善できることを示す。 この修正により、下流の分類タスクは最大1.5%改善され、8つの異なるベンチマークのうち6つで既存の最先端のアプローチに勝っている。
• 参考スコア（独自算出の注目度）: 2.277447144331876
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Contrastive learning has recently established itself as a powerful self-supervised learning framework for extracting rich and versatile data representations. Broadly speaking, contrastive learning relies on a data augmentation scheme to generate two versions of the input data and learns low-dimensional representations by maximizing a normalized temperature-scaled cross entropy loss (NT-Xent) to identify augmented samples corresponding to the same original entity. In this paper, we investigate the potential of deploying contrastive learning in combination with Graph Neural Networks for embedding nodes in a graph. Specifically, we show that the quality of the resulting embeddings and training time can be significantly improved by a simple column-wise postprocessing of the embedding matrix, instead of the row-wise postprocessing via multilayer perceptrons (MLPs) that is adopted by the majority of peer methods. This modification yields improvements in downstream classification tasks of up to 1.5% and even beats existing state-of-the-art approaches on 6 out of 8 different benchmarks. We justify our choices of postprocessing by revisiting the "alignment vs. uniformity paradigm", and show that column-wise post-processing improves both "alignment" and "uniformity" of the embeddings.
• Abstract（参考訳）: コントラスト学習は、リッチで汎用的なデータ表現を抽出するための強力な自己教師付き学習フレームワークとして確立された。 広義的には、コントラスト学習は入力データの2つのバージョンを生成するデータ拡張スキームに依存し、正規化温度スケールクロスエントロピー損失(NT-Xent)を最大化して低次元表現を学習し、同じ元のエンティティに対応する拡張サンプルを識別する。 本稿では,グラフにノードを埋め込むために,グラフニューラルネットワークと組み合わせてコントラスト学習を展開できる可能性を検討する。 具体的には,多くのピアメソッドで採用されている多層パーセプトロン(mlps)による行別ポストプロセッシングに代えて,組込み行列の単純な列別ポストプロセッシングによって,組込みとトレーニング時間の質が著しく向上することを示す。 この修正は、ダウンストリームの分類タスクを最大1.5%改善し、8つのベンチマークのうち6つで既存の最先端のアプローチを上回っている。 ポストプロセッシングの選択を正当化するために、"alignment vs. uniformity paradigm"を再検討し、列ごとのポストプロセッシングが埋め込みの"alignment"と"uniformity"の両方を改善していることを示します。

関連論文リスト

• Entropy Neural Estimation for Graph Contrastive Learning [9.032721248598088]
  グラフ上のコントラスト学習は、ノードの区別可能な高レベル表現を抽出することを目的としている。 本稿では,データセットのビュー間のペアワイズ表現を対比する,単純かつ効果的なサブセットサンプリング戦略を提案する。 7つのグラフベンチマークで広範な実験を行い、提案手法は競合性能を実現する。
  論文  参考訳（メタデータ） (2023-07-26T03:55:08Z)
• Coarse-to-Fine Contrastive Learning on Graphs [38.41992365090377]
  ノード表現を自己管理的に学習するために、さまざまなグラフ拡張戦略が採用されている。 我々は,異なるノード間の識別情報を確実に維持するために,自己評価パラダイムを導入する。 各種ベンチマークデータセットの実験結果から,提案アルゴリズムの有効性を検証した。
  論文  参考訳（メタデータ） (2022-12-13T08:17:20Z)
• GraphLearner: Graph Node Clustering with Fully Learnable Augmentation [76.63963385662426]
  Contrastive Deep Graph Clustering (CDGC)は、異なるクラスタにノードをグループ化するために、コントラスト学習のパワーを活用する。 我々は、GraphLearnerと呼ばれる、完全学習可能な拡張を備えたグラフノードクラスタリングを提案する。 学習可能な拡張器を導入し、CDGCのための高品質でタスク固有の拡張サンプルを生成する。
  論文  参考訳（メタデータ） (2022-12-07T10:19:39Z)
• Similarity-aware Positive Instance Sampling for Graph Contrastive Pre-training [82.68805025636165]
  トレーニングセット内の既存グラフから直接正のグラフインスタンスを選択することを提案する。 私たちの選択は、特定のドメイン固有のペアワイズ類似度測定に基づいています。 さらに,ノードを動的にマスキングしてグラフ上に均等に分配する適応ノードレベルの事前学習手法を開発した。
  論文  参考訳（メタデータ） (2022-06-23T20:12:51Z)
• Interpolation-based Correlation Reduction Network for Semi-Supervised Graph Learning [49.94816548023729]
  補間型相関低減ネットワーク(ICRN)と呼ばれる新しいグラフコントラスト学習手法を提案する。 提案手法では,決定境界のマージンを大きくすることで,潜在特徴の識別能力を向上させる。 この2つの設定を組み合わせることで、豊富なラベル付きノードと稀に価値あるラベル付きノードから豊富な監視情報を抽出し、離散表現学習を行う。
  論文  参考訳（メタデータ） (2022-06-06T14:26:34Z)
• Deep Graph Clustering via Dual Correlation Reduction [37.973072977988494]
  本稿では,Dual correlation Reduction Network (DCRN) と呼ばれる自己教師型ディープグラフクラスタリング手法を提案する。 提案手法では,まず,サンプルを符号化するシアムネットワークを設計する。次に,クロスビューサンプル相関行列とクロスビュー特徴相関行列をそれぞれ2つのアイデンティティ行列に近似させることで,二重レベルの情報相関を小さくする。 本稿では,GCNの過度なスムース化による表現の崩壊を軽減するために,ネットワークが長距離情報を得るための伝搬正則化項を導入する。
  論文  参考訳（メタデータ） (2021-12-29T04:05:38Z)
• Bayesian Graph Contrastive Learning [55.36652660268726]
  本稿では,ランダムな拡張がエンコーダにつながることを示すグラフコントラスト学習手法の新たな視点を提案する。 提案手法は,各ノードを決定論的ベクトルに埋め込む既存の手法とは対照的に,各ノードを潜在空間の分布で表現する。 いくつかのベンチマークデータセットにおける既存の最先端手法と比較して,性能が大幅に向上したことを示す。
  論文  参考訳（メタデータ） (2021-12-15T01:45:32Z)
• High-dimensional Assisted Generative Model for Color Image Restoration [12.459091135428885]
  本研究は,カラー画像復元作業において,高次元のスコアベース生成モデルを利用する教師なしのディープラーニング手法を提案する。 スコアベース生成モデルにおけるサンプル数と内部次元を考慮すると、チャネルコピー変換はサンプル数を増やし、ピクセルスケール変換は実現可能な次元空間を減少させる2つの異なる高次元方法が提案される。 高次元表現を学習することの難しさを軽減するために,性能を活用するためのプログレッシブ戦略を提案する。
  論文  参考訳（メタデータ） (2021-08-14T04:05:29Z)
• Cogradient Descent for Dependable Learning [64.02052988844301]
  双線形最適化問題に対処するために,CoGDアルゴリズムに基づく信頼度の高い学習法を提案する。 CoGDは、ある変数がスパーシティ制約を持つ場合の双線形問題を解くために導入された。 また、特徴と重みの関連を分解するためにも使用できるため、畳み込みニューラルネットワーク(CNN)をより良く訓練するための我々の手法をさらに一般化することができる。
  論文  参考訳（メタデータ） (2021-06-20T04:28:20Z)
• Diffusion-Based Representation Learning [65.55681678004038]
  教師付き信号のない表現学習を実現するために,デノナイズスコアマッチングフレームワークを拡張した。 対照的に、拡散に基づく表現学習は、デノナイジングスコアマッチング目的の新しい定式化に依存している。 同じ手法を用いて,半教師付き画像分類における最先端モデルの改善を実現する無限次元潜在符号の学習を提案する。
  論文  参考訳（メタデータ） (2021-05-29T09:26:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。