論文の概要: Evaluating Modules in Graph Contrastive Learning

• arxiv url: http://arxiv.org/abs/2106.08171v1
• Date: Tue, 15 Jun 2021 14:14:23 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-16 20:04:00.678861
• Title: Evaluating Modules in Graph Contrastive Learning
• Title（参考訳）: グラフコントラスト学習におけるモジュールの評価
• Authors: Ganqu Cui, Yufeng Du, Cheng Yang, Jie Zhou, Liang Xu, Lifeng Wang, Zhiyuan Liu
• Abstract要約: グラフコントラスト学習モデルを4つのモジュールに分解するフレームワークを提案する。 ノード分類タスクとグラフ分類タスクについて実験を行う。 モジュール化されたツールキットOpenGCLとして実装と結果をリリースします。
• 参考スコア（独自算出の注目度）: 29.03038320344791
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The recent emergence of contrastive learning approaches facilitates the research on graph representation learning (GRL), introducing graph contrastive learning (GCL) into the literature. These methods contrast semantically similar and dissimilar sample pairs to encode the semantics into node or graph embeddings. However, most existing works only performed model-level evaluation, and did not explore the combination space of modules for more comprehensive and systematic studies. For effective module-level evaluation, we propose a framework that decomposes GCL models into four modules: (1) a sampler to generate anchor, positive and negative data samples (nodes or graphs); (2) an encoder and a readout function to get sample embeddings; (3) a discriminator to score each sample pair (anchor-positive and anchor-negative); and (4) an estimator to define the loss function. Based on this framework, we conduct controlled experiments over a wide range of architectural designs and hyperparameter settings on node and graph classification tasks. Specifically, we manage to quantify the impact of a single module, investigate the interaction between modules, and compare the overall performance with current model architectures. Our key findings include a set of module-level guidelines for GCL, e.g., simple samplers from LINE and DeepWalk are strong and robust; an MLP encoder associated with Sum readout could achieve competitive performance on graph classification. Finally, we release our implementations and results as OpenGCL, a modularized toolkit that allows convenient reproduction, standard model and module evaluation, and easy extension.
• Abstract（参考訳）: 近年のコントラスト学習アプローチの出現は,グラフ表現学習(grl)の研究を促進し,グラフコントラスト学習(gcl)を文献に導入する。 これらの手法は、意味をノードやグラフにエンベッドするために、意味的に類似した異なるサンプルペアを対比する。 しかし、既存のほとんどの研究はモデルレベルの評価のみを行い、より包括的で体系的な研究のためにモジュールの組み合わせ空間を探索しなかった。 効果的なモジュールレベルの評価のために、gclモデルを4つのモジュールに分解するフレームワークを提案する。(1)アンカー、正および負のデータサンプル(ノードまたはグラフ)を生成するスプリマー、(2)エンコーダおよびサンプル埋め込みを得る読み出し関数、(3)各サンプルペア(アンカー正およびアンカー負)をスコアする判別器、(4)損失関数を定義する推定器である。 この枠組みに基づいて,ノードとグラフの分類タスクにおいて,幅広いアーキテクチャ設計とハイパーパラメータ設定に関する制御実験を行う。 具体的には、単一モジュールの影響を定量化し、モジュール間の相互作用を調査し、全体的なパフォーマンスを現在のモデルアーキテクチャと比較する。 例えば、 line や deepwalk の単純なスプライマーは強力で堅牢である。 sum readout に関連付けられた mlp エンコーダは、グラフ分類の競争的パフォーマンスを達成することができる。 最後に、我々は実装と成果をOpenGCLとしてリリースします。OpenGCLは、便利な再現、標準モデルとモジュール評価、簡単拡張を可能にするモジュール化されたツールキットです。

関連論文リスト

• Improving Node Representation by Boosting Target-Aware Contrastive Loss [10.73390567832967]
  本稿では,ターゲット認識型コントラスト学習(Target-Aware Contrastive Learning,Target-Aware CL)を紹介する。 XTCLを最小化することにより、ターゲット認識CLは、ターゲットタスクとノード表現の間の相互情報を増加させる。 実験により、XTCLは2つのタスクの性能を著しく改善することを示した。
  論文  参考訳（メタデータ） (2024-10-04T20:08:24Z)
• The Languini Kitchen: Enabling Language Modelling Research at Different Scales of Compute [66.84421705029624]
  本稿では,アクセル時間で測定された等価計算に基づくモデル比較を可能にする実験的プロトコルを提案する。 私たちは、既存の学術的ベンチマークを上回り、品質、多様性、文書の長さで上回る、大規模で多様で高品質な書籍データセットを前処理します。 この研究は、GPT-2アーキテクチャから派生したフィードフォワードモデルと、10倍のスループットを持つ新しいLSTMの形式でのリカレントモデルという2つのベースラインモデルも提供する。
  論文  参考訳（メタデータ） (2023-09-20T10:31:17Z)
• Class-level Structural Relation Modelling and Smoothing for Visual Representation Learning [12.247343963572732]
  本稿では、視覚表現学習のためのbfクラスレベルの構造関係モデリングと平滑化というフレームワークを提案する。 クラスレベルの関係モデリング、クラス対応グラフガイドサンプリング、グラフガイド表現学習モジュールが含まれる。 実験では、構造化知識モデリングによる表現学習の有効性を実証し、CSRMSを任意の最先端の視覚的表現学習モデルに組み込むことにより、パフォーマンス向上を図っている。
  論文  参考訳（メタデータ） (2023-08-08T09:03:46Z)
• R-Cut: Enhancing Explainability in Vision Transformers with Relationship Weighted Out and Cut [14.382326829600283]
  リレーションウェイトアウト」と「カット」の2つのモジュールを紹介します。 Cut"モジュールは、位置、テクスチャ、色などの要素を考慮して、きめ細かい特徴分解を行う。 我々は,ImageNetデータセット上で定性的かつ定量的な実験を行い,本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2023-07-18T08:03:51Z)
• USER: Unified Semantic Enhancement with Momentum Contrast for Image-Text Retrieval [115.28586222748478]
  Image-Text Retrieval (ITR) は、与えられたクエリに意味のあるターゲットインスタンスを、他のモダリティから検索することを目的としている。 既存のアプローチは通常、2つの大きな制限に悩まされる。
  論文  参考訳（メタデータ） (2023-01-17T12:42:58Z)
• Self-supervised Heterogeneous Graph Pre-training Based on Structural Clustering [20.985559149384795]
  SHGP(Self-supervised Heterogeneous Graph Pre-training approach)を提案する。 肯定的な例や否定的な例を生成する必要はない。 最先端の教師なしベースラインや半教師なしベースラインよりも優れている。
  論文  参考訳（メタデータ） (2022-10-19T10:55:48Z)
• Unifying Graph Contrastive Learning with Flexible Contextual Scopes [57.86762576319638]
  フレキシブルコンテキストスコープを用いたグラフコントラスト学習(略してUGCL)という自己教師型学習手法を提案する。 本アルゴリズムは,隣接行列のパワーを制御し,コンテキストスコープによるフレキシブルな文脈表現を構築する。 局所的スコープと文脈的スコープの両方の表現に基づいて、distLはグラフ表現学習のための非常に単純な対照的な損失関数を最適化する。
  論文  参考訳（メタデータ） (2022-10-17T07:16:17Z)
• Deep Relational Metric Learning [84.95793654872399]
  本稿では,画像クラスタリングと検索のためのディープリレーショナルメトリック学習フレームワークを提案する。 我々は、クラス間分布とクラス内分布の両方をモデル化するために、異なる側面から画像を特徴付ける特徴のアンサンブルを学ぶ。 広く使われているCUB-200-2011、Cars196、Stanford Online Productsデータセットの実験は、我々のフレームワークが既存の深層学習方法を改善し、非常に競争力のある結果をもたらすことを示した。
  論文  参考訳（メタデータ） (2021-08-23T09:31:18Z)
• Deep Reinforcement Learning of Graph Matching [63.469961545293756]
  ノードとペアの制約下でのグラフマッチング(GM)は、最適化からコンピュータビジョンまでの領域におけるビルディングブロックである。 GMのための強化学習ソルバを提案する。 rgmはペアワイズグラフ間のノード対応を求める。 本手法は,フロントエンドの特徴抽出と親和性関数学習に焦点をあてるという意味において,従来のディープグラフマッチングモデルと異なる。
  論文  参考訳（メタデータ） (2020-12-16T13:48:48Z)
• UniT: Unified Knowledge Transfer for Any-shot Object Detection and Segmentation [52.487469544343305]
  オブジェクト検出とセグメンテーションの方法は、トレーニングのための大規模インスタンスレベルのアノテーションに依存します。 本稿では,直感的かつ統一的な半教師付きモデルを提案する。
  論文  参考訳（メタデータ） (2020-06-12T22:45:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。