論文の概要: Its All Graph To Me: Foundational Topology Models with Contrastive Learning on Multiple Domains

• arxiv url: http://arxiv.org/abs/2311.03976v1
• Date: Tue, 7 Nov 2023 13:24:01 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-08 15:20:16.922615
• Title: Its All Graph To Me: Foundational Topology Models with Contrastive Learning on Multiple Domains
• Title（参考訳）: すべては私に当てはまる:複数の領域におけるコントラスト学習を伴う基礎トポロジーモデル
• Authors: Alex O. Davies, Riku W. Green, Nirav S. Ajmeri, Telmo M. Silva Filho
• Abstract要約: 本稿では,多くのグラフ領域で事前学習したモデルを提案する。 トポロジでのみモデルをトレーニングするが、評価にはノードラベルを含める。 一つのモデルでパフォーマンスが同等か良いかを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Representations and embeddings of graph data have been essential in many domains of research. The principle benefit of learning such representations is that the pre-trained model can be fine-tuned on smaller datasets where data or labels are scarse. Existing models, however, are domain specific; for example a model trained on molecular graphs is fine-tuned on other molecular graphs. This means that in many application cases the choice of pre-trained model can be arbitrary, and novel domains may lack an appropriate pre-trained model. This is of particular issue where data is scarse, precluding traditional supervised methods. In this work we use adversarial contrastive learning to present a \method, a model pre-trained on many graph domains. We train the model only on topologies but include node labels in evaluation. We evaluate the efficacy of its learnt representations on various downstream tasks. Against baseline models pre-trained on single domains, as well as un-trained models and non-transferred models, we show that performance is equal or better using our single model. This includes when node labels are used in evaluation, where performance is consistently superior to single-domain or non-pre-trained models.
• Abstract（参考訳）: グラフデータの表現と埋め込みは多くの研究領域において不可欠である。 このような表現を学習する原則上の利点は、事前学習されたモデルは、データやラベルが乏しい小さなデータセット上で微調整可能であることである。 しかし、既存のモデルはドメイン固有であり、例えば、分子グラフで訓練されたモデルは、他の分子グラフ上で微調整される。 これは多くの場合、事前学習されたモデルの選択は任意であり、新しいドメインは適切な事前学習されたモデルを持たない可能性があることを意味する。 これは、データが乏しく、従来の教師付きメソッドに先行する、特に問題です。 本研究では,多くのグラフ領域で事前学習されたモデルである \method の提示に,逆コントラスト学習を用いる。 トポロジでのみモデルをトレーニングするが、評価にはノードラベルを含める。 各種下流タスクにおける学習表現の有効性を評価する。 単一ドメインで事前トレーニングされたベースラインモデルや、トレーニングされていないモデルや移行されていないモデルに対して、単一モデルでのパフォーマンスが同等かそれ以上かを示す。 これには評価にノードラベルを使用する場合が含まれており、パフォーマンスは単一ドメインや非事前訓練モデルよりも一貫して優れている。

関連論文リスト

• Better with Less: A Data-Active Perspective on Pre-Training Graph Neural Networks [39.71761440499148]
  グラフニューラルネットワーク(GNN)の事前トレーニングは、ラベルのないデータで下流タスクの転送可能な知識を学ぶことを目的としている。 より少ないが慎重に選択されたデータはGNNモデルに入力される。 実験の結果,提案手法により,より少ないトレーニングデータとより優れたダウンストリーム性能を有する効率的な事前学習モデルが得られることがわかった。
  論文  参考訳（メタデータ） (2023-11-02T07:09:59Z)
• When to Pre-Train Graph Neural Networks? From Data Generation Perspective! [19.239863500722983]
  グラフ事前トレーニングは、ラベルのないグラフデータから転送可能な知識を取得し、下流のパフォーマンスを改善することを目的としている。 本稿では,事前学習のタイミングを問う汎用フレームワークW2PGNNを提案する。 W2PGNNは、グラフ事前トレーニングモデルの適用範囲、事前トレーニングの実現可能性、下流のパフォーマンスを高めるために事前トレーニングデータを選択する支援の3つの幅広いアプリケーションを提供している。
  論文  参考訳（メタデータ） (2023-03-29T05:05:02Z)
• Improving Domain Generalization with Domain Relations [77.63345406973097]
  本稿では、モデルがトレーニングされたドメインと異なる新しいドメインに適用されたときに発生するドメインシフトに焦点を当てる。 ドメイン固有モデルを学習するためのD$3$Gという新しい手法を提案する。 以上の結果から,D$3$Gは最先端の手法より一貫して優れていた。
  論文  参考訳（メタデータ） (2023-02-06T08:11:16Z)
• Similarity-aware Positive Instance Sampling for Graph Contrastive Pre-training [82.68805025636165]
  トレーニングセット内の既存グラフから直接正のグラフインスタンスを選択することを提案する。 私たちの選択は、特定のドメイン固有のペアワイズ類似度測定に基づいています。 さらに,ノードを動的にマスキングしてグラフ上に均等に分配する適応ノードレベルの事前学習手法を開発した。
  論文  参考訳（メタデータ） (2022-06-23T20:12:51Z)
• Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
  グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。 GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。 提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
  論文  参考訳（メタデータ） (2022-03-03T09:53:53Z)
• Pre-training Graph Neural Network for Cross Domain Recommendation [58.057687253631826]
  推薦システムは、ユーザ/イテムの埋め込みを学習する中心となるアイテムに対するユーザの潜在的関心を予測する。 グラフ表現学習から事前学習を行う現代美術に着想を得て,クロスドメインレコメンデーションのための事前学習および微調整図を提案する。 我々は,グラフエンコーダの自己教師型事前学習を採用するPCRec (Pre-training Graph Neural Network for Cross-Domain Recommendation) を考案した。
  論文  参考訳（メタデータ） (2021-11-16T07:34:42Z)
• Efficient Variational Graph Autoencoders for Unsupervised Cross-domain Prerequisite Chains [3.358838755118655]
  本稿では,このドメイン間前提連鎖学習タスクを効率的に解くために,DAVGAE(Domain-versaational Variational Graph Autoencoders)を導入する。 我々の新しいモデルは変分グラフオートエンコーダ(VGAE)とドメイン識別器から構成される。 その結果,本モデルは1/10グラフスケールと1/3時間のみを用いて,最近のグラフベースの計算より優れていることがわかった。
  論文  参考訳（メタデータ） (2021-09-17T19:07:27Z)
• Robust wav2vec 2.0: Analyzing Domain Shift in Self-Supervised Pre-Training [67.71228426496013]
  事前トレーニング中にターゲットドメインデータを使用することで,さまざまなセットアップで大幅なパフォーマンス向上が期待できる。 複数のドメインで事前トレーニングを行うことで、トレーニング中に見られないドメインのパフォーマンスの一般化が向上します。
  論文  参考訳（メタデータ） (2021-04-02T12:53:15Z)
• Pre-Trained Models for Heterogeneous Information Networks [57.78194356302626]
  異種情報ネットワークの特徴を捉えるための自己教師付き事前学習・微調整フレームワークPF-HINを提案する。 PF-HINは4つのデータセットにおいて、各タスクにおける最先端の代替よりも一貫して、大幅に優れています。
  論文  参考訳（メタデータ） (2020-07-07T03:36:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。