論文の概要: Topology Only Pre-Training: Towards Generalised Multi-Domain Graph Models

• arxiv url: http://arxiv.org/abs/2311.03976v4
• Date: Mon, 02 Dec 2024 12:44:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-03 16:56:11.765501
• Title: Topology Only Pre-Training: Towards Generalised Multi-Domain Graph Models
• Title（参考訳）: 事前学習のみのトポロジ:汎用マルチドメイングラフモデルを目指して
• Authors: Alex O. Davies, Riku W. Green, Nirav S. Ajmeri, Telmo M. Silva Filho,
• Abstract要約: ノードとエッジの特徴排除に基づくグラフ事前学習手法であるトポロジー事前学習(ToP)を提案する。 事前学習データに存在しない領域を含む複数の領域から評価データセットを前向きに転送する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: The principal benefit of unsupervised representation learning is that a pre-trained model can be fine-tuned where data or labels are scarce. Existing approaches for graph representation learning are domain specific, maintaining consistent node and edge features across the pre-training and target datasets. This has precluded transfer to multiple domains. We present Topology Only Pre-Training (ToP), a graph pre-training method based on node and edge feature exclusion. We show positive transfer on evaluation datasets from multiple domains, including domains not present in pre-training data, running directly contrary to assumptions made in contemporary works. On 75% of experiments, ToP models perform significantly $p \leq 0.01$ better than a supervised baseline. Performance is significantly positive on 85.7% of tasks when node and edge features are used in fine-tuning. We further show that out-of-domain topologies can produce more useful pre-training than in-domain. Under ToP we show better transfer from non-molecule pre-training, compared to molecule pre-training, on 79% of molecular benchmarks. Against the limited set of other generalist graph models ToP performs strongly, including against models with many orders of magnitude larger. These findings show that ToP opens broad areas of research in both transfer learning on scarcely populated graph domains and in graph foundation models.
• Abstract（参考訳）: 教師なし表現学習の主な利点は、訓練済みのモデルをデータやラベルが不足している場所で微調整できることである。 グラフ表現学習の既存のアプローチはドメイン固有であり、事前トレーニングとターゲットデータセットをまたいだ一貫したノードとエッジ機能を維持している。 これは複数のドメインへの転送を妨げている。 ノードとエッジの特徴排除に基づくグラフ事前学習手法であるトポロジー事前学習(ToP)を提案する。 事前学習データに存在しない領域を含む複数の領域から評価データセットを前向きに転送し、現代の研究における仮定と直接反対に実行することを示す。 75%の実験では、ToPモデルは教師付きベースラインよりもかなり$p \leq 0.01$良い性能を発揮する。 ノードとエッジが微調整に使用されるタスクの85.7%では、パフォーマンスが著しく良い。 さらに、ドメイン外のトポロジは、ドメイン内よりもより有用な事前トレーニングを実現できることを示す。 ToPでは分子ベンチマークの79%において,分子前訓練に比べて分子前訓練の効率が向上した。 他の一般グラフモデルの限られた集合に対して、ToPは、桁違いに大きいモデルを含む、強く機能する。 以上の結果から,ToP はグラフ領域の移動学習とグラフ基盤モデルの両方において,幅広い研究領域を開放していることが示唆された。

関連論文リスト

• Is Large-Scale Pretraining the Secret to Good Domain Generalization? [69.80606575323691]
  マルチソース・ドメイン・ジェネリゼーション(Multi-Source Domain Generalization, DG)は、複数のソース・ドメインをトレーニングし、未確認のターゲット・ドメインに対して高い分類性能を達成するタスクである。 最近の手法では、Webスケールの事前訓練されたバックボーンの堅牢な機能と、ソースデータから学んだ新機能を組み合わせることで、ベンチマーク結果を劇的に改善している。 評価されたDGメソッドはすべてDomainBed-OOPで苦労し、最近のメソッドはDomainBed-IPで優れています。
  論文  参考訳（メタデータ） (2024-12-03T21:43:11Z)
• One Model for One Graph: A New Perspective for Pretraining with Cross-domain Graphs [61.9759512646523]
  複雑なネットワークパターンをキャプチャする強力なツールとして、グラフニューラルネットワーク(GNN)が登場した。 既存のGNNには、慎重にドメイン固有のアーキテクチャ設計と、データセットのスクラッチからのトレーニングが必要です。 我々は、新しいクロスドメイン事前学習フレームワーク「1つのグラフのための1つのモデル」を提案する。
  論文  参考訳（メタデータ） (2024-11-30T01:49:45Z)
• Better with Less: A Data-Active Perspective on Pre-Training Graph Neural Networks [39.71761440499148]
  グラフニューラルネットワーク(GNN)の事前トレーニングは、ラベルのないデータで下流タスクの転送可能な知識を学ぶことを目的としている。 より少ないが慎重に選択されたデータはGNNモデルに入力される。 実験の結果,提案手法により,より少ないトレーニングデータとより優れたダウンストリーム性能を有する効率的な事前学習モデルが得られることがわかった。
  論文  参考訳（メタデータ） (2023-11-02T07:09:59Z)
• When to Pre-Train Graph Neural Networks? From Data Generation Perspective! [19.239863500722983]
  グラフ事前トレーニングは、ラベルのないグラフデータから転送可能な知識を取得し、下流のパフォーマンスを改善することを目的としている。 本稿では,事前学習のタイミングを問う汎用フレームワークW2PGNNを提案する。 W2PGNNは、グラフ事前トレーニングモデルの適用範囲、事前トレーニングの実現可能性、下流のパフォーマンスを高めるために事前トレーニングデータを選択する支援の3つの幅広いアプリケーションを提供している。
  論文  参考訳（メタデータ） (2023-03-29T05:05:02Z)
• Improving Domain Generalization with Domain Relations [77.63345406973097]
  本稿では、モデルがトレーニングされたドメインと異なる新しいドメインに適用されたときに発生するドメインシフトに焦点を当てる。 ドメイン固有モデルを学習するためのD$3$Gという新しい手法を提案する。 以上の結果から,D$3$Gは最先端の手法より一貫して優れていた。
  論文  参考訳（メタデータ） (2023-02-06T08:11:16Z)
• Similarity-aware Positive Instance Sampling for Graph Contrastive Pre-training [82.68805025636165]
  トレーニングセット内の既存グラフから直接正のグラフインスタンスを選択することを提案する。 私たちの選択は、特定のドメイン固有のペアワイズ類似度測定に基づいています。 さらに,ノードを動的にマスキングしてグラフ上に均等に分配する適応ノードレベルの事前学習手法を開発した。
  論文  参考訳（メタデータ） (2022-06-23T20:12:51Z)
• Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
  グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。 GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。 提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
  論文  参考訳（メタデータ） (2022-03-03T09:53:53Z)
• Pre-training Graph Neural Network for Cross Domain Recommendation [58.057687253631826]
  推薦システムは、ユーザ/イテムの埋め込みを学習する中心となるアイテムに対するユーザの潜在的関心を予測する。 グラフ表現学習から事前学習を行う現代美術に着想を得て,クロスドメインレコメンデーションのための事前学習および微調整図を提案する。 我々は,グラフエンコーダの自己教師型事前学習を採用するPCRec (Pre-training Graph Neural Network for Cross-Domain Recommendation) を考案した。
  論文  参考訳（メタデータ） (2021-11-16T07:34:42Z)
• Efficient Variational Graph Autoencoders for Unsupervised Cross-domain Prerequisite Chains [3.358838755118655]
  本稿では,このドメイン間前提連鎖学習タスクを効率的に解くために,DAVGAE(Domain-versaational Variational Graph Autoencoders)を導入する。 我々の新しいモデルは変分グラフオートエンコーダ(VGAE)とドメイン識別器から構成される。 その結果,本モデルは1/10グラフスケールと1/3時間のみを用いて,最近のグラフベースの計算より優れていることがわかった。
  論文  参考訳（メタデータ） (2021-09-17T19:07:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。