論文の概要: A Foundation Graph Model

• arxiv url: http://arxiv.org/abs/2311.03976v2
• Date: Fri, 19 Jan 2024 14:34:47 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-22 18:41:25.580312
• Title: A Foundation Graph Model
• Title（参考訳）: 基礎グラフモデル
• Authors: Alex O. Davies, Riku W. Green, Nirav S. Ajmeri, Telmo M. Silva Filho
• Abstract要約: ノードとエッジの特徴排除に基づくグラフ事前学習法であるFoToMを提案する。 複数のグラフドメイン上のモデルを事前トレーニングするためにFoToMを使用し、最初の基礎グラフモデルを作成します。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: The principal benefit of unsupervised graph representation learning is that a pre-trained model can be fine-tuned where data or labels are scarce. Existing approaches are domain specific, maintaining consistent node and edge attributes across the pre-training and target datasets. This precludes transfer to other domains. A model capable of positive transfer on arbitrary tasks and domains would represent the first foundation graph model. In this work we use adversarial contrastive learning to present FoToM, a graph pre-training method based on node and edge feature exclusion. We use FoToM to pre-train models over multiple graph domains, producing the first foundation graph models. We demonstrate positive transfer on evaluation datasets from multiple domains, including domains not present in pre-training data. On all datasets performance is at worst on-par and on 76% significantly better than a supervised baseline ($P \leq 0.01$), with an 8 to 40% reduction in error at 95% confidence. Contrary to other research, pre-training on a dataset with the target domain excluded leads us to better performance than pre-training on a dataset from only the target domain. The multi-domain model at worst, matches, and on 56% of tasks, significantly outperforms single-domain ($P \leq 0.01$). These results include when node labels are used in evaluation, where performance is consistently superior to single-domain or non-pre-trained models. Notably, FoToM benefits scenarios in both large or scarce data regimes for the target domains.
• Abstract（参考訳）: 教師なしグラフ表現学習の主な利点は、訓練済みのモデルをデータやラベルが不足している場所で微調整できることである。 既存のアプローチはドメイン特化であり、事前トレーニングとターゲットデータセット間で一貫性のあるノードとエッジ属性を維持する。 これは他のドメインへの転送を妨げる。 任意のタスクやドメインに対して正の転送が可能なモデルは、最初の基礎グラフモデルを表す。 本研究では,ノードとエッジ特徴の排除に基づくグラフ事前学習手法であるfotomを,逆コントラスト学習を用いて提示する。 複数のグラフドメイン上のモデルを事前トレーニングするためにFoToMを使用し、最初の基礎グラフモデルを作成します。 事前学習データに存在しない領域を含む複数のドメインからの評価データセットに正の転送を示す。 すべてのデータセットでパフォーマンスは最悪で、教師付きベースライン(p \leq 0.01$)よりも76%も改善され、95%の信頼性でエラーが8～40%削減されている。 他の研究とは対照的に、ターゲットドメインを除外したデータセットの事前トレーニングは、ターゲットドメインのみからデータセットを事前トレーニングするよりも優れたパフォーマンスをもたらす。 最悪、一致、およびタスクの56%のマルチドメインモデルは、シングルドメイン(p \leq 0.01$)を大きく上回っている。 これらの結果は、ノードラベルが評価に使用される場合を含み、パフォーマンスは単一ドメインや非事前訓練モデルよりも一貫して優れている。 特にFoToMは、ターゲットドメインの大規模または希少なデータレシエーションのシナリオにメリットがある。

関連論文リスト

• Better with Less: A Data-Active Perspective on Pre-Training Graph Neural Networks [39.71761440499148]
  グラフニューラルネットワーク(GNN)の事前トレーニングは、ラベルのないデータで下流タスクの転送可能な知識を学ぶことを目的としている。 より少ないが慎重に選択されたデータはGNNモデルに入力される。 実験の結果,提案手法により,より少ないトレーニングデータとより優れたダウンストリーム性能を有する効率的な事前学習モデルが得られることがわかった。
  論文  参考訳（メタデータ） (2023-11-02T07:09:59Z)
• When to Pre-Train Graph Neural Networks? From Data Generation Perspective! [19.239863500722983]
  グラフ事前トレーニングは、ラベルのないグラフデータから転送可能な知識を取得し、下流のパフォーマンスを改善することを目的としている。 本稿では,事前学習のタイミングを問う汎用フレームワークW2PGNNを提案する。 W2PGNNは、グラフ事前トレーニングモデルの適用範囲、事前トレーニングの実現可能性、下流のパフォーマンスを高めるために事前トレーニングデータを選択する支援の3つの幅広いアプリケーションを提供している。
  論文  参考訳（メタデータ） (2023-03-29T05:05:02Z)
• Improving Domain Generalization with Domain Relations [77.63345406973097]
  本稿では、モデルがトレーニングされたドメインと異なる新しいドメインに適用されたときに発生するドメインシフトに焦点を当てる。 ドメイン固有モデルを学習するためのD$3$Gという新しい手法を提案する。 以上の結果から,D$3$Gは最先端の手法より一貫して優れていた。
  論文  参考訳（メタデータ） (2023-02-06T08:11:16Z)
• Similarity-aware Positive Instance Sampling for Graph Contrastive Pre-training [82.68805025636165]
  トレーニングセット内の既存グラフから直接正のグラフインスタンスを選択することを提案する。 私たちの選択は、特定のドメイン固有のペアワイズ類似度測定に基づいています。 さらに,ノードを動的にマスキングしてグラフ上に均等に分配する適応ノードレベルの事前学習手法を開発した。
  論文  参考訳（メタデータ） (2022-06-23T20:12:51Z)
• Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
  グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。 GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。 提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
  論文  参考訳（メタデータ） (2022-03-03T09:53:53Z)
• Pre-training Graph Neural Network for Cross Domain Recommendation [58.057687253631826]
  推薦システムは、ユーザ/イテムの埋め込みを学習する中心となるアイテムに対するユーザの潜在的関心を予測する。 グラフ表現学習から事前学習を行う現代美術に着想を得て,クロスドメインレコメンデーションのための事前学習および微調整図を提案する。 我々は,グラフエンコーダの自己教師型事前学習を採用するPCRec (Pre-training Graph Neural Network for Cross-Domain Recommendation) を考案した。
  論文  参考訳（メタデータ） (2021-11-16T07:34:42Z)
• Efficient Variational Graph Autoencoders for Unsupervised Cross-domain Prerequisite Chains [3.358838755118655]
  本稿では,このドメイン間前提連鎖学習タスクを効率的に解くために,DAVGAE(Domain-versaational Variational Graph Autoencoders)を導入する。 我々の新しいモデルは変分グラフオートエンコーダ(VGAE)とドメイン識別器から構成される。 その結果,本モデルは1/10グラフスケールと1/3時間のみを用いて,最近のグラフベースの計算より優れていることがわかった。
  論文  参考訳（メタデータ） (2021-09-17T19:07:27Z)
• Robust wav2vec 2.0: Analyzing Domain Shift in Self-Supervised Pre-Training [67.71228426496013]
  事前トレーニング中にターゲットドメインデータを使用することで,さまざまなセットアップで大幅なパフォーマンス向上が期待できる。 複数のドメインで事前トレーニングを行うことで、トレーニング中に見られないドメインのパフォーマンスの一般化が向上します。
  論文  参考訳（メタデータ） (2021-04-02T12:53:15Z)
• Pre-Trained Models for Heterogeneous Information Networks [57.78194356302626]
  異種情報ネットワークの特徴を捉えるための自己教師付き事前学習・微調整フレームワークPF-HINを提案する。 PF-HINは4つのデータセットにおいて、各タスクにおける最先端の代替よりも一貫して、大幅に優れています。
  論文  参考訳（メタデータ） (2020-07-07T03:36:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。