論文の概要: A Foundation Graph Model
- arxiv url: http://arxiv.org/abs/2311.03976v2
- Date: Fri, 19 Jan 2024 14:34:47 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-22 18:41:25.580312
- Title: A Foundation Graph Model
- Title(参考訳): 基礎グラフモデル
- Authors: Alex O. Davies, Riku W. Green, Nirav S. Ajmeri, Telmo M. Silva Filho
- Abstract要約: ノードとエッジの特徴排除に基づくグラフ事前学習法であるFoToMを提案する。
複数のグラフドメイン上のモデルを事前トレーニングするためにFoToMを使用し、最初の基礎グラフモデルを作成します。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: The principal benefit of unsupervised graph representation learning is that a
pre-trained model can be fine-tuned where data or labels are scarce. Existing
approaches are domain specific, maintaining consistent node and edge attributes
across the pre-training and target datasets. This precludes transfer to other
domains. A model capable of positive transfer on arbitrary tasks and domains
would represent the first foundation graph model.
In this work we use adversarial contrastive learning to present FoToM, a
graph pre-training method based on node and edge feature exclusion. We use
FoToM to pre-train models over multiple graph domains, producing the first
foundation graph models. We demonstrate positive transfer on evaluation
datasets from multiple domains, including domains not present in pre-training
data. On all datasets performance is at worst on-par and on 76% significantly
better than a supervised baseline ($P \leq 0.01$), with an 8 to 40% reduction
in error at 95% confidence. Contrary to other research, pre-training on a
dataset with the target domain excluded leads us to better performance than
pre-training on a dataset from only the target domain. The multi-domain model
at worst, matches, and on 56% of tasks, significantly outperforms single-domain
($P \leq 0.01$). These results include when node labels are used in evaluation,
where performance is consistently superior to single-domain or non-pre-trained
models. Notably, FoToM benefits scenarios in both large or scarce data regimes
for the target domains.
- Abstract(参考訳): 教師なしグラフ表現学習の主な利点は、訓練済みのモデルをデータやラベルが不足している場所で微調整できることである。
既存のアプローチはドメイン特化であり、事前トレーニングとターゲットデータセット間で一貫性のあるノードとエッジ属性を維持する。
これは他のドメインへの転送を妨げる。
任意のタスクやドメインに対して正の転送が可能なモデルは、最初の基礎グラフモデルを表す。
本研究では,ノードとエッジ特徴の排除に基づくグラフ事前学習手法であるfotomを,逆コントラスト学習を用いて提示する。
複数のグラフドメイン上のモデルを事前トレーニングするためにFoToMを使用し、最初の基礎グラフモデルを作成します。
事前学習データに存在しない領域を含む複数のドメインからの評価データセットに正の転送を示す。
すべてのデータセットでパフォーマンスは最悪で、教師付きベースライン(p \leq 0.01$)よりも76%も改善され、95%の信頼性でエラーが8~40%削減されている。
他の研究とは対照的に、ターゲットドメインを除外したデータセットの事前トレーニングは、ターゲットドメインのみからデータセットを事前トレーニングするよりも優れたパフォーマンスをもたらす。
最悪、一致、およびタスクの56%のマルチドメインモデルは、シングルドメイン(p \leq 0.01$)を大きく上回っている。
これらの結果は、ノードラベルが評価に使用される場合を含み、パフォーマンスは単一ドメインや非事前訓練モデルよりも一貫して優れている。
特にFoToMは、ターゲットドメインの大規模または希少なデータレシエーションのシナリオにメリットがある。
関連論文リスト
- Robust Target Training for Multi-Source Domain Adaptation [110.77704026569499]
両レベル最適化に基づく新しいMSDAのためのロバスト目標訓練法(BORT$2$)を提案する。
提案手法は,大規模なDomainNetデータセットを含む3つのMSDAベンチマークにおいて,アートパフォーマンスの状態を達成している。
論文 参考訳(メタデータ) (2022-10-04T15:20:01Z) - Efficient Variational Graph Autoencoders for Unsupervised Cross-domain
Prerequisite Chains [3.358838755118655]
本稿では,このドメイン間前提連鎖学習タスクを効率的に解くために,DAVGAE(Domain-versaational Variational Graph Autoencoders)を導入する。
我々の新しいモデルは変分グラフオートエンコーダ(VGAE)とドメイン識別器から構成される。
その結果,本モデルは1/10グラフスケールと1/3時間のみを用いて,最近のグラフベースの計算より優れていることがわかった。
論文 参考訳(メタデータ) (2021-09-17T19:07:27Z) - Give Me Your Trained Model: Domain Adaptive Semantic Segmentation
without Source Data [63.60200857555127]
対象ドメインにトレーニングされたソースモデルのみを提供するクロスドメインセマンティックセマンティックセマンティクスタスクを提案する。
具体的には、DAS$3$は3つのスキーム、すなわち特徴アライメント、自己学習、情報伝達から構成される。
ドメイン間および都市間駆動データセットの大規模な結果により、ソースデータへのアクセスを必要とするメソッドと同等のDAS$3$が検証される。
論文 参考訳(メタデータ) (2021-06-22T10:21:39Z) - Robust wav2vec 2.0: Analyzing Domain Shift in Self-Supervised
Pre-Training [67.71228426496013]
事前トレーニング中にターゲットドメインデータを使用することで,さまざまなセットアップで大幅なパフォーマンス向上が期待できる。
複数のドメインで事前トレーニングを行うことで、トレーニング中に見られないドメインのパフォーマンスの一般化が向上します。
論文 参考訳(メタデータ) (2021-04-02T12:53:15Z) - Prototypical Cross-domain Self-supervised Learning for Few-shot
Unsupervised Domain Adaptation [91.58443042554903]
FUDA(Unsupervised Domain Adaptation)のためのPCS(Prototypical Cross-Domain Self-Supervised Learning)フレームワークを提案する。
PCSは、クロスドメインのローレベルな機能アライメントを行うだけでなく、ドメイン間の共有埋め込み空間におけるセマンティック構造をエンコードおよびアライメントする。
最新の手法と比較して、pcsは、fuda上の異なるドメインペアの平均分類精度を10.5%、office、office-home、visda-2017、domainnetで3.5%、9.0%、13.2%改善している。
論文 参考訳(メタデータ) (2021-03-31T02:07:42Z) - Self-training for Few-shot Transfer Across Extreme Task Differences [46.07212902030414]
ほとんどの数発の学習技術は、大きなラベル付き"ベースデータセット"で事前訓練されている。
このような大きなラベル付きデータセットが事前トレーニングに利用できない問題領域では、異なる"ソース"問題領域での事前トレーニングに頼らなければならない。
従来の少数ショットと移行学習のテクニックは、ソースとターゲットタスクの極端な違いの存在下で失敗する。
論文 参考訳(メタデータ) (2020-10-15T13:23:59Z) - $n$-Reference Transfer Learning for Saliency Prediction [73.17061116358036]
本稿では,サリエンシ予測のための数発のトランスファー学習パラダイムを提案する。
提案するフレームワークは勾配ベースでモデルに依存しない。
その結果,提案フレームワークは大幅な性能向上を実現していることがわかった。
論文 参考訳(メタデータ) (2020-07-09T23:20:44Z) - Unsupervised Intra-domain Adaptation for Semantic Segmentation through
Self-Supervision [73.76277367528657]
畳み込みニューラルネットワークに基づくアプローチは、セマンティックセグメンテーションにおいて顕著な進歩を遂げた。
この制限に対処するために、グラフィックエンジンから生成された注釈付きデータを使用してセグメンテーションモデルをトレーニングする。
ドメイン間およびドメイン間ギャップを最小化する2段階の自己教師付きドメイン適応手法を提案する。
論文 参考訳(メタデータ) (2020-04-16T15:24:11Z) - A simple baseline for domain adaptation using rotation prediction [17.539027866457673]
目標は、あるドメインでトレーニングされたモデルを、注釈付きデータが少ない別のドメインに適応させることだ。
本稿では,自己教師付き学習に基づく簡易かつ効果的な手法を提案する。
提案手法は,DomainNetデータセット上での半教師付きドメイン適応における最先端の処理結果を実現する。
論文 参考訳(メタデータ) (2019-12-26T17:32:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。