論文の概要: Its All Graph To Me: Foundational Topology Models with Contrastive Learning on Multiple Domains

• arxiv url: http://arxiv.org/abs/2311.03976v1
• Date: Tue, 7 Nov 2023 13:24:01 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-08 15:20:16.922615
• Title: Its All Graph To Me: Foundational Topology Models with Contrastive Learning on Multiple Domains
• Title（参考訳）: すべては私に当てはまる:複数の領域におけるコントラスト学習を伴う基礎トポロジーモデル
• Authors: Alex O. Davies, Riku W. Green, Nirav S. Ajmeri, Telmo M. Silva Filho
• Abstract要約: 本稿では,多くのグラフ領域で事前学習したモデルを提案する。 トポロジでのみモデルをトレーニングするが、評価にはノードラベルを含める。 一つのモデルでパフォーマンスが同等か良いかを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Representations and embeddings of graph data have been essential in many domains of research. The principle benefit of learning such representations is that the pre-trained model can be fine-tuned on smaller datasets where data or labels are scarse. Existing models, however, are domain specific; for example a model trained on molecular graphs is fine-tuned on other molecular graphs. This means that in many application cases the choice of pre-trained model can be arbitrary, and novel domains may lack an appropriate pre-trained model. This is of particular issue where data is scarse, precluding traditional supervised methods. In this work we use adversarial contrastive learning to present a \method, a model pre-trained on many graph domains. We train the model only on topologies but include node labels in evaluation. We evaluate the efficacy of its learnt representations on various downstream tasks. Against baseline models pre-trained on single domains, as well as un-trained models and non-transferred models, we show that performance is equal or better using our single model. This includes when node labels are used in evaluation, where performance is consistently superior to single-domain or non-pre-trained models.
• Abstract（参考訳）: グラフデータの表現と埋め込みは多くの研究領域において不可欠である。 このような表現を学習する原則上の利点は、事前学習されたモデルは、データやラベルが乏しい小さなデータセット上で微調整可能であることである。 しかし、既存のモデルはドメイン固有であり、例えば、分子グラフで訓練されたモデルは、他の分子グラフ上で微調整される。 これは多くの場合、事前学習されたモデルの選択は任意であり、新しいドメインは適切な事前学習されたモデルを持たない可能性があることを意味する。 これは、データが乏しく、従来の教師付きメソッドに先行する、特に問題です。 本研究では,多くのグラフ領域で事前学習されたモデルである \method の提示に,逆コントラスト学習を用いる。 トポロジでのみモデルをトレーニングするが、評価にはノードラベルを含める。 各種下流タスクにおける学習表現の有効性を評価する。 単一ドメインで事前トレーニングされたベースラインモデルや、トレーニングされていないモデルや移行されていないモデルに対して、単一モデルでのパフォーマンスが同等かそれ以上かを示す。 これには評価にノードラベルを使用する場合が含まれており、パフォーマンスは単一ドメインや非事前訓練モデルよりも一貫して優れている。

関連論文リスト

• Improving Domain Generalization with Domain Relations [77.63345406973097]
  本稿では、モデルがトレーニングされたドメインと異なる新しいドメインに適用されたときに発生するドメインシフトに焦点を当てる。 ドメイン固有モデルを学習するためのD$3$Gという新しい手法を提案する。 以上の結果から,D$3$Gは最先端の手法より一貫して優れていた。
  論文  参考訳（メタデータ） (2023-02-06T08:11:16Z)
• Robust Target Training for Multi-Source Domain Adaptation [110.77704026569499]
  両レベル最適化に基づく新しいMSDAのためのロバスト目標訓練法(BORT$2$)を提案する。 提案手法は,大規模なDomainNetデータセットを含む3つのMSDAベンチマークにおいて,アートパフォーマンスの状態を達成している。
  論文  参考訳（メタデータ） (2022-10-04T15:20:01Z)
• Efficient Variational Graph Autoencoders for Unsupervised Cross-domain Prerequisite Chains [3.358838755118655]
  本稿では,このドメイン間前提連鎖学習タスクを効率的に解くために,DAVGAE(Domain-versaational Variational Graph Autoencoders)を導入する。 我々の新しいモデルは変分グラフオートエンコーダ(VGAE)とドメイン識別器から構成される。 その結果,本モデルは1/10グラフスケールと1/3時間のみを用いて,最近のグラフベースの計算より優れていることがわかった。
  論文  参考訳（メタデータ） (2021-09-17T19:07:27Z)
• Robust wav2vec 2.0: Analyzing Domain Shift in Self-Supervised Pre-Training [67.71228426496013]
  事前トレーニング中にターゲットドメインデータを使用することで,さまざまなセットアップで大幅なパフォーマンス向上が期待できる。 複数のドメインで事前トレーニングを行うことで、トレーニング中に見られないドメインのパフォーマンスの一般化が向上します。
  論文  参考訳（メタデータ） (2021-04-02T12:53:15Z)
• Prototypical Cross-domain Self-supervised Learning for Few-shot Unsupervised Domain Adaptation [91.58443042554903]
  FUDA(Unsupervised Domain Adaptation)のためのPCS(Prototypical Cross-Domain Self-Supervised Learning)フレームワークを提案する。 PCSは、クロスドメインのローレベルな機能アライメントを行うだけでなく、ドメイン間の共有埋め込み空間におけるセマンティック構造をエンコードおよびアライメントする。 最新の手法と比較して、pcsは、fuda上の異なるドメインペアの平均分類精度を10.5%、office、office-home、visda-2017、domainnetで3.5%、9.0%、13.2%改善している。
  論文  参考訳（メタデータ） (2021-03-31T02:07:42Z)
• Self-training for Few-shot Transfer Across Extreme Task Differences [46.07212902030414]
  ほとんどの数発の学習技術は、大きなラベル付き"ベースデータセット"で事前訓練されている。 このような大きなラベル付きデータセットが事前トレーニングに利用できない問題領域では、異なる"ソース"問題領域での事前トレーニングに頼らなければならない。 従来の少数ショットと移行学習のテクニックは、ソースとターゲットタスクの極端な違いの存在下で失敗する。
  論文  参考訳（メタデータ） (2020-10-15T13:23:59Z)
• $n$-Reference Transfer Learning for Saliency Prediction [73.17061116358036]
  本稿では,サリエンシ予測のための数発のトランスファー学習パラダイムを提案する。 提案するフレームワークは勾配ベースでモデルに依存しない。 その結果,提案フレームワークは大幅な性能向上を実現していることがわかった。
  論文  参考訳（メタデータ） (2020-07-09T23:20:44Z)
• Unsupervised Intra-domain Adaptation for Semantic Segmentation through Self-Supervision [73.76277367528657]
  畳み込みニューラルネットワークに基づくアプローチは、セマンティックセグメンテーションにおいて顕著な進歩を遂げた。 この制限に対処するために、グラフィックエンジンから生成された注釈付きデータを使用してセグメンテーションモデルをトレーニングする。 ドメイン間およびドメイン間ギャップを最小化する2段階の自己教師付きドメイン適応手法を提案する。
  論文  参考訳（メタデータ） (2020-04-16T15:24:11Z)
• A simple baseline for domain adaptation using rotation prediction [17.539027866457673]
  目標は、あるドメインでトレーニングされたモデルを、注釈付きデータが少ない別のドメインに適応させることだ。 本稿では,自己教師付き学習に基づく簡易かつ効果的な手法を提案する。 提案手法は,DomainNetデータセット上での半教師付きドメイン適応における最先端の処理結果を実現する。
  論文  参考訳（メタデータ） (2019-12-26T17:32:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。