論文の概要: Towards Text-free Graph Foundation Models: Rethinking Multi-Domain Graph Contrastive Learning

• arxiv url: http://arxiv.org/abs/2506.22510v1
• Date: Thu, 26 Jun 2025 03:14:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-01 21:27:53.434549
• Title: Towards Text-free Graph Foundation Models: Rethinking Multi-Domain Graph Contrastive Learning
• Title（参考訳）: テキストフリーグラフ基礎モデルに向けて:マルチドメイングラフコントラスト学習を再考する
• Authors: Zihao Zhao, Xinlong Zhai, Jinyu Yang, Chuan Shi,
• Abstract要約: 本稿では,MDGCLという,新しいマルチドメイン事前学習およびクロスドメイン転送フレームワークを提案する。 事前学習の段階では、ドメインの違いを実質的に認識し、キャプチャするための対照的な学習戦略を設計する。 下流の段階では、細かなドメイン知識の伝達を可能にするためのドメインアテンション機構を導入する。
• 参考スコア（独自算出の注目度）: 40.56379624114316
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Foundation models have achieved great success in natural language processing (NLP) and computer vision (CV). Their success largely stems from the ability to integrate multi-domain knowledge in pre-training and transfer it to target domains. Considering graph data, especially graphs without textual features, is ubiquitous in real-world applications such as social networks and recommendation systems, some researchers have attempted to extend this paradigm to the graph field, aiming to construct graph foundation models. However, unlike CV and NLP, there are huge gaps among the semantics and properties of graphs in different domains, while current works still adopt traditional contrastive pre-training strategies designed in the single-domain scenario, which regard contrastive samples from different domains as equivalent. From experimental investigations, we discovered that inherent domain-specific differences prevent these strategies from effectively absorbing knowledge from different domains to generate informative representations. In this paper, we propose a novel multi-domain pre-training and cross-domain transfer framework, namely MDGCL.In the pre-training stage, we design a contrastive learning strategy to substantially recognize and capture domain differences, and introduce domain tokens to encode domain-level global information. In the downstream stage, we introduce a domain attention mechanism to enable fine-grained domain knowledge transfer. Extensive experiments on five benchmark datasets have demonstrated that our method outperforms state-of-the-art significantly, with the maximum improvement of 19.33\% on accuracy and 19.13\% on Macro-F1 score.
• Abstract（参考訳）: 基礎モデルは自然言語処理(NLP)とコンピュータビジョン(CV)で大きな成功を収めている。 彼らの成功は、主に、事前トレーニングとターゲットドメインへの転送において、複数のドメイン知識を統合する能力に起因している。 ソーシャルネットワークやレコメンデーションシステムといった現実のアプリケーションでは,グラフデータ,特にテキスト機能のないグラフが広く普及していることから,グラフ基礎モデルの構築を目指して,このパラダイムをグラフ分野に拡張しようと試みている研究者もいる。 しかし、CVやNLPとは異なり、異なるドメインのグラフのセマンティクスと性質の間には大きなギャップがある一方、現在の研究では、異なるドメインからの対照的なサンプルを等価とみなす単一ドメインのシナリオで設計された伝統的なコントラスト的な事前学習戦略が採用されている。 実験の結果,ドメイン固有の差異は,これらの戦略が情報表現を生成するために,異なるドメインからの知識を効果的に吸収することを妨げていることがわかった。 本稿では,MDGCLという新しいドメイン間転送フレームワークを提案する。事前学習段階において,ドメイン間の差異を実質的に認識し,捉えるための対照的な学習戦略を設計し,ドメインレベルのグローバル情報をエンコードするためのドメイントークンを導入する。 下流の段階では、細かなドメイン知識の伝達を可能にするためのドメインアテンション機構を導入する。 5つのベンチマークデータセットに対する大規模な実験により、我々の手法は精度19.33\%、マクロF1スコア19.13\%で最先端を著しく上回ることを示した。

関連論文リスト

• What's in a Latent? Leveraging Diffusion Latent Space for Domain Generalization [10.079844840768054]
  ドメインの一般化は、新しい、目に見えないデータ分布に一般化できるモデルを開発することを目的としている。 モデルアーキテクチャと事前学習の目的が機能豊かさに与える影響について検討する。 我々のフレームワークは、最大4%以上のテスト精度向上により、未確認領域への一般化を改善する。
  論文  参考訳（メタデータ） (2025-03-09T17:29:01Z)
• Multi-Domain Graph Foundation Models: Robust Knowledge Transfer via Topology Alignment [9.215549756572976]
  実世界のグラフはスパースが多く、ノイズの多い接続や敵の攻撃を受けやすい。 本稿では,ドメイン間のトポロジ情報を整合化し活用する統合フレームワークであるMDGFMを提案する。 トポロジを整列させることで、MDGFMはマルチドメイン事前学習を改善するだけでなく、目に見えないドメインへの堅牢な知識伝達を可能にする。
  論文  参考訳（メタデータ） (2025-02-04T05:09:23Z)
• Curriculum Graph Co-Teaching for Multi-Target Domain Adaptation [78.28390172958643]
  マルチターゲットドメイン適応(MTDA)における複数のドメインシフトを軽減するのに役立つ2つの重要な側面を同定する。 本論文では,二重分類器ヘッドを用いたCGCT(Curriculum Graph Co-Teaching)を提案する。そのうちの1つがグラフ畳み込みネットワーク(GCN)である。 ドメインラベルが利用可能になると、まずより簡単なターゲットドメインに適応し、続いて難しいドメインに適応する逐次適応戦略であるDomain-Aware Curriculum Learning (DCL)を提案する。
  論文  参考訳（メタデータ） (2021-04-01T23:41:41Z)
• Cross-Domain Facial Expression Recognition: A Unified Evaluation Benchmark and Adversarial Graph Learning [85.6386289476598]
  我々は,クロスドメイン全体的特徴共適応のための新しい逆グラフ表現適応(AGRA)フレームワークを開発した。 我々は,いくつかの一般的なベンチマークで広範囲かつ公平な評価を行い,提案したAGRAフレームワークが従来の最先端手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-08-03T15:00:31Z)
• Adversarial Graph Representation Adaptation for Cross-Domain Facial Expression Recognition [86.25926461936412]
  本稿では,グラフ表現の伝播と逆学習を両立させる新しいAdrialversa Graph Representation Adaptation (AGRA) フレームワークを提案する。 提案するAGRAフレームワークは,従来の最先端手法よりも優れた性能を発揮することを示す。
  論文  参考訳（メタデータ） (2020-08-03T13:27:24Z)
• Adversarial Bipartite Graph Learning for Video Domain Adaptation [50.68420708387015]
  ドメイン適応技術は,異なる領域間のモデルを適応させることに重点を置いているが,ビデオ認識領域ではめったに研究されていない。 近年,映像のソースと対象映像の表現を統一するために,対角学習を活用する視覚領域適応はビデオにはあまり効果がない。 本稿では,ソースとターゲットの相互作用を直接モデル化するAdversarial Bipartite Graph (ABG)学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-31T03:48:41Z)
• Domain Adaptation for Semantic Parsing [68.81787666086554]
  本稿では,ドメイン適応のための新しいセマンティクスを提案する。このセマンティクスでは,ソースドメインと比較して,対象ドメインのアノテーション付きデータがはるかに少ない。 我々のセマンティックな利点は、2段階の粗大なフレームワークから得ており、2段階の異なる正確な処理を提供できる。 ベンチマークデータセットの実験により、我々の手法はいくつかの一般的なドメイン適応戦略より一貫して優れていることが示された。
  論文  参考訳（メタデータ） (2020-06-23T14:47:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。