論文の概要: Text-Free Multi-domain Graph Pre-training: Toward Graph Foundation Models

• arxiv url: http://arxiv.org/abs/2405.13934v3
• Date: Tue, 28 May 2024 10:04:50 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-29 11:28:48.654300
• Title: Text-Free Multi-domain Graph Pre-training: Toward Graph Foundation Models
• Title（参考訳）: テキストフリーマルチドメイングラフ事前学習:グラフ基礎モデルに向けて
• Authors: Xingtong Yu, Chang Zhou, Yuan Fang, Xinming Zhang,
• Abstract要約: テキストフリーなマルチドメイングラフ事前学習・適応フレームワークMDGPTを提案する。 まず、シナジスティックな事前学習のために、ソースドメインにまたがる機能を整列する一連のドメイントークンを提案する。 第2に、統合されたプロンプトと混合プロンプトからなる二重プロンプトを提案し、統合されたマルチドメイン知識でターゲットドメインをさらに適応させる。
• 参考スコア（独自算出の注目度）: 33.2696184519275
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Given the ubiquity of graph data, it is intriguing to ask: Is it possible to train a graph foundation model on a broad range of graph data across diverse domains? A major hurdle toward this goal lies in the fact that graphs from different domains often exhibit profoundly divergent characteristics. Although there have been some initial efforts in integrating multi-domain graphs for pre-training, they primarily rely on textual descriptions to align the graphs, limiting their application to text-attributed graphs. Moreover, different source domains may conflict or interfere with each other, and their relevance to the target domain can vary significantly. To address these issues, we propose MDGPT, a text free Multi-Domain Graph Pre-Training and adaptation framework designed to exploit multi-domain knowledge for graph learning. First, we propose a set of domain tokens to to align features across source domains for synergistic pre-training. Second, we propose a dual prompts, consisting of a unifying prompt and a mixing prompt, to further adapt the target domain with unified multi-domain knowledge and a tailored mixture of domain-specific knowledge. Finally, we conduct extensive experiments involving six public datasets to evaluate and analyze MDGPT, which outperforms prior art by up to 37.9%.
• Abstract（参考訳）: さまざまな領域にまたがる幅広いグラフデータに基づいてグラフ基盤モデルをトレーニングすることは可能ですか? この目標への大きなハードルは、異なる領域のグラフがしばしば非常に異なる特性を示すという事実にある。 事前トレーニングのためのマルチドメイングラフの統合には、最初はいくつかの取り組みがあったが、主にグラフを整列させるためにテキスト記述に依存しており、そのアプリケーションはテキスト対応グラフに制限されている。 さらに、異なるソースドメインが互いに衝突したり干渉したりし、ターゲットドメインとの関係は著しく変化する。 これらの問題に対処するため,MDGPTというテキストフリーなマルチドメイングラフ事前学習・適応フレームワークを提案する。 まず、シナジスティックな事前学習のために、ソースドメインにまたがる機能を調整するために、一連のドメイントークンを提案する。 第2に、統一的なプロンプトと混合プロンプトからなる二重プロンプトを提案し、統合されたマルチドメイン知識とドメイン固有の知識の調整された混合により、ターゲットドメインをさらに適応させる。 最後に、6つの公開データセットによる広範な実験を行い、MDGPTを評価し分析する。

関連論文リスト

• A Unified Data Augmentation Framework for Low-Resource Multi-Domain Dialogue Generation [52.0964459842176]
  現在の最先端の対話システムは、広範なトレーニングデータセットに大きく依存している。 我々はtextbfAMD$2$G と呼ばれる textbfMulti-textbfDomain textbfDialogue textbfGeneration のための新しいデータ textbfAugmentation フレームワークを提案する。 AMD$2$Gフレームワークは、データ拡張プロセスと、ドメインに依存しないトレーニングとドメイン適応トレーニングという2段階のトレーニングアプローチで構成されている。
  論文  参考訳（メタデータ） (2024-06-14T09:52:27Z)
• UniGraph: Learning a Cross-Domain Graph Foundation Model From Natural Language [41.722898353772656]
  We present our UniGraph framework, designed to training a graph foundation model can generalizing to unseen graphs and task across various domain。 本稿では,MGM(Masked Graph Modeling)に基づく自己教師型学習目標を持つバックボーンネットワークとして,言語モデル(LM)とグラフニューラルネットワーク(GNN)のケースケードアーキテクチャを提案する。 さまざまなグラフ学習タスクやドメインにわたる包括的な実験は、目に見えないグラフの自己教師付き表現学習、少数ショットのインコンテキスト転送、ゼロショット転送におけるモデルの有効性を実証する。
  論文  参考訳（メタデータ） (2024-02-21T09:06:31Z)
• Position: Graph Foundation Models are Already Here [53.737868336014735]
  グラフ基礎モデル(GFM)は、グラフ領域において重要な研究トピックとして浮上している。 グラフ語彙の提唱によるGFM開発のための新しい視点」を提案する。 この観点は、将来のGFM設計を、ニューラルネットワークのスケーリング法則に従って前進させる可能性がある。
  論文  参考訳（メタデータ） (2024-02-03T17:24:36Z)
• One for All: Towards Training One Graph Model for All Classification Tasks [61.656962278497225]
  様々なグラフタスクの統一モデルは、主にグラフ学習領域に固有の課題のために、まだ探索されていない。 上記の課題に対処するために単一のグラフモデルを使用できる最初の汎用フレームワークである textbfOne for All (OFA) を提案する。 OFAは様々なタスクでうまく機能し、グラフ上の最初の汎用のクロスドメイン分類モデルとなる。
  論文  参考訳（メタデータ） (2023-09-29T21:15:26Z)
• Finding Diverse and Predictable Subgraphs for Graph Domain Generalization [88.32356432272356]
  本稿では,不明瞭な分布シフトにより性能が低下するグラフの分布外一般化に着目した。 本稿では,DPSと呼ばれる新しいグラフ領域の一般化フレームワークを提案する。 ノードレベルのベンチマークとグラフレベルのベンチマークの両方の実験により、提案したDPSはグラフ領域の一般化タスクにおいて印象的な性能を発揮することが示された。
  論文  参考訳（メタデータ） (2022-06-19T07:57:56Z)
• Curriculum Graph Co-Teaching for Multi-Target Domain Adaptation [78.28390172958643]
  マルチターゲットドメイン適応(MTDA)における複数のドメインシフトを軽減するのに役立つ2つの重要な側面を同定する。 本論文では,二重分類器ヘッドを用いたCGCT(Curriculum Graph Co-Teaching)を提案する。そのうちの1つがグラフ畳み込みネットワーク(GCN)である。 ドメインラベルが利用可能になると、まずより簡単なターゲットドメインに適応し、続いて難しいドメインに適応する逐次適応戦略であるDomain-Aware Curriculum Learning (DCL)を提案する。
  論文  参考訳（メタデータ） (2021-04-01T23:41:41Z)
• Graphonomy: Universal Image Parsing via Graph Reasoning and Transfer [140.72439827136085]
  グラフィノノミー(Graphonomy)というグラフ推論・伝達学習フレームワークを提案する。 人間の知識とラベル分類を、局所畳み込みを超えた中間グラフ表現学習に組み込んでいる。 意味認識グラフの推論と転送を通じて、複数のドメインにおけるグローバルおよび構造化されたセマンティックコヒーレンシーを学習する。
  論文  参考訳（メタデータ） (2021-01-26T08:19:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。