論文の概要: All in One and One for All: A Simple yet Effective Method towards
Cross-domain Graph Pretraining
- arxiv url: http://arxiv.org/abs/2402.09834v1
- Date: Thu, 15 Feb 2024 09:55:39 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-16 16:18:43.231725
- Title: All in One and One for All: A Simple yet Effective Method towards
Cross-domain Graph Pretraining
- Title(参考訳): All in One and One for All: クロスドメイングラフ事前トレーニングのためのシンプルで効果的な方法
- Authors: Haihong Zhao, Aochuan Chen, Xiangguo Sun, Hong Cheng, and Jia Li
- Abstract要約: 大規模言語モデル (LLM) はコンピュータビジョン (CV) と自然言語処理 (NLP) の分野に革命をもたらした。
LLMの最も注目すべき進歩の1つは、単一のモデルが複数のドメインにまたがる広範囲で多様なデータセットでトレーニングされていることである。
- 参考スコア(独自算出の注目度): 18.955565096212183
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large Language Models (LLMs) have revolutionized the fields of computer
vision (CV) and natural language processing (NLP). One of the most notable
advancements of LLMs is that a single model is trained on vast and diverse
datasets spanning multiple domains -- a paradigm we term `All in One'. This
methodology empowers LLMs with super generalization capabilities, facilitating
an encompassing comprehension of varied data distributions. Leveraging these
capabilities, a single LLM demonstrates remarkable versatility across a variety
of domains -- a paradigm we term `One for All'. However, applying this idea to
the graph field remains a formidable challenge, with cross-domain pretraining
often resulting in negative transfer. This issue is particularly important in
few-shot learning scenarios, where the paucity of training data necessitates
the incorporation of external knowledge sources. In response to this challenge,
we propose a novel approach called Graph COordinators for PrEtraining (GCOPE),
that harnesses the underlying commonalities across diverse graph datasets to
enhance few-shot learning. Our novel methodology involves a unification
framework that amalgamates disparate graph datasets during the pretraining
phase to distill and transfer meaningful knowledge to target tasks. Extensive
experiments across multiple graph datasets demonstrate the superior efficacy of
our approach. By successfully leveraging the synergistic potential of multiple
graph datasets for pretraining, our work stands as a pioneering contribution to
the realm of graph foundational model.
- Abstract(参考訳): 大規模言語モデル(LLM)はコンピュータビジョン(CV)と自然言語処理(NLP)の分野に革命をもたらした。
llmの最も注目すべき進歩の1つは、複数のドメインにまたがる巨大で多様なデータセットで、1つのモデルが訓練されていることだ。この方法論は、超一般化機能を持つllmに力を与え、さまざまなデータ分散の理解を促進する。これらの能力を活用することで、1つのllmは、さまざまなドメインにまたがる顕著な汎用性を示す。
しかしながら、このアイデアをグラフフィールドに適用することは依然として大きな課題であり、クロスドメイン事前トレーニングはしばしば負の転送をもたらす。
この問題は、トレーニングデータの質が外部知識源の組み入れを必要とする、少数の学習シナリオにおいて特に重要である。
この課題に対応して,多種多様なグラフデータセットにまたがる共通性を活用した,事前学習のためのグラフコーディネータ(gcope)と呼ばれる新しいアプローチを提案する。
提案手法は,事前学習段階で異なるグラフデータセットを融合し,目的とするタスクに有意義な知識を蒸留・伝達する統一フレームワークである。
複数のグラフデータセットにわたる大規模な実験は、我々のアプローチの優れた効果を示す。
複数のグラフデータセットの相乗的ポテンシャルを事前学習に活用することにより、我々の研究はグラフ基礎モデルの領域への先駆的な貢献として立証される。
関連論文リスト
- MuseGraph: Graph-oriented Instruction Tuning of Large Language Models
for Generic Graph Mining [41.19687587548107]
グラフニューラルネットワーク(GNN)は、異なるグラフタスクやデータセットに適用されるたびに、再トレーニングされる必要がある。
GNNとLarge Language Models(LLM)の強みをシームレスに統合する新しいフレームワークMusteGraphを提案する。
実験結果から,異なるグラフタスクの大幅な改善が示された。
論文 参考訳(メタデータ) (2024-03-02T09:27:32Z) - UniGraph: Learning a Cross-Domain Graph Foundation Model From Natural
Language [41.722898353772656]
We present our UniGraph framework, designed to training a graph foundation model can generalizing to unseen graphs and task across various domain。
本稿では,MGM(Masked Graph Modeling)に基づく自己教師型学習目標を持つバックボーンネットワークとして,言語モデル(LM)とグラフニューラルネットワーク(GNN)のケースケードアーキテクチャを提案する。
さまざまなグラフ学習タスクやドメインにわたる包括的な実験は、目に見えないグラフの自己教師付き表現学習、少数ショットのインコンテキスト転送、ゼロショット転送におけるモデルの有効性を実証する。
論文 参考訳(メタデータ) (2024-02-21T09:06:31Z) - Towards Versatile Graph Learning Approach: from the Perspective of Large
Language Models [40.58843080489752]
大きな言語モデル(LLM)は、豊富な知識と人間のような知性のために潜在的な解決策を提供する。
本稿では LLM を用いた多目的グラフ学習手法の設計のための新しい概念的プロトタイプを提案する。
論文 参考訳(メタデータ) (2024-02-18T16:43:21Z) - Efficient Large Language Models Fine-Tuning On Graphs [23.19795835873144]
Text-Attributed Graphs (TAGs) からの学習は、その幅広い現実世界のアプリケーションのために大きな注目を集めている。
本稿では,TAG上でのLarge Language Models (LLMs) のエンドツーエンド微調整のための新しい,効率的なアプローチについて紹介する。
論文 参考訳(メタデータ) (2023-12-07T22:35:16Z) - u-LLaVA: Unifying Multi-Modal Tasks via Large Language Model [18.100947750831885]
u-LLaVAは、MLLMの知覚能力を改善するためにピクセル、地域、グローバル機能を統合する革新的な統合マルチタスクフレームワークである。
この研究は、277Kサンプルからなるマスクベースの新しいマルチタスクデータセットに貢献し、MLLMの微粒化知覚能力に挑戦し評価する。
論文 参考訳(メタデータ) (2023-11-09T13:18:27Z) - Integrating Graphs with Large Language Models: Methods and Prospects [68.37584693537555]
大規模言語モデル (LLMs) が最前線として登場し、様々なアプリケーションにおいて非並列の長所を示している。
LLMとグラフ構造化データを組み合わせることは、非常に興味深いトピックです。
本稿では、そのような統合を2つの主要なカテゴリに分岐する。
論文 参考訳(メタデータ) (2023-10-09T07:59:34Z) - MinT: Boosting Generalization in Mathematical Reasoning via Multi-View
Fine-Tuning [53.90744622542961]
数学領域における推論は、小言語モデル(LM)にとって重要な課題である。
多様なアノテーションスタイルで既存の数学的問題データセットを利用する新しい手法を提案する。
実験結果から,LLaMA-7Bモデルが先行手法より優れていることが示された。
論文 参考訳(メタデータ) (2023-07-16T05:41:53Z) - Iterative Zero-Shot LLM Prompting for Knowledge Graph Construction [104.29108668347727]
本稿では,最新の生成型大規模言語モデルの可能性を活用する,革新的な知識グラフ生成手法を提案する。
このアプローチは、新しい反復的なゼロショットと外部知識に依存しない戦略を含むパイプラインで伝達される。
我々は、我々の提案がスケーラブルで多目的な知識グラフ構築に適したソリューションであり、異なる新しい文脈に適用できると主張している。
論文 参考訳(メタデータ) (2023-07-03T16:01:45Z) - An Efficient General-Purpose Modular Vision Model via Multi-Task
Heterogeneous Training [79.78201886156513]
本稿では、複数の視覚タスクを実行でき、他の下流タスクに効率的に適応できるモデルを提案する。
提案手法は,単一タスク状態モデルに匹敵する結果を達成し,下流タスクの強力な一般化を実証する。
論文 参考訳(メタデータ) (2023-06-29T17:59:57Z) - Diffusion Model is an Effective Planner and Data Synthesizer for
Multi-Task Reinforcement Learning [101.66860222415512]
Multi-Task Diffusion Model (textscMTDiff) は、トランスフォーマーのバックボーンを組み込んだ拡散に基づく手法であり、生成計画とデータ合成のための素早い学習を行う。
生成計画において、textscMTDiffはMeta-World上の50のタスクとMaze2D上の8のマップで最先端のアルゴリズムより優れています。
論文 参考訳(メタデータ) (2023-05-29T05:20:38Z) - Curriculum Graph Co-Teaching for Multi-Target Domain Adaptation [78.28390172958643]
マルチターゲットドメイン適応(MTDA)における複数のドメインシフトを軽減するのに役立つ2つの重要な側面を同定する。
本論文では,二重分類器ヘッドを用いたCGCT(Curriculum Graph Co-Teaching)を提案する。そのうちの1つがグラフ畳み込みネットワーク(GCN)である。
ドメインラベルが利用可能になると、まずより簡単なターゲットドメインに適応し、続いて難しいドメインに適応する逐次適応戦略であるDomain-Aware Curriculum Learning (DCL)を提案する。
論文 参考訳(メタデータ) (2021-04-01T23:41:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。