論文の概要: All in One and One for All: A Simple yet Effective Method towards Cross-domain Graph Pretraining
- arxiv url: http://arxiv.org/abs/2402.09834v2
- Date: Sat, 22 Jun 2024 13:29:36 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-26 02:01:18.142450
- Title: All in One and One for All: A Simple yet Effective Method towards Cross-domain Graph Pretraining
- Title（参考訳）: All in One and One for All: クロスドメイングラフ事前トレーニングのためのシンプルで効果的な方法
- Authors: Haihong Zhao, Aochuan Chen, Xiangguo Sun, Hong Cheng, Jia Li,
- Abstract要約: 大規模言語モデル (LLM) はコンピュータビジョン (CV) と自然言語処理 (NLP) の分野に革命をもたらした。
LLMの最も注目すべき進歩の1つは、単一のモデルが複数のドメインにまたがる広範囲で多様なデータセットでトレーニングされていることである。
- 参考スコア（独自算出の注目度）: 18.955565096212183
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large Language Models (LLMs) have revolutionized the fields of computer vision (CV) and natural language processing (NLP). One of the most notable advancements of LLMs is that a single model is trained on vast and diverse datasets spanning multiple domains -- a paradigm we term `All in One'. This methodology empowers LLMs with super generalization capabilities, facilitating an encompassing comprehension of varied data distributions. Leveraging these capabilities, a single LLM demonstrates remarkable versatility across a variety of domains -- a paradigm we term `One for All'. However, applying this idea to the graph field remains a formidable challenge, with cross-domain pretraining often resulting in negative transfer. This issue is particularly important in few-shot learning scenarios, where the paucity of training data necessitates the incorporation of external knowledge sources. In response to this challenge, we propose a novel approach called Graph COordinators for PrEtraining (GCOPE), that harnesses the underlying commonalities across diverse graph datasets to enhance few-shot learning. Our novel methodology involves a unification framework that amalgamates disparate graph datasets during the pretraining phase to distill and transfer meaningful knowledge to target tasks. Extensive experiments across multiple graph datasets demonstrate the superior efficacy of our approach. By successfully leveraging the synergistic potential of multiple graph datasets for pretraining, our work stands as a pioneering contribution to the realm of graph foundational model.
- Abstract（参考訳）: 大規模言語モデル (LLM) はコンピュータビジョン (CV) と自然言語処理 (NLP) の分野に革命をもたらした。
LLMの最も注目すべき進歩の1つは、単一のモデルが、複数のドメインにまたがる広範囲で多様なデータセット("All in One"と呼ばれるパラダイム)でトレーニングされていることだ。この方法論は、非常に一般化された能力を持つLLMに権限を与え、さまざまなデータ分散の包括的理解を促進する。これらの機能を活用することで、単一のLLMは、さまざまなドメインにまたがる顕著な汎用性を実証する。"One for All"というパラダイムは、我々が"One for All"と呼ぶパラダイムだ。
しかし、このアイデアをグラフ場に適用することは、ドメイン間の事前学習がしばしば負の移動をもたらすため、依然として非常に難しい課題である。
この問題は、トレーニングデータの質が外部知識源の組み入れを必要とする、数ショットの学習シナリオにおいて特に重要である。
この課題に対応するために,多種多様なグラフデータセット間の共通性を生かしたグラフコーディネータ(GCOPE)を提案する。
我々の新しい手法は、事前学習期間中に異なるグラフデータセットをアマルガメートして、目的のタスクに有意義な知識を蒸留し、伝達する統合フレームワークを包含する。
複数のグラフデータセットにまたがる大規模な実験は、我々のアプローチの優れた効果を示す。
複数のグラフデータセットの相乗的ポテンシャルを事前学習に活用することにより、我々の研究はグラフ基礎モデルの領域への先駆的な貢献として立証される。
関連論文リスト
- Cross-Modal Few-Shot Learning: a Generative Transfer Learning Framework [58.362064122489166]
本稿では,複数モーダルからインスタンスを識別するクロスモーダルなFew-Shot Learningタスクを提案する。
本稿では,1つの段階からなる生成的転帰学習フレームワークを提案する。1つは豊富な一助データに対する学習を伴い,もう1つは新しいデータに適応するための転帰学習に焦点を当てる。
以上の結果から,GTLは4つの異なるマルチモーダルデータセット間の最先端手法よりも優れた性能を示す。
論文 参考訳（メタデータ） (2024-10-14T16:09:38Z) - Language Models are Graph Learners [70.14063765424012]
言語モデル(LM)は、グラフニューラルネットワーク(GNN)やグラフトランスフォーマー(GT)など、ドメイン固有のモデルの優位性に挑戦している。
本稿では,ノード分類タスクにおける最先端のGNNに匹敵する性能を実現するために,既製のLMを有効活用する手法を提案する。
論文 参考訳（メタデータ） (2024-10-03T08:27:54Z) - Towards Graph Prompt Learning: A Survey and Beyond [38.55555996765227]
大規模"事前訓練と迅速な学習"パラダイムは、顕著な適応性を示している。
この調査は、この分野における100以上の関連する研究を分類し、一般的な設計原則と最新の応用を要約する。
論文 参考訳（メタデータ） (2024-08-26T06:36:42Z) - GraphFM: A Scalable Framework for Multi-Graph Pretraining [2.882104808886318]
本稿では,さまざまな領域のグラフデータセットにまたがるノード分類タスクに適した,スケーラブルなマルチグラフ・マルチタスク事前学習手法を提案する。
我々は,740万以上のノードと1億1900万のエッジからなる152のグラフデータセットのモデルをトレーニングすることで,このアプローチの有効性を実証する。
以上の結果から,多種多様な実・合成グラフの事前学習により適応性と安定性が向上し,最先端のスペシャリストモデルと競合する結果が得られた。
論文 参考訳（メタデータ） (2024-07-16T16:51:43Z) - MuseGraph: Graph-oriented Instruction Tuning of Large Language Models
for Generic Graph Mining [41.19687587548107]
グラフニューラルネットワーク(GNN)は、異なるグラフタスクやデータセットに適用されるたびに、再トレーニングされる必要がある。
GNNとLarge Language Models(LLM)の強みをシームレスに統合する新しいフレームワークMusteGraphを提案する。
実験結果から,異なるグラフタスクの大幅な改善が示された。
論文 参考訳（メタデータ） (2024-03-02T09:27:32Z) - u-LLaVA: Unifying Multi-Modal Tasks via Large Language Model [17.3535277338312]
u-LLaVAは、MLLMの知覚能力を改善するためにピクセル、地域、グローバル機能を統合する革新的な統合マルチタスクフレームワークである。
この研究は、277Kサンプルからなるマスクベースの新しいマルチタスクデータセットに貢献し、MLLMの微粒化知覚能力に挑戦し評価する。
論文 参考訳（メタデータ） (2023-11-09T13:18:27Z) - Integrating Graphs with Large Language Models: Methods and Prospects [68.37584693537555]
大規模言語モデル (LLMs) が最前線として登場し、様々なアプリケーションにおいて非並列の長所を示している。
LLMとグラフ構造化データを組み合わせることは、非常に興味深いトピックです。
本稿では、そのような統合を2つの主要なカテゴリに分岐する。
論文 参考訳（メタデータ） (2023-10-09T07:59:34Z) - A Versatile Graph Learning Approach through LLM-based Agent [33.37921145183175]
LLMに基づくエージェントを用いた多目的グラフ学習手法を提案する。
多様なプロファイル,ツール,機能,人間体験を備えたLCMエージェントを複数開発する。
多様なタスクやグラフを評価することで、エージェントの正しい結果と同等の性能が提案手法の汎用性を示している。
論文 参考訳（メタデータ） (2023-09-08T19:34:29Z) - MinT: Boosting Generalization in Mathematical Reasoning via Multi-View
Fine-Tuning [53.90744622542961]
数学領域における推論は、小言語モデル(LM)にとって重要な課題である。
多様なアノテーションスタイルで既存の数学的問題データセットを利用する新しい手法を提案する。
実験結果から,LLaMA-7Bモデルが先行手法より優れていることが示された。
論文 参考訳（メタデータ） (2023-07-16T05:41:53Z) - Iterative Zero-Shot LLM Prompting for Knowledge Graph Construction [104.29108668347727]
本稿では,最新の生成型大規模言語モデルの可能性を活用する,革新的な知識グラフ生成手法を提案する。
このアプローチは、新しい反復的なゼロショットと外部知識に依存しない戦略を含むパイプラインで伝達される。
我々は、我々の提案がスケーラブルで多目的な知識グラフ構築に適したソリューションであり、異なる新しい文脈に適用できると主張している。
論文 参考訳（メタデータ） (2023-07-03T16:01:45Z) - An Efficient General-Purpose Modular Vision Model via Multi-Task
Heterogeneous Training [79.78201886156513]
本稿では、複数の視覚タスクを実行でき、他の下流タスクに効率的に適応できるモデルを提案する。
提案手法は,単一タスク状態モデルに匹敵する結果を達成し,下流タスクの強力な一般化を実証する。
論文 参考訳（メタデータ） (2023-06-29T17:59:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。