論文の概要: One for All: Towards Training One Graph Model for All Classification Tasks
- arxiv url: http://arxiv.org/abs/2310.00149v3
- Date: Fri, 12 Jul 2024 23:01:32 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-17 04:48:58.646692
- Title: One for All: Towards Training One Graph Model for All Classification Tasks
- Title(参考訳): ひとつは、すべての分類タスクのための1つのグラフモデルをトレーニングすること
- Authors: Hao Liu, Jiarui Feng, Lecheng Kong, Ningyue Liang, Dacheng Tao, Yixin Chen, Muhan Zhang,
- Abstract要約: 様々なグラフタスクの統一モデルは、主にグラフ学習領域に固有の課題のために、まだ探索されていない。
上記の課題に対処するために単一のグラフモデルを使用できる最初の汎用フレームワークである textbfOne for All (OFA) を提案する。
OFAは様々なタスクでうまく機能し、グラフ上の最初の汎用のクロスドメイン分類モデルとなる。
- 参考スコア(独自算出の注目度): 61.656962278497225
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Designing a single model to address multiple tasks has been a long-standing objective in artificial intelligence. Recently, large language models have demonstrated exceptional capability in solving different tasks within the language domain. However, a unified model for various graph tasks remains underexplored, primarily due to the challenges unique to the graph learning domain. First, graph data from different areas carry distinct attributes and follow different distributions. Such discrepancy makes it hard to represent graphs in a single representation space. Second, tasks on graphs diversify into node, link, and graph tasks, requiring distinct embedding strategies. Finally, an appropriate graph prompting paradigm for in-context learning is unclear. We propose \textbf{One for All (OFA)}, the first general framework that can use a single graph model to address the above challenges. Specifically, OFA proposes text-attributed graphs to unify different graph data by describing nodes and edges with natural language and uses language models to encode the diverse and possibly cross-domain text attributes to feature vectors in the same embedding space. Furthermore, OFA introduces the concept of nodes-of-interest to standardize different tasks with a single task representation. For in-context learning on graphs, OFA introduces a novel graph prompting paradigm that appends prompting substructures to the input graph, which enables it to address varied tasks without fine-tuning. We train the OFA model using graph data from multiple domains (including citation networks, molecular graphs, knowledge graphs, etc.) simultaneously and evaluate its ability in supervised, few-shot, and zero-shot learning scenarios. OFA performs well across different tasks, making it the first general-purpose across-domains classification model on graphs.
- Abstract(参考訳): 複数のタスクに対処する単一モデルを設計することは、人工知能の長年の目標である。
近年,大規模言語モデルは言語領域内で異なるタスクを解く際,例外的な能力を示した。
しかし、グラフ学習領域に固有の課題のために、様々なグラフタスクの統一モデルがまだ探索されていない。
まず、異なる領域のグラフデータは異なる属性を持ち、異なる分布に従う。
このような相違により、単一の表現空間におけるグラフの表現が困難になる。
第二に、グラフ上のタスクはノード、リンク、グラフタスクに多様化し、異なる埋め込み戦略を必要とする。
最後に、文脈内学習のための適切なグラフプロンプトパラダイムが不明確である。
我々は、上記の課題に対処するために単一のグラフモデルを使用する最初の一般的なフレームワークである、OFA(textbf{One for All)を提案する。
具体的には、ノードとエッジを自然言語で記述することで、異なるグラフデータを統一するテキスト分散グラフを提案し、言語モデルを使用して、多様でおそらくクロスドメインなテキスト属性を符号化し、同じ埋め込み空間における特徴ベクトルを符号化する。
さらに、OFAは1つのタスク表現で異なるタスクを標準化するノードオブ関心の概念を導入している。
グラフ上のコンテキスト内学習のためにOFAは、入力グラフにサブストラクチャを付加する新しいグラフプロンプトパラダイムを導入し、微調整なしで様々なタスクに対処できるようにする。
我々は、複数のドメイン(引用ネットワーク、分子グラフ、知識グラフなど)のグラフデータを用いてOFAモデルを同時に訓練し、教師付き、少数ショット、ゼロショット学習シナリオにおけるその能力を評価する。
OFAは様々なタスクでうまく機能し、グラフ上の最初の汎用のクロスドメイン分類モデルとなる。
関連論文リスト
- Exploring Task Unification in Graph Representation Learning via Generative Approach [12.983429541410617]
グラフは現実世界のシナリオにおいてユビキタスであり、ノードレベル、エッジレベル、グラフレベルのタスクから移行学習まで、さまざまなタスクを含んでいる。
最近の取り組みは、複数のグラフタスクをまたいで一般化できる統一されたフレームワークを設計することを目的としている。
これらのうち、グラフオートエンコーダ(GAE)は、様々なグラフタスクに効果的に対処する可能性を示している。
本稿では,これらの課題にシームレスに対処可能な,対向マスク型オートエンコーダであるGA2Eを提案する。
論文 参考訳(メタデータ) (2024-03-21T12:14:02Z) - UniGraph: Learning a Cross-Domain Graph Foundation Model From Natural
Language [41.722898353772656]
We present our UniGraph framework, designed to training a graph foundation model can generalizing to unseen graphs and task across various domain。
本稿では,MGM(Masked Graph Modeling)に基づく自己教師型学習目標を持つバックボーンネットワークとして,言語モデル(LM)とグラフニューラルネットワーク(GNN)のケースケードアーキテクチャを提案する。
さまざまなグラフ学習タスクやドメインにわたる包括的な実験は、目に見えないグラフの自己教師付き表現学習、少数ショットのインコンテキスト転送、ゼロショット転送におけるモデルの有効性を実証する。
論文 参考訳(メタデータ) (2024-02-21T09:06:31Z) - G-Retriever: Retrieval-Augmented Generation for Textual Graph Understanding and Question Answering [61.93058781222079]
現実のテキストグラフを対象とするフレキシブルな問合せフレームワークを開発した。
一般のテキストグラフに対する最初の検索拡張生成(RAG)手法を提案する。
G-Retrieverは、このタスクをSteiner Tree最適化問題として定式化し、グラフ上でRAGを実行する。
論文 参考訳(メタデータ) (2024-02-12T13:13:04Z) - MGNet: Learning Correspondences via Multiple Graphs [78.0117352211091]
学習対応は、不均一な対応分布と低い不整合率で設定された初期対応から正しい対応を見つけることを目的としている。
最近の進歩は、通常、グラフニューラルネットワーク(GNN)を使用して単一のタイプのグラフを構築したり、グローバルなグラフに局所グラフをスタックしてタスクを完了させる。
本稿では,複数の補完グラフを効果的に組み合わせるためのMGNetを提案する。
論文 参考訳(メタデータ) (2024-01-10T07:58:44Z) - SimTeG: A Frustratingly Simple Approach Improves Textual Graph Learning [131.04781590452308]
テキストグラフ学習におけるフラストレーションに富んだアプローチであるSimTeGを提案する。
まず、下流タスクで予め訓練されたLM上で、教師付きパラメータ効率の微調整(PEFT)を行う。
次に、微調整されたLMの最後の隠れ状態を用いてノード埋め込みを生成する。
論文 参考訳(メタデータ) (2023-08-03T07:00:04Z) - All in One: Multi-task Prompting for Graph Neural Networks [30.457491401821652]
本稿では,グラフモデルのための新しいマルチタスクプロンプト手法を提案する。
まず、グラフプロンプトと言語プロンプトのフォーマットを、プロンプトトークン、トークン構造、挿入パターンで統一する。
次に、様々なグラフアプリケーションのタスク空間を調査し、下流の問題をグラフレベルのタスクに再構成する。
論文 参考訳(メタデータ) (2023-07-04T06:27:31Z) - GRATIS: Deep Learning Graph Representation with Task-specific Topology
and Multi-dimensional Edge Features [27.84193444151138]
第1次汎用グラフ表現学習フレームワーク(GRATIS)を提案する。
任意の入力からタスク固有のトポロジーとタスク固有の多次元エッジ特徴を持つ強力なグラフ表現を生成することができる。
私たちのフレームワークは効率的で堅牢で柔軟性があり、異なるバックボーンとグラフニューラルネットワーク(GNN)を組み合わせたプラグイン・アンド・プレイモジュールです。
論文 参考訳(メタデータ) (2022-11-19T18:42:55Z) - Semi-Supervised Hierarchical Graph Classification [54.25165160435073]
ノードがグラフのインスタンスである階層グラフにおけるノード分類問題について検討する。
本稿では階層グラフ相互情報(HGMI)を提案し,理論的保証をもってHGMIを計算する方法を提案する。
本稿では,この階層グラフモデリングとSEAL-CI法がテキストおよびソーシャルネットワークデータに与える影響を実証する。
論文 参考訳(メタデータ) (2022-06-11T04:05:29Z) - Meta-Inductive Node Classification across Graphs [6.0471030308057285]
MI-GNNと呼ばれる新しいメタインダクタティブフレームワークを提案し、各グラフにインダクタティブモデルをカスタマイズする。
MI-GNNは誘導モデルを直接学習するものではなく、新しいグラフ上の半監視ノード分類のためのモデルをトレーニングする方法に関する一般的な知識を学ぶ。
5つの実世界のグラフコレクションに関する広範な実験により,提案モデルの有効性が示された。
論文 参考訳(メタデータ) (2021-05-14T09:16:28Z) - Graphonomy: Universal Image Parsing via Graph Reasoning and Transfer [140.72439827136085]
グラフィノノミー(Graphonomy)というグラフ推論・伝達学習フレームワークを提案する。
人間の知識とラベル分類を、局所畳み込みを超えた中間グラフ表現学習に組み込んでいる。
意味認識グラフの推論と転送を通じて、複数のドメインにおけるグローバルおよび構造化されたセマンティックコヒーレンシーを学習する。
論文 参考訳(メタデータ) (2021-01-26T08:19:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。