論文の概要: GOFA: A Generative One-For-All Model for Joint Graph Language Modeling

• arxiv url: http://arxiv.org/abs/2407.09709v1
• Date: Fri, 12 Jul 2024 22:23:51 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-16 21:08:35.993383
• Title: GOFA: A Generative One-For-All Model for Joint Graph Language Modeling
• Title（参考訳）: GOFA: 共同グラフ言語モデリングのための1対オール生成モデル
• Authors: Lecheng Kong, Jiarui Feng, Hao Liu, Chengsong Huang, Jiaxin Huang, Yixin Chen, Muhan Zhang,
• Abstract要約: この問題を解決するために,新たに生成グラフ言語モデルGOFAを提案する。 GOFAは、新たに提案されたグラフレベルの次単語予測、質問応答、構造的タスクに基づいて事前訓練されている。 モデルは様々な下流タスクに基づいて評価され、ゼロショットシナリオにおける構造的および文脈的問題を解く強力な能力を示す。
• 参考スコア（独自算出の注目度）: 38.267339613261996
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Foundation models, such as Large Language Models (LLMs) or Large Vision Models (LVMs), have emerged as one of the most powerful tools in the respective fields. However, unlike text and image data, graph data do not have a definitive structure, posing great challenges to developing a Graph Foundation Model (GFM). For example, current attempts at designing general graph models either transform graph data into a language format for LLM-based prediction or still train a GNN model with LLM as an assistant. The former can handle unlimited tasks, while the latter captures graph structure much better -- yet, no existing work can achieve both simultaneously. In this paper, we identify three key desirable properties of a GFM: self-supervised pretraining, fluidity in tasks, and graph awareness. To account for these properties, we extend the conventional language modeling to the graph domain and propose a novel generative graph language model GOFA to solve the problem. The model interleaves randomly initialized GNN layers into a frozen pre-trained LLM so that the semantic and structural modeling abilities are organically combined. GOFA is pre-trained on newly proposed graph-level next-word prediction, question-answering, and structural tasks to obtain the above GFM properties. The pre-trained model is further fine-tuned on downstream tasks to obtain task-solving ability. The fine-tuned model is evaluated on various downstream tasks, demonstrating a strong ability to solve structural and contextual problems in zero-shot scenarios. The code is available at https://github.com/JiaruiFeng/GOFA.
• Abstract（参考訳）: LLM(Large Language Models)やLVM(Large Vision Models)といった基礎的なモデルは、各分野において最も強力なツールの1つとして登場した。 しかし、テキストデータや画像データとは異なり、グラフデータは決定的な構造を持っておらず、グラフ基礎モデル(GFM)を開発する上で大きな課題となっている。 例えば、グラフモデルを設計する現在の試みでは、グラフデータをLLMベースの予測のための言語形式に変換するか、あるいはアシスタントとしてLLMを使ってGNNモデルをトレーニングしている。 前者は無制限のタスクを処理でき、後者はグラフ構造をよりよくキャプチャする。 本稿では,自己教師型事前学習,タスクの流動性,グラフ認識という,GFMの重要な3つの特性を同定する。 これらの特性を考慮し,従来の言語モデリングをグラフ領域に拡張し,新たな生成グラフ言語モデルGOFAを提案する。 このモデルは、ランダムに初期化されたGNN層を凍結学習されたLLMにインターリーブし、セマンティックおよび構造モデリング能力を有機的に組み合わせる。 GOFAは、新たに提案されたグラフレベルの次単語予測、質問応答、構造的タスクに基づいて、上記のGFM特性を得るために事前訓練される。 事前訓練されたモデルは、タスク解決能力を得るために下流タスクにさらに微調整される。 細調整されたモデルは、様々な下流タスクに基づいて評価され、ゼロショットシナリオにおける構造的および文脈的問題を解く強力な能力を示す。 コードはhttps://github.com/JiaruiFeng/GOFAで公開されている。

関連論文リスト

• GraphFM: A Comprehensive Benchmark for Graph Foundation Model [33.157367455390144]
  ファンデーション・モデル(FM)は、人工知能システムの開発のための一般的なクラスである。 FMの基礎として自己教師型学習の研究が盛んに行われたが、いくつかの顕著な問題が続いている。 下流タスクにおける一般化能力の程度は未だ不明である。 これらのモデルが大規模なデータセットにどの程度効果的にスケールできるかは不明だ。
  論文  参考訳（メタデータ） (2024-06-12T15:10:44Z)
• Large Generative Graph Models [74.58859158271169]
  大規模グラフ生成モデル(LGGM)と呼ばれる新しいグラフ生成モデルを提案する。 事前訓練されたLGGMは、既存のグラフ生成モデルよりもゼロショット生成能力が優れている。 LGGMは、ターゲットドメインからのグラフで簡単に微調整でき、スクラッチから直接トレーニングされたグラフよりも、さらに優れたパフォーマンスを示すことができる。
  論文  参考訳（メタデータ） (2024-06-07T17:41:47Z)
• UniGraph: Learning a Cross-Domain Graph Foundation Model From Natural Language [41.722898353772656]
  We present our UniGraph framework, designed to training a graph foundation model can generalizing to unseen graphs and task across various domain。 本稿では,MGM(Masked Graph Modeling)に基づく自己教師型学習目標を持つバックボーンネットワークとして,言語モデル(LM)とグラフニューラルネットワーク(GNN)のケースケードアーキテクチャを提案する。 さまざまなグラフ学習タスクやドメインにわたる包括的な実験は、目に見えないグラフの自己教師付き表現学習、少数ショットのインコンテキスト転送、ゼロショット転送におけるモデルの有効性を実証する。
  論文  参考訳（メタデータ） (2024-02-21T09:06:31Z)
• ReasoningLM: Enabling Structural Subgraph Reasoning in Pre-trained Language Models for Question Answering over Knowledge Graph [142.42275983201978]
  本稿では,構造化推論を行うためのGNNを模倣するサブグラフ認識型自己認識機構を提案する。 また、モデルパラメータを2万のサブグラフで合成した質問に適応するための適応チューニング戦略も採用する。 実験により、ReasoningLMは、更新されたパラメータが少なく、トレーニングデータが少ない場合でも、最先端のモデルを大きなマージンで上回っていることが示された。
  論文  参考訳（メタデータ） (2023-12-30T07:18:54Z)
• SimTeG: A Frustratingly Simple Approach Improves Textual Graph Learning [131.04781590452308]
  テキストグラフ学習におけるフラストレーションに富んだアプローチであるSimTeGを提案する。 まず、下流タスクで予め訓練されたLM上で、教師付きパラメータ効率の微調整(PEFT)を行う。 次に、微調整されたLMの最後の隠れ状態を用いてノード埋め込みを生成する。
  論文  参考訳（メタデータ） (2023-08-03T07:00:04Z)
• Text Representation Enrichment Utilizing Graph based Approaches: Stock Market Technical Analysis Case Study [0.0]
  本稿では,教師なしノード表現学習モデルとノード分類/エッジ予測モデルを組み合わせたトランスダクティブハイブリッド手法を提案する。 提案手法は,この分野における最初の研究である株式市場の技術分析報告を分類するために開発された。
  論文  参考訳（メタデータ） (2022-11-29T11:26:08Z)
• GAP: A Graph-aware Language Model Framework for Knowledge Graph-to-Text Generation [3.593955557310285]
  KG-to-text生成の最近の改善は、微調整タスクの性能を高めるために設計された補助的な事前訓練タスクによるものである。 ここでは、既存の事前学習言語モデルにグラフ認識要素を融合させることで、最先端のモデルより優れ、追加の事前学習タスクによって課されるギャップを埋めることができることを示す。
  論文  参考訳（メタデータ） (2022-04-13T23:53:37Z)
• Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
  グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。 GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。 提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
  論文  参考訳（メタデータ） (2022-03-03T09:53:53Z)
• GraphFormers: GNN-nested Transformers for Representation Learning on Textual Graph [53.70520466556453]
  階層的にGNNコンポーネントを言語モデルのトランスフォーマーブロックと一緒にネストするGraphFormerを提案する。 提案したアーキテクチャでは、テキストエンコーディングとグラフ集約を反復的なワークフローに融合する。 さらに、プログレッシブ・ラーニング・ストラテジーを導入し、そのモデルが操作されたデータと元のデータに基づいて連続的に訓練され、グラフ上の情報を統合する能力を強化する。
  論文  参考訳（メタデータ） (2021-05-06T12:20:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。