論文の概要: GraphTranslator: Aligning Graph Model to Large Language Model for
Open-ended Tasks
- arxiv url: http://arxiv.org/abs/2402.07197v4
- Date: Wed, 28 Feb 2024 02:42:35 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-29 17:53:01.018633
- Title: GraphTranslator: Aligning Graph Model to Large Language Model for
Open-ended Tasks
- Title(参考訳): graphtranslator: オープンエンドタスクのためのグラフモデルを大きな言語モデルにアライメントする
- Authors: Mengmei Zhang, Mingwei Sun, Peng Wang, Shen Fan, Yanhu Mo, Xiaoxiao
Xu, Hong Liu, Cheng Yang, Chuan Shi
- Abstract要約: ChatGPTのような大規模言語モデル(LLM)は強力なゼロショットと命令追従機能を備えている。
GraphTranslatorは、事前に定義されたタスクを効果的に処理するためにGMを活用することを目的としている。
ノード表現をトークンに変換することで、GraphTranslatorはLLMに言語命令に基づいた予測を行う権限を与える。
- 参考スコア(独自算出の注目度): 44.02825843494608
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) like ChatGPT, exhibit powerful zero-shot and
instruction-following capabilities, have catalyzed a revolutionary
transformation across diverse fields, especially for open-ended tasks. While
the idea is less explored in the graph domain, despite the availability of
numerous powerful graph models (GMs), they are restricted to tasks in a
pre-defined form. Although several methods applying LLMs to graphs have been
proposed, they fail to simultaneously handle the pre-defined and open-ended
tasks, with LLM as a node feature enhancer or as a standalone predictor. To
break this dilemma, we propose to bridge the pretrained GM and LLM by a
Translator, named GraphTranslator, aiming to leverage GM to handle the
pre-defined tasks effectively and utilize the extended interface of LLMs to
offer various open-ended tasks for GM. To train such Translator, we propose a
Producer capable of constructing the graph-text alignment data along node
information, neighbor information and model information. By translating node
representation into tokens, GraphTranslator empowers an LLM to make predictions
based on language instructions, providing a unified perspective for both
pre-defined and open-ended tasks. Extensive results demonstrate the
effectiveness of our proposed GraphTranslator on zero-shot node classification.
The graph question answering experiments reveal our GraphTranslator potential
across a broad spectrum of open-ended tasks through language instructions. Our
code is available at: https://github.com/alibaba/GraphTranslator.
- Abstract(参考訳): ChatGPTのような大規模言語モデル(LLM)は、強力なゼロショットと命令追従能力を示し、特にオープンエンドタスクにおいて、様々な分野にわたる革命的変換を触媒している。
このアイデアはグラフドメインではあまり検討されていないが、多数の強力なグラフモデル(gms)が利用可能だが、事前に定義された形式でタスクに限定されている。
LLMをグラフに適用するいくつかの手法が提案されているが、ノード機能拡張器やスタンドアロン予測器として、事前に定義されたオープンなタスクを同時に処理することができない。
このジレンマを解消するために,事前に訓練されたGMとLLMをGraphTranslatorというトランスレータで橋渡しすることを提案する。
このようなトランスレータを訓練するために,ノード情報,近隣情報,モデル情報に沿ったグラフテキストアライメントデータを構築することができるプロデューサを提案する。
ノード表現をトークンに変換することにより、graphtranslatorはllmに言語命令に基づいた予測を許可し、事前定義されたタスクとオープンエンドタスクの両方に対する統一的な視点を提供する。
提案するグラフトランスレータがゼロショットノード分類に有効であることを示す。
グラフ質問応答実験は、言語命令を通じて、幅広い範囲のオープンエンドタスクにまたがるグラフトランスレータの可能性を明らかにする。
私たちのコードは、https://github.com/alibaba/graphtranslatorで利用可能です。
関連論文リスト
- MuseGraph: Graph-oriented Instruction Tuning of Large Language Models
for Generic Graph Mining [41.19687587548107]
グラフニューラルネットワーク(GNN)は、異なるグラフタスクやデータセットに適用されるたびに、再トレーニングされる必要がある。
GNNとLarge Language Models(LLM)の強みをシームレスに統合する新しいフレームワークMusteGraphを提案する。
実験結果から,異なるグラフタスクの大幅な改善が示された。
論文 参考訳(メタデータ) (2024-03-02T09:27:32Z) - InstructGraph: Boosting Large Language Models via Graph-centric
Instruction Tuning and Preference Alignment [30.136514352238795]
InstructGraphは、グラフ推論と生成の能力を備えた大規模な言語モデルを強化するフレームワークである。
InstructGraph は GPT-4 と LLaMA2 を 13% 以上,LLaMA2 は 38% 以上向上できることを示す。
論文 参考訳(メタデータ) (2024-02-13T20:47:17Z) - LLaGA: Large Language and Graph Assistant [79.09010152231164]
大規模言語とグラフアシスタント(LLaGA)は、グラフ構造化データの複雑さを扱う革新的なモデルである。
LLaGAは汎用性、一般化性、解釈性に優れており、異なるデータセットやタスク間で一貫して動作する。
実験の結果,LLaGAは4つのデータセットと3つのタスクに1つの単一モデルを用いて優れた性能を提供することがわかった。
論文 参考訳(メタデータ) (2024-02-13T02:03:26Z) - G-Retriever: Retrieval-Augmented Generation for Textual Graph Understanding and Question Answering [61.93058781222079]
現実のテキストグラフを対象とするフレキシブルな問合せフレームワークを開発した。
本手法は,テキスト応答とグラフの関連部分をハイライトする。
論文 参考訳(メタデータ) (2024-02-12T13:13:04Z) - Efficient Large Language Models Fine-Tuning On Graphs [23.19795835873144]
Text-Attributed Graphs (TAGs) からの学習は、その幅広い現実世界のアプリケーションのために大きな注目を集めている。
本稿では,TAG上でのLarge Language Models (LLMs) のエンドツーエンド微調整のための新しい,効率的なアプローチについて紹介する。
論文 参考訳(メタデータ) (2023-12-07T22:35:16Z) - Large Language Models on Graphs: A Comprehensive Survey [81.7684686396014]
グラフ上の大規模言語モデルに関連するシナリオとテクニックを体系的にレビューする。
まず,LLMをグラフに適用する可能性シナリオを,純グラフ,テキスト分散グラフ,テキストペアグラフの3つのカテゴリにまとめる。
本稿では,そのような手法の現実的な応用について論じ,オープンソースコードとベンチマークデータセットを要約する。
論文 参考訳(メタデータ) (2023-12-05T14:14:27Z) - Integrating Graphs with Large Language Models: Methods and Prospects [68.37584693537555]
大規模言語モデル (LLMs) が最前線として登場し、様々なアプリケーションにおいて非並列の長所を示している。
LLMとグラフ構造化データを組み合わせることは、非常に興味深いトピックです。
本稿では、そのような統合を2つの主要なカテゴリに分岐する。
論文 参考訳(メタデータ) (2023-10-09T07:59:34Z) - Exploring the Potential of Large Language Models (LLMs) in Learning on
Graphs [59.74814230246034]
大規模言語モデル(LLM)は、広範な共通知識と強力な意味理解能力を持つことが証明されている。
LLMs-as-EnhancersとLLMs-as-Predictorsの2つのパイプラインについて検討する。
論文 参考訳(メタデータ) (2023-07-07T05:31:31Z) - Graph-ToolFormer: To Empower LLMs with Graph Reasoning Ability via
Prompt Augmented by ChatGPT [10.879701971582502]
我々は,複雑なグラフデータに対する推論能力を備えた大規模言語モデル(LLM)の開発を目指している。
最新のChatGPTおよびToolformerモデルに触発された我々は、外部グラフ推論APIツールを使用するために、ChatGPTによって強化されたプロンプトでLLM自体を教えるためのGraph-ToolFormerフレームワークを提案する。
論文 参考訳(メタデータ) (2023-04-10T05:25:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。