論文の概要: GraphTranslator: Aligning Graph Model to Large Language Model for
Open-ended Tasks
- arxiv url: http://arxiv.org/abs/2402.07197v1
- Date: Sun, 11 Feb 2024 13:24:13 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-13 16:52:54.118458
- Title: GraphTranslator: Aligning Graph Model to Large Language Model for
Open-ended Tasks
- Title(参考訳): graphtranslator: オープンエンドタスクのためのグラフモデルを大きな言語モデルにアライメントする
- Authors: Mengmei Zhang (Alibaba Group Holding Limited, China Telecom Bestpay),
Mingwei Sun (Alibaba Group Holding Limited), Peng Wang (Alibaba Group Holding
Limited), Shen Fan (Alibaba Group Holding Limited), Yanhu Mo (Alibaba Group
Holding Limited), Xiaoxiao Xu (Alibaba Group Holding Limited), Hong Liu
(Alibaba Group Holding Limited), Cheng Yang (Peng Cheng Laboratory), Chuan
Shi (Peng Cheng Laboratory)
- Abstract要約: ChatGPTのような大規模言語モデル(LLM)は強力なゼロショットと命令追従機能を備えている。
GraphTranslatorは、GMを活用して、事前に定義されたタスクを効果的に処理し、LLMの拡張インターフェースを活用して、さまざまなオープンなタスクをGMに提供することを目的としている。
ノード表現を言語の一種として扱うことにより、提案したGraphTranslatorは、ノード表現と言語命令に基づいて予測を行うLLMの権限を与える。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) like ChatGPT, exhibit powerful zero-shot and
instruction-following capabilities, have catalyzed a revolutionary
transformation across diverse research fields of artificial intelligence,
especially for open-ended tasks. While the idea is less explored in the graph
domain, despite the availability of numerous powerful graph models (GMs), they
are restricted to tasks in a pre-defined form. Although several methods
applying LLMs to graphs have been proposed, they fail to simultaneously handle
the pre-defined and open-ended tasks, with LLM as a node feature enhancer or as
a standalone predictor. To break this dilemma, we propose to bridge the
pretrained GM and LLM by a Translator, named GraphTranslator, aiming to
leverage GM to handle the pre-defined tasks effectively and utilize the
extended interface of LLMs to offer various open-ended tasks for GM. To train
such Translator, we propose a Producer capable of constructing the graph-text
alignment data along node information, neighbor information and model
information. By treating the node representation as a type of language, the
proposed GraphTranslator empowers an LLM to make predictions based on node
representation and language instructions, providing a unified perspective for
both pre-defined and open-ended tasks. Extensive results show that the proposed
GraphTranslator effectively improves the results of zero-shot node
classification. The graph question answering experiments reveal our
GraphTranslator potential across a broad spectrum of open-ended applications
through language instructions.
- Abstract(参考訳): chatgptのような大規模言語モデル(llm)は強力なゼロショットと命令追従能力を示し、人工知能のさまざまな研究分野、特にオープンエンドタスクにおける革命的な変革を触媒している。
このアイデアはグラフドメインではあまり検討されていないが、多数の強力なグラフモデル(gms)が利用可能だが、事前に定義された形式でタスクに限定されている。
LLMをグラフに適用するいくつかの手法が提案されているが、ノード機能拡張器やスタンドアロン予測器として、事前に定義されたオープンなタスクを同時に処理することができない。
このジレンマを解消するために,事前に訓練されたGMとLLMをGraphTranslatorというトランスレータで橋渡しすることを提案する。
このようなトランスレータを訓練するために,ノード情報,近隣情報,モデル情報に沿ったグラフテキストアライメントデータを構築することができるプロデューサを提案する。
ノード表現を言語の一種として扱うことにより、提案するgraphtranslatorは、ノード表現と言語命令に基づく予測をllmに付与し、事前定義されたタスクとオープンエンドタスクの両方に対する統一的な視点を提供する。
その結果,提案したGraphTranslatorはゼロショットノード分類の結果を効果的に改善することがわかった。
グラフ質問応答実験では、言語命令を通じて、幅広い範囲のオープンエンドアプリケーションにわたって、GraphTranslatorの可能性を明らかにする。
関連論文リスト
- Parameter-Efficient Tuning Large Language Models for Graph Representation Learning [62.26278815157628]
Graph-awareを導入します。
GPEFT - グラフ表現学習のための新しい手法。
グラフニューラルネットワーク(GNN)を用いて、隣接するノードからグラフプロンプトに構造情報をエンコードする。
我々は8つの異なるテキストリッチグラフで実施した総合的な実験を通じて,リンク予測評価において hit@1 と Mean Reciprocal Rank (MRR) の平均 2% の改善を観察し,本手法の有効性を検証した。
論文 参考訳(メタデータ) (2024-04-28T18:36:59Z) - Graph Chain-of-Thought: Augmenting Large Language Models by Reasoning on Graphs [56.073652738501394]
大規模言語モデル(LLM)は、特に知識集約的なタスクにおいて幻覚に悩まされる。
既存の研究は、外部知識コーパスから取得した個々のテキスト単位でLLMを拡張することを提案する。
本稿では,グラフを反復的に推論することで,LLMをグラフで拡張するためのGraph Chain-of-thinkt (Graph-CoT) というフレームワークを提案する。
論文 参考訳(メタデータ) (2024-04-10T15:41:53Z) - MuseGraph: Graph-oriented Instruction Tuning of Large Language Models
for Generic Graph Mining [41.19687587548107]
グラフニューラルネットワーク(GNN)は、異なるグラフタスクやデータセットに適用されるたびに、再トレーニングされる必要がある。
GNNとLarge Language Models(LLM)の強みをシームレスに統合する新しいフレームワークMusteGraphを提案する。
実験結果から,異なるグラフタスクの大幅な改善が示された。
論文 参考訳(メタデータ) (2024-03-02T09:27:32Z) - LLaGA: Large Language and Graph Assistant [73.71990472543027]
大規模言語とグラフアシスタント(LLaGA)は、グラフ構造化データの複雑さを扱う革新的なモデルである。
LLaGAは汎用性、一般化性、解釈性に優れており、異なるデータセットやタスク間で一貫して動作する。
実験の結果,LLaGAは4つのデータセットと3つのタスクに1つの単一モデルを用いて優れた性能を提供することがわかった。
論文 参考訳(メタデータ) (2024-02-13T02:03:26Z) - Efficient Large Language Models Fine-Tuning On Graphs [23.19795835873144]
Text-Attributed Graphs (TAGs) からの学習は、その幅広い現実世界のアプリケーションのために大きな注目を集めている。
本稿では,TAG上でのLarge Language Models (LLMs) のエンドツーエンド微調整のための新しい,効率的なアプローチについて紹介する。
論文 参考訳(メタデータ) (2023-12-07T22:35:16Z) - Large Language Models on Graphs: A Comprehensive Survey [81.7684686396014]
グラフ上の大規模言語モデルに関連するシナリオとテクニックを体系的にレビューする。
まず,LLMをグラフに適用する可能性シナリオを,純グラフ,テキスト分散グラフ,テキストペアグラフの3つのカテゴリにまとめる。
本稿では,そのような手法の現実的な応用について論じ,オープンソースコードとベンチマークデータセットを要約する。
論文 参考訳(メタデータ) (2023-12-05T14:14:27Z) - GraphGPT: Graph Instruction Tuning for Large Language Models [27.036935149004726]
グラフニューラルネットワーク(GNN)は、グラフ構造を理解するために進化してきた。
堅牢性を高めるために、自己教師付き学習(SSL)はデータ拡張の重要なツールとなっている。
本研究は,ゼロショット学習環境におけるグラフモデルの一般化を推し進めることによって,この問題に対処する。
論文 参考訳(メタデータ) (2023-10-19T06:17:46Z) - Exploring the Potential of Large Language Models (LLMs) in Learning on
Graphs [59.74814230246034]
大規模言語モデル(LLM)は、広範な共通知識と強力な意味理解能力を持つことが証明されている。
LLMs-as-EnhancersとLLMs-as-Predictorsの2つのパイプラインについて検討する。
論文 参考訳(メタデータ) (2023-07-07T05:31:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。