Fugu-MT 論文翻訳(概要): Enhance Graph Alignment for Large Language Models

論文の概要: Enhance Graph Alignment for Large Language Models

arxiv url: http://arxiv.org/abs/2410.11370v1
Date: Tue, 15 Oct 2024 07:50:34 GMT
ステータス: 翻訳完了
システム内更新日: 2024-10-16 14:01:48.031116
Title: Enhance Graph Alignment for Large Language Models
Title（参考訳）: 大規模言語モデルのためのグラフアライメント
Authors: Haitong Luo, Xuying Meng, Suhang Wang, Tianxiang Zhao, Fali Wang, Hanyun Cao, Yujun Zhang,
Abstract要約: グラフへのアプローチは、大規模言語モデルがグラフ情報を処理できることで人気がある。既存の手法は、自己監督タスクと下流タスクの間に不一致がある。協調タスクテンプレートの恩恵を受けるために,グラフアライメント大言語モデル(GALLM)を提案する。
参考スコア（独自算出の注目度）: 33.96082485852042
License:
Abstract: Graph-structured data is prevalent in the real world. Recently, due to the powerful emergent capabilities, Large Language Models (LLMs) have shown promising performance in modeling graphs. The key to effectively applying LLMs on graphs is converting graph data into a format LLMs can comprehend. Graph-to-token approaches are popular in enabling LLMs to process graph information. They transform graphs into sequences of tokens and align them with text tokens through instruction tuning, where self-supervised instruction tuning helps LLMs acquire general knowledge about graphs, and supervised fine-tuning specializes LLMs for the downstream tasks on graphs. Despite their initial success, we find that existing methods have a misalignment between self-supervised tasks and supervised downstream tasks, resulting in negative transfer from self-supervised fine-tuning to downstream tasks. To address these issues, we propose Graph Alignment Large Language Models (GALLM) to benefit from aligned task templates. In the self-supervised tuning stage, we introduce a novel text matching task using templates aligned with downstream tasks. In the task-specific tuning stage, we propose two category prompt methods that learn supervision information from additional explanation with further aligned templates. Experimental evaluations on four datasets demonstrate substantial improvements in supervised learning, multi-dataset generalizability, and particularly in zero-shot capability, highlighting the model's potential as a graph foundation model.
Abstract（参考訳）: グラフ構造化データは現実世界で広く使われている。最近、強力な創発的能力のため、グラフモデリングにおいて、LLM(Large Language Models)は有望なパフォーマンスを示している。グラフにLLMを効果的に適用する鍵は、グラフデータをLLMが理解できるフォーマットに変換することである。グラフへのアプローチは、LLMがグラフ情報を処理できるようにすることで人気がある。彼らはグラフをトークンのシーケンスに変換し、インストラクションチューニングを通じてテキストトークンと整列させ、自己教師型インストラクションチューニングによってLLMがグラフに関する一般的な知識を得るのに役立つようにし、教師型微調整はグラフ上の下流タスクのためにLLMを専門化する。初期の成功にもかかわらず、既存の手法は、自己監督されたタスクと監督された下流タスクの相違があり、結果として、自己監督された微調整から下流タスクへの負の移行が生じる。これらの問題に対処するために、協調タスクテンプレートの恩恵を受けるために、グラフアライメント大型言語モデル(GALLM)を提案する。自己教師型チューニングの段階では、下流タスクと整合したテンプレートを用いた新しいテキストマッチングタスクを導入する。タスク固有のチューニング段階において、さらに整列したテンプレートによる追加説明から監督情報を学習する2つのカテゴリプロンプト手法を提案する。 4つのデータセットに対する実験的な評価は、教師付き学習、マルチデータセットの一般化可能性、特にゼロショット能力において大幅に改善され、グラフ基盤モデルとしてのモデルの可能性を強調している。

関連論文リスト

How Do Large Language Models Understand Graph Patterns? A Benchmark for Graph Pattern Comprehension [53.6373473053431]
この研究は、グラフパターンタスクにおける大規模言語モデルの能力を評価するためのベンチマークを導入する。我々は,LLMが用語的記述と位相的記述の両方に基づいて,グラフパターンを理解できるかどうかを評価するベンチマークを開発した。私たちのベンチマークでは、合成データセットと実際のデータセットの両方と、11のタスクと7のモデルで構成されています。
論文参考訳（メタデータ） (2024-10-04T04:48:33Z)
Can Large Language Models Analyze Graphs like Professionals? A Benchmark, Datasets and Models [90.98855064914379]
グラフを処理するために,大規模言語モデル(LLM)のベンチマークであるProGraphを導入する。その結果,現在のLCMの性能は不満足であり,最高のモデルでは36%の精度しか達成できないことがわかった。本研究では,6つの広く使用されているグラフライブラリに基づいて,クローリングされたドキュメントと自動生成コードを含むLLM4Graphデータセットを提案する。
論文参考訳（メタデータ） (2024-09-29T11:38:45Z)
LLMs as Zero-shot Graph Learners: Alignment of GNN Representations with LLM Token Embeddings [7.302176015732192]
Token Embedding-Aligned Graph Language Model (TEA-GLM) という新しいフレームワークを紹介する。我々はGNNを事前訓練し、その表現をLLMのトークン埋め込みと整列する。次に、GNNの表現を固定数のグラフトークン埋め込みに変換する線形プロジェクタを訓練する。
論文参考訳（メタデータ） (2024-08-25T04:32:45Z)
Investigating Instruction Tuning Large Language Models on Graphs [37.20541711360419]
グラフ関連のタスクにLLM(Large Language Models)を適用することへの関心が高まっている。本研究は,実世界のグラフに係わる命令追従型LLMの能力について考察する。
論文参考訳（メタデータ） (2024-08-10T06:54:35Z)
Parameter-Efficient Tuning Large Language Models for Graph Representation Learning [62.26278815157628]
Graph-awareを導入します。 GPEFT - グラフ表現学習のための新しい手法。グラフニューラルネットワーク(GNN)を用いて、隣接するノードからグラフプロンプトに構造情報をエンコードする。我々は8つの異なるテキストリッチグラフで実施した総合的な実験を通じて,リンク予測評価において hit@1 と Mean Reciprocal Rank (MRR) の平均 2% の改善を観察し,本手法の有効性を検証した。
論文参考訳（メタデータ） (2024-04-28T18:36:59Z)
Exploring the Potential of Large Language Models in Graph Generation [51.046188600990014]
グラフ生成は、与えられたプロパティを持つグラフを生成するために、大きな言語モデル(LLM)を必要とする。本稿では,LLMのグラフ生成能力について,系統的なタスク設計と実験による検討を行う。評価の結果,LLM,特にGPT-4は,グラフ生成タスクに予備的能力を示すことがわかった。
論文参考訳（メタデータ） (2024-03-21T12:37:54Z)
MuseGraph: Graph-oriented Instruction Tuning of Large Language Models for Generic Graph Mining [41.19687587548107]
グラフニューラルネットワーク(GNN)は、異なるグラフタスクやデータセットに適用されるたびに、再トレーニングされる必要がある。 GNNとLarge Language Models(LLM)の強みをシームレスに統合する新しいフレームワークMusteGraphを提案する。実験結果から,異なるグラフタスクの大幅な改善が示された。
論文参考訳（メタデータ） (2024-03-02T09:27:32Z)
InstructGraph: Boosting Large Language Models via Graph-centric Instruction Tuning and Preference Alignment [30.136514352238795]
InstructGraphは、グラフ推論と生成の能力を備えた大規模な言語モデルを強化するフレームワークである。 InstructGraph は GPT-4 と LLaMA2 を 13% 以上,LLaMA2 は 38% 以上向上できることを示す。
論文参考訳（メタデータ） (2024-02-13T20:47:17Z)
LLaGA: Large Language and Graph Assistant [73.71990472543027]
大規模言語とグラフアシスタント(LLaGA)は、グラフ構造化データの複雑さを扱う革新的なモデルである。 LLaGAは汎用性、一般化性、解釈性に優れており、異なるデータセットやタスク間で一貫して動作する。実験の結果,LLaGAは4つのデータセットと3つのタスクに1つの単一モデルを用いて優れた性能を提供することがわかった。
論文参考訳（メタデータ） (2024-02-13T02:03:26Z)
GraphGPT: Graph Instruction Tuning for Large Language Models [27.036935149004726]
グラフニューラルネットワーク(GNN)は、グラフ構造を理解するために進化してきた。堅牢性を高めるために、自己教師付き学習(SSL)はデータ拡張の重要なツールとなっている。本研究は,ゼロショット学習環境におけるグラフモデルの一般化を推し進めることによって,この問題に対処する。
論文参考訳（メタデータ） (2023-10-19T06:17:46Z)
Integrating Graphs with Large Language Models: Methods and Prospects [68.37584693537555]
大規模言語モデル (LLMs) が最前線として登場し、様々なアプリケーションにおいて非並列の長所を示している。 LLMとグラフ構造化データを組み合わせることは、非常に興味深いトピックです。本稿では、そのような統合を2つの主要なカテゴリに分岐する。
論文参考訳（メタデータ） (2023-10-09T07:59:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。