Fugu-MT 論文翻訳(概要): InstructGraph: Boosting Large Language Models via Graph-centric Instruction Tuning and Preference Alignment

論文の概要: InstructGraph: Boosting Large Language Models via Graph-centric Instruction Tuning and Preference Alignment

arxiv url: http://arxiv.org/abs/2402.08785v1
Date: Tue, 13 Feb 2024 20:47:17 GMT
ステータス: 処理完了
システム内更新日: 2024-02-15 17:44:09.625392
Title: InstructGraph: Boosting Large Language Models via Graph-centric Instruction Tuning and Preference Alignment
Title（参考訳）: instructgraph: グラフ中心の命令チューニングと好みアライメントによる大規模言語モデルの拡張
Authors: Jianing Wang, Junda Wu, Yupeng Hou, Yao Liu, Ming Gao, Julian McAuley
Abstract要約: InstructGraphは、グラフ推論と生成の能力を備えた大規模な言語モデルを強化するフレームワークである。 InstructGraph は GPT-4 と LLaMA2 を 13% 以上,LLaMA2 は 38% 以上向上できることを示す。
参考スコア（独自算出の注目度）: 30.136514352238795
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: Do current large language models (LLMs) better solve graph reasoning and generation tasks with parameter updates? In this paper, we propose InstructGraph, a framework that empowers LLMs with the abilities of graph reasoning and generation by instruction tuning and preference alignment. Specifically, we first propose a structured format verbalizer to unify all graph data into a universal code-like format, which can simply represent the graph without any external graph-specific encoders. Furthermore, a graph instruction tuning stage is introduced to guide LLMs in solving graph reasoning and generation tasks. Finally, we identify potential hallucination problems in graph tasks and sample negative instances for preference alignment, the target of which is to enhance the output's reliability of the model. Extensive experiments across multiple graph-centric tasks exhibit that InstructGraph can achieve the best performance and outperform GPT-4 and LLaMA2 by more than 13\% and 38\%, respectively.
Abstract（参考訳）: 現在の大規模言語モデル(llm)は、パラメータ更新でグラフ推論や生成タスクをよりうまく解決するだろうか? 本稿では,命令チューニングと選好アライメントにより,グラフ推論と生成の能力をllmに付与するフレームワークinstructgraphを提案する。具体的には、まず、外部グラフ固有のエンコーダを使わずにグラフを単純に表現できる、すべてのグラフデータを普遍的なコードライクな形式に統一する構造化形式冗長化手法を提案する。さらに、グラフ推論および生成タスクの解法において、LLMを誘導するグラフ命令チューニングステージを導入する。最後に,グラフタスクの潜在的幻覚化問題と選好アライメントのためのサンプル負のインスタンスを同定し,モデルの出力信頼性を高めることを目的とする。複数のグラフ中心タスクにわたる大規模な実験により、InstructGraphは最高のパフォーマンスを達成でき、GPT-4とLLaMA2をそれぞれ13\%と38\%以上上回る結果となった。

関連論文リスト

Enhance Graph Alignment for Large Language Models [33.96082485852042]
グラフへのアプローチは、大規模言語モデルがグラフ情報を処理できることで人気がある。既存の手法は、自己監督タスクと下流タスクの間に不一致がある。協調タスクテンプレートの恩恵を受けるために,グラフアライメント大言語モデル(GALLM)を提案する。
論文参考訳（メタデータ） (2024-10-15T07:50:34Z)
Can Large Language Models Analyze Graphs like Professionals? A Benchmark, Datasets and Models [90.98855064914379]
グラフを処理するために,大規模言語モデル(LLM)のベンチマークであるProGraphを導入する。その結果,現在のLCMの性能は不満足であり,最高のモデルでは36%の精度しか達成できないことがわかった。本研究では,6つの広く使用されているグラフライブラリに基づいて,クローリングされたドキュメントと自動生成コードを含むLLM4Graphデータセットを提案する。
論文参考訳（メタデータ） (2024-09-29T11:38:45Z)
Parameter-Efficient Tuning Large Language Models for Graph Representation Learning [62.26278815157628]
Graph-awareを導入します。 GPEFT - グラフ表現学習のための新しい手法。グラフニューラルネットワーク(GNN)を用いて、隣接するノードからグラフプロンプトに構造情報をエンコードする。我々は8つの異なるテキストリッチグラフで実施した総合的な実験を通じて,リンク予測評価において hit@1 と Mean Reciprocal Rank (MRR) の平均 2% の改善を観察し,本手法の有効性を検証した。
論文参考訳（メタデータ） (2024-04-28T18:36:59Z)
GraphInstruct: Empowering Large Language Models with Graph Understanding and Reasoning Capability [28.713449421717193]
大規模言語モデル(LLM)のグラフ理解能力の評価と向上を行う。本稿では,21の古典的グラフ推論タスクを含むGraphInstructというベンチマークを提案する。我々は,グラフ理解能力の顕著な向上を示す効率的な命令チューニングにより,GraphLMを構築する。
論文参考訳（メタデータ） (2024-03-07T13:36:08Z)
MuseGraph: Graph-oriented Instruction Tuning of Large Language Models for Generic Graph Mining [41.19687587548107]
グラフニューラルネットワーク(GNN)は、異なるグラフタスクやデータセットに適用されるたびに、再トレーニングされる必要がある。 GNNとLarge Language Models(LLM)の強みをシームレスに統合する新しいフレームワークMusteGraphを提案する。実験結果から,異なるグラフタスクの大幅な改善が示された。
論文参考訳（メタデータ） (2024-03-02T09:27:32Z)
LLaGA: Large Language and Graph Assistant [73.71990472543027]
大規模言語とグラフアシスタント(LLaGA)は、グラフ構造化データの複雑さを扱う革新的なモデルである。 LLaGAは汎用性、一般化性、解釈性に優れており、異なるデータセットやタスク間で一貫して動作する。実験の結果,LLaGAは4つのデータセットと3つのタスクに1つの単一モデルを用いて優れた性能を提供することがわかった。
論文参考訳（メタデータ） (2024-02-13T02:03:26Z)
G-Retriever: Retrieval-Augmented Generation for Textual Graph Understanding and Question Answering [61.93058781222079]
現実のテキストグラフを対象とするフレキシブルな問合せフレームワークを開発した。一般のテキストグラフに対する最初の検索拡張生成(RAG)手法を提案する。 G-Retrieverは、このタスクをSteiner Tree最適化問題として定式化し、グラフ上でRAGを実行する。
論文参考訳（メタデータ） (2024-02-12T13:13:04Z)
GraphGPT: Graph Instruction Tuning for Large Language Models [27.036935149004726]
グラフニューラルネットワーク(GNN)は、グラフ構造を理解するために進化してきた。堅牢性を高めるために、自己教師付き学習(SSL)はデータ拡張の重要なツールとなっている。本研究は,ゼロショット学習環境におけるグラフモデルの一般化を推し進めることによって,この問題に対処する。
論文参考訳（メタデータ） (2023-10-19T06:17:46Z)
Graph-ToolFormer: To Empower LLMs with Graph Reasoning Ability via Prompt Augmented by ChatGPT [10.879701971582502]
我々は,複雑なグラフデータに対する推論能力を備えた大規模言語モデル(LLM)の開発を目指している。最新のChatGPTおよびToolformerモデルに触発された我々は、外部グラフ推論APIツールを使用するために、ChatGPTによって強化されたプロンプトでLLM自体を教えるためのGraph-ToolFormerフレームワークを提案する。
論文参考訳（メタデータ） (2023-04-10T05:25:54Z)
Towards Graph Self-Supervised Learning with Contrastive Adjusted Zooming [48.99614465020678]
本稿では,グラフコントラスト適応ズームによる自己教師付きグラフ表現学習アルゴリズムを提案する。このメカニズムにより、G-Zoomはグラフから複数のスケールから自己超越信号を探索して抽出することができる。我々は,実世界のデータセットに関する広範な実験を行い,提案したモデルが常に最先端の手法より優れていることを示す。
論文参考訳（メタデータ） (2021-11-20T22:45:53Z)
Graph Contrastive Learning Automated [94.41860307845812]
グラフコントラスト学習(GraphCL)は、有望な表現学習性能とともに登場した。 GraphCLのヒンジがアドホックなデータ拡張に与える影響は、データセット毎に手動で選択する必要がある。本稿では,グラフデータ上でGraphCLを実行する際に,データ拡張を自動的に,適応的に動的に選択する統合バイレベル最適化フレームワークを提案する。
論文参考訳（メタデータ） (2021-06-10T16:35:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。