論文の概要: GraphTool-Instruction: Revolutionizing Graph Reasoning in LLMs through Decomposed Subtask Instruction

• arxiv url: http://arxiv.org/abs/2412.12152v1
• Date: Wed, 11 Dec 2024 06:12:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-18 14:01:10.033876
• Title: GraphTool-Instruction: Revolutionizing Graph Reasoning in LLMs through Decomposed Subtask Instruction
• Title（参考訳）: GraphTool命令:分解サブタスク命令によるLCMにおけるグラフ推論の革命
• Authors: Rongzheng Wang, Shuang Liang, Qizhi Chen, Jiasheng Zhang, Ke Qin,
• Abstract要約: グラフ推論タスクを3つの異なるサブタスクに分解する,革新的なインストラクションチューニング手法を提案する。 我々のGraphTool-Instructionは、微調整なしで異なるLLMのプラグイン・アンド・プレイプロンプトとして使用できる。 Llama3-8B に基づいたグラフ推論 LLM である GraphForge を作成した。
• 参考スコア（独自算出の注目度）: 10.028306235665312
• License:
• Abstract: Large language models (LLMs) have been demonstrated to possess the capabilities to understand fundamental graph properties and address various graph reasoning tasks. Existing methods fine-tune LLMs to understand and execute graph reasoning tasks by specially designed task instructions. However, these Text-Instruction methods generally exhibit poor performance. Inspired by tool learning, researchers propose Tool-Instruction methods to solve various graph problems by special tool calling (e.g., function, API and model), achieving significant improvements in graph reasoning tasks. Nevertheless, current Tool-Instruction approaches focus on the tool information and ignore the graph structure information, which leads to significantly inferior performance on small-scale LLMs (less than 13B). To tackle this issue, we propose GraphTool-Instruction, an innovative Instruction-tuning approach that decomposes the graph reasoning task into three distinct subtasks (i.e., graph extraction, tool name identification and tool parameter extraction), and design specialized instructions for each subtask. Our GraphTool-Instruction can be used as a plug-and-play prompt for different LLMs without fine-tuning. Moreover, building on GraphTool-Instruction, we develop GTools, a dataset that includes twenty graph reasoning tasks, and create a graph reasoning LLM called GraphForge based on Llama3-8B. We conduct extensive experiments on twenty graph reasoning tasks with different graph types (e.g., graph size or graph direction), and we find that GraphTool-Instruction achieves SOTA compared to Text-Instruction and Tool-Instruction methods. Fine-tuned on GTools, GraphForge gets further improvement of over 30% compared to the Tool-Instruction enhanced GPT-3.5-turbo, and it performs comparably to the high-cost GPT-4o. Our codes and data are available at https://anonymous.4open.science/r/GraphTool-Instruction.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、基本的なグラフ特性を理解し、様々なグラフ推論タスクに対処する能力を持っていることが示されている。 グラフ推論タスクを特別に設計したタスク命令で理解し実行するために,既存のLCMを微調整する。 しかし、これらのテキスト教育手法は一般的に性能が劣っている。 ツール学習にインスパイアされた研究者は、特殊なツールコール(例えば、関数、API、モデル)によって様々なグラフ問題を解決するツールインストラクション法を提案し、グラフ推論タスクにおいて大幅な改善を実現した。 しかし、現在のツール・インストラクション・アプローチはツール情報に焦点をあて、グラフ構造情報を無視しているため、小規模のLLM(13B未満)では性能が著しく劣っている。 この問題に対処するために,グラフ推論タスクを3つのサブタスク(グラフ抽出,ツール名識別,ツールパラメータ抽出)に分解し,各サブタスクに対して特別な命令を設計する,革新的なインストラクションチューニング手法であるGraphTool-Instructionを提案する。 我々のGraphTool-Instructionは、微調整なしで異なるLLMのプラグイン・アンド・プレイプロンプトとして使用できる。 さらに、GraphTool-Instructionに基づいて、20のグラフ推論タスクを含むデータセットであるGToolsを開発し、Llama3-8Bに基づいたGraphForgeと呼ばれるグラフ推論LLMを作成します。 我々は,グラフタイプが異なる20種類のグラフ推論タスク(例えば,グラフサイズやグラフ方向)について広範な実験を行い,グラフツール命令はテキスト指示法やツール指示法と比較してSOTAを実現していることがわかった。 GToolsを微調整したGraphForgeは、Tool-Instructionの拡張GPT-3.5-turboに比べて30%以上改善され、高コストのGPT-4oと互換性がある。 私たちのコードとデータはhttps://anonymous.4open.science/r/GraphTool-Instructionで公開されています。

関連論文リスト

• Can Large Language Models Analyze Graphs like Professionals? A Benchmark, Datasets and Models [90.98855064914379]
  グラフを処理するために,大規模言語モデル(LLM)のベンチマークであるProGraphを導入する。 その結果,現在のLCMの性能は不満足であり,最高のモデルでは36%の精度しか達成できないことがわかった。 本研究では,6つの広く使用されているグラフライブラリに基づいて,クローリングされたドキュメントと自動生成コードを含むLLM4Graphデータセットを提案する。
  論文  参考訳（メタデータ） (2024-09-29T11:38:45Z)
• GraphStorm: all-in-one graph machine learning framework for industry applications [75.23076561638348]
  GraphStormはスケーラブルなグラフ構築、グラフモデルのトレーニング、推論のためのエンドツーエンドソリューションである。 GraphStormのすべてのコンポーネントは数十億のノードを持つグラフ上で動作でき、コードを変更することなく、モデルのトレーニングと推論を異なるハードウェアにスケールすることができる。 GraphStormは、2023年5月にリリースされて以来、数十億以上の業界アプリケーションで使われ、デプロイされてきた。
  論文  参考訳（メタデータ） (2024-06-10T04:56:16Z)
• Joint Embeddings for Graph Instruction Tuning [0.0]
  本研究は,Large Language Models (LLMs) におけるグラフモダリティの統合について検討する。 グラフの埋め込みによって基礎となるLLMを強化し、それを理解できるように訓練するディープラーニングモデルを作ることを目標としている。 このアプローチは、グラフからテキストへのアプローチよりもはるかに優れており、大きなグラフであっても一貫性が保たれている。
  論文  参考訳（メタデータ） (2024-05-31T08:26:47Z)
• Graph Chain-of-Thought: Augmenting Large Language Models by Reasoning on Graphs [60.71360240206726]
  大規模言語モデル(LLM)は、特に知識集約的なタスクにおいて幻覚に悩まされる。 既存の研究は、外部知識コーパスから取得した個々のテキスト単位でLLMを拡張することを提案する。 本稿では,グラフを反復的に推論することで,LLMをグラフで拡張するためのGraph Chain-of-thinkt (Graph-CoT) というフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-04-10T15:41:53Z)
• GraphInstruct: Empowering Large Language Models with Graph Understanding and Reasoning Capability [28.713449421717193]
  大規模言語モデル(LLM)のグラフ理解能力の評価と向上を行う。 本稿では,21の古典的グラフ推論タスクを含むGraphInstructというベンチマークを提案する。 我々は,グラフ理解能力の顕著な向上を示す効率的な命令チューニングにより,GraphLMを構築する。
  論文  参考訳（メタデータ） (2024-03-07T13:36:08Z)
• InstructGraph: Boosting Large Language Models via Graph-centric Instruction Tuning and Preference Alignment [30.136514352238795]
  InstructGraphは、グラフ推論と生成の能力を備えた大規模な言語モデルを強化するフレームワークである。 InstructGraph は GPT-4 と LLaMA2 を 13% 以上,LLaMA2 は 38% 以上向上できることを示す。
  論文  参考訳（メタデータ） (2024-02-13T20:47:17Z)
• G-Retriever: Retrieval-Augmented Generation for Textual Graph Understanding and Question Answering [61.93058781222079]
  現実のテキストグラフを対象とするフレキシブルな問合せフレームワークを開発した。 一般のテキストグラフに対する最初の検索拡張生成(RAG)手法を提案する。 G-Retrieverは、このタスクをSteiner Tree最適化問題として定式化し、グラフ上でRAGを実行する。
  論文  参考訳（メタデータ） (2024-02-12T13:13:04Z)
• GraphGPT: Graph Instruction Tuning for Large Language Models [27.036935149004726]
  グラフニューラルネットワーク(GNN)は、グラフ構造を理解するために進化してきた。 堅牢性を高めるために、自己教師付き学習(SSL)はデータ拡張の重要なツールとなっている。 本研究は,ゼロショット学習環境におけるグラフモデルの一般化を推し進めることによって,この問題に対処する。
  論文  参考訳（メタデータ） (2023-10-19T06:17:46Z)
• Can Language Models Solve Graph Problems in Natural Language? [51.28850846990929]
  大型言語モデル (LLM) は暗黙的なグラフィカル構造を持つ様々なタスクに採用されている。 自然言語をシミュレーションするグラフベース問題解決のベンチマークであるNLGraphを提案する。
  論文  参考訳（メタデータ） (2023-05-17T08:29:21Z)
• Graph-ToolFormer: To Empower LLMs with Graph Reasoning Ability via Prompt Augmented by ChatGPT [10.879701971582502]
  我々は,複雑なグラフデータに対する推論能力を備えた大規模言語モデル(LLM)の開発を目指している。 最新のChatGPTおよびToolformerモデルに触発された我々は、外部グラフ推論APIツールを使用するために、ChatGPTによって強化されたプロンプトでLLM自体を教えるためのGraph-ToolFormerフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-04-10T05:25:54Z)
• Unsupervised Graph Embedding via Adaptive Graph Learning [85.28555417981063]
  グラフオートエンコーダ(GAE)は、グラフ埋め込みのための表現学習において強力なツールである。 本稿では,2つの新しい教師なしグラフ埋め込み法,適応グラフ学習(BAGE)による教師なしグラフ埋め込み,変分適応グラフ学習(VBAGE)による教師なしグラフ埋め込みを提案する。 いくつかのデータセットに関する実験的研究により、我々の手法がノードクラスタリング、ノード分類、グラフ可視化タスクにおいて、ベースラインよりも優れていることが実証された。
  論文  参考訳（メタデータ） (2020-03-10T02:33:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。