論文の概要: CodeGraph: Enhancing Graph Reasoning of LLMs with Code

• arxiv url: http://arxiv.org/abs/2408.13863v1
• Date: Sun, 25 Aug 2024 15:27:21 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-27 15:42:00.376593
• Title: CodeGraph: Enhancing Graph Reasoning of LLMs with Code
• Title（参考訳）: CodeGraph: LLMのグラフ推論をコードで強化する
• Authors: Qiaolong Cai, Zhaowei Wang, Shizhe Diao, James Kwok, Yangqiu Song,
• Abstract要約: 本稿では,グラフ問題の解をコードとしてエンコードするCodeGraphを紹介する。 CodeGraphは、大きな言語モデル内のグラフ推論タスクのパフォーマンスを1.3%から58.6%向上させることができる。
• 参考スコア（独自算出の注目度）: 43.79249671845997
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: With the increasing popularity of large language models (LLMs), reasoning on basic graph algorithm problems is an essential intermediate step in assessing their abilities to process and infer complex graph reasoning tasks. Existing methods usually convert graph-structured data to textual descriptions and then use LLMs for reasoning and computation. However, LLMs often produce computation errors on arithmetic parts in basic graph algorithm problems, such as counting number of edges. In addition, they struggle to control or understand the output of the reasoning process, raising concerns about whether LLMs are simply guessing. In this paper, we introduce CodeGraph, a method that encodes graph problem solutions as code. The methods solve new graph problems by learning from exemplars, generating programs, and executing them via a program interpreter. Using the few-shot setting, we evaluate CodeGraph with the base LLM being GPT-3.5 Turbo, Llama3-70B Instruct, Mixtral-8x22B Instruct, and Mixtral-8x7B Instruct. Experimental results on six tasks with six graph encoding methods in the GraphQA dataset demonstrate that CodeGraph can boost performance on graph reasoning tasks inside LLMs by 1.3% to 58.6%, depending on the task. Compared to the existing methods, CodeGraph demonstrates strong performance on arithmetic problems in graph tasks and offers a more controllable and interpretable approach to the reasoning process.
• Abstract（参考訳）: 大規模言語モデル(LLM)の普及に伴い、基本グラフアルゴリズム問題に基づく推論は、複雑なグラフ推論タスクを処理および推論する能力を評価するための重要な中間段階である。 既存の手法は通常、グラフ構造化データをテキスト記述に変換し、推論や計算にLLMを使用する。 しかしながら、LLMは、エッジの数を数えるなど、基本的なグラフアルゴリズム問題において、算術部分の計算誤差をしばしば生成する。 さらに、彼らは推論プロセスのアウトプットの制御や理解に苦労し、LLMが単に推測しているかどうかという懸念を提起している。 本稿では,グラフ問題の解をコードとして符号化するCodeGraphを紹介する。 提案手法は,模範者から学習し,プログラムを生成し,プログラムインタプリタを介して実行することにより,新たなグラフ問題を解決する。 GPT-3.5 Turbo, Llama3-70B Instruct, Mixtral-8x22B Instruct, Mixtral-8x7B Instruct。 GraphQAデータセットに6つのグラフエンコーディングメソッドを持つ6つのタスクの実験結果から、CodeGraphはタスクに応じてLSM内のグラフ推論タスクのパフォーマンスを1.3%から58.6%向上させることができることが示された。 既存の手法と比較して、CodeGraphはグラフタスクの算術的問題に強いパフォーマンスを示し、推論プロセスに対してより制御可能で解釈可能なアプローチを提供する。

関連論文リスト

• Can Large Language Models Analyze Graphs like Professionals? A Benchmark, Datasets and Models [90.98855064914379]
  グラフを処理するために,大規模言語モデル(LLM)のベンチマークであるProGraphを導入する。 その結果,現在のLCMの性能は不満足であり,最高のモデルでは36%の精度しか達成できないことがわかった。 本研究では,6つの広く使用されているグラフライブラリに基づいて,クローリングされたドキュメントと自動生成コードを含むLLM4Graphデータセットを提案する。
  論文  参考訳（メタデータ） (2024-09-29T11:38:45Z)
• Graph Reasoning with Large Language Models via Pseudo-code Prompting [25.469214467011362]
  本稿では,グラフ問題の解法において,擬似コード命令によるプロンプトが大規模言語モデル(LLM)の性能を向上させるか否かを検討する。 実験により, 疑似符号命令を用いることで, 一般にLLMの性能が向上することが示された。
  論文  参考訳（メタデータ） (2024-09-26T14:52:40Z)
• Revisiting the Graph Reasoning Ability of Large Language Models: Case Studies in Translation, Connectivity and Shortest Path [53.71787069694794]
  大規模言語モデル(LLM)のグラフ推論能力に着目する。 グラフ記述変換,グラフ接続,最短パス問題という3つの基本グラフタスクにおけるLLMの能力を再考する。 この結果から,LLMはテキスト記述によるグラフ構造理解に失敗し,これらの基本課題に対して様々な性能を示すことが可能であることが示唆された。
  論文  参考訳（メタデータ） (2024-08-18T16:26:39Z)
• Can Graph Learning Improve Planning in LLM-based Agents? [61.47027387839096]
  言語エージェントにおけるタスクプランニングは、大規模言語モデル(LLM)の開発とともに重要な研究トピックとして浮上している。 本稿では,課題計画のためのグラフ学習に基づく手法について検討する。 我々のグラフ学習への関心は、注意のバイアスと自己回帰的損失が、グラフ上の意思決定を効果的にナビゲートするLLMの能力を妨げているという理論的な発見に起因している。
  論文  参考訳（メタデータ） (2024-05-29T14:26:24Z)
• Graph Chain-of-Thought: Augmenting Large Language Models by Reasoning on Graphs [60.71360240206726]
  大規模言語モデル(LLM)は、特に知識集約的なタスクにおいて幻覚に悩まされる。 既存の研究は、外部知識コーパスから取得した個々のテキスト単位でLLMを拡張することを提案する。 本稿では,グラフを反復的に推論することで,LLMをグラフで拡張するためのGraph Chain-of-thinkt (Graph-CoT) というフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-04-10T15:41:53Z)
• Can Graph Descriptive Order Affect Solving Graph Problems with LLMs? [38.1577036285387]
  大規模言語モデル(LLM)は、数学的推論や論理的推論を含む推論タスクにおいて大きな成功を収めた。 従来の研究は様々な手法を用いてLSMのグラフ推論能力について研究してきた。 重要な要素は、主に見過ごされ、グラフ記述がモデルに提示される即時順序である。
  論文  参考訳（メタデータ） (2024-02-11T09:46:24Z)
• Talk like a Graph: Encoding Graphs for Large Language Models [15.652881653332194]
  大規模言語モデル(LLM)による消費用テキストとしてグラフ構造化データを符号化する最初の包括的研究について検討する。 グラフ解析におけるLCMの性能は,(1)グラフ符号化法,(2)グラフ処理自体の性質,(3)興味深いことに,考慮されたグラフの構造の3つの基本レベルによって異なることを示す。
  論文  参考訳（メタデータ） (2023-10-06T19:55:21Z)
• Can Language Models Solve Graph Problems in Natural Language? [51.28850846990929]
  大型言語モデル (LLM) は暗黙的なグラフィカル構造を持つ様々なタスクに採用されている。 自然言語をシミュレーションするグラフベース問題解決のベンチマークであるNLGraphを提案する。
  論文  参考訳（メタデータ） (2023-05-17T08:29:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。