論文の概要: Can Language Models Solve Graph Problems in Natural Language?

• arxiv url: http://arxiv.org/abs/2305.10037v2
• Date: Mon, 30 Oct 2023 07:00:00 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-02 02:39:21.704199
• Title: Can Language Models Solve Graph Problems in Natural Language?
• Title（参考訳）: 自然言語におけるグラフ問題の解ける言語モデル
• Authors: Heng Wang, Shangbin Feng, Tianxing He, Zhaoxuan Tan, Xiaochuang Han, Yulia Tsvetkov
• Abstract要約: 大型言語モデル (LLM) は暗黙的なグラフィカル構造を持つ様々なタスクに採用されている。 自然言語をシミュレーションするグラフベース問題解決のベンチマークであるNLGraphを提案する。
• 参考スコア（独自算出の注目度）: 51.28850846990929
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) are increasingly adopted for a variety of tasks with implicit graphical structures, such as planning in robotics, multi-hop question answering or knowledge probing, structured commonsense reasoning, and more. While LLMs have advanced the state-of-the-art on these tasks with structure implications, whether LLMs could explicitly process textual descriptions of graphs and structures, map them to grounded conceptual spaces, and perform structured operations remains underexplored. To this end, we propose NLGraph (Natural Language Graph), a comprehensive benchmark of graph-based problem solving designed in natural language. NLGraph contains 29,370 problems, covering eight graph reasoning tasks with varying complexity from simple tasks such as connectivity and shortest path up to complex problems such as maximum flow and simulating graph neural networks. We evaluate LLMs (GPT-3/4) with various prompting approaches on the NLGraph benchmark and find that 1) language models do demonstrate preliminary graph reasoning abilities, 2) the benefit of advanced prompting and in-context learning diminishes on more complex graph problems, while 3) LLMs are also (un)surprisingly brittle in the face of spurious correlations in graph and problem settings. We then propose Build-a-Graph Prompting and Algorithmic Prompting, two instruction-based approaches to enhance LLMs in solving natural language graph problems. Build-a-Graph and Algorithmic prompting improve the performance of LLMs on NLGraph by 3.07% to 16.85% across multiple tasks and settings, while how to solve the most complicated graph reasoning tasks in our setup with language models remains an open research question. The NLGraph benchmark and evaluation code are available at https://github.com/Arthur-Heng/NLGraph.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、ロボット工学の計画、マルチホップ質問応答や知識探索、構造化コモンセンス推論など、暗黙のグラフィカルな構造を持つ様々なタスクに採用されている。 LLMは、これらのタスクの最先端を構造的含意で進めてきたが、LLMがグラフや構造のテキスト記述を明示的に処理し、それらを接地された概念空間にマッピングし、構造化された操作を行うことができるかどうかはまだ未定である。 この目的のために,自然言語で設計したグラフ型問題解決の総合ベンチマークであるnlgraph(natural language graph)を提案する。 NLGraphには29,370の問題が含まれており、接続や最短経路といった単純なタスクから、最大フローやグラフニューラルネットワークのシミュレーションといった複雑な問題まで、複雑な8つのグラフ推論タスクをカバーする。 llms (gpt-3/4) をnlgraphベンチマーク上で様々なプロンプトアプローチで評価し,それを見出す。 1)言語モデルは予備的グラフ推論能力を示す。 2)高度なプロンプトとインコンテキスト学習の利点は,より複雑なグラフ問題において減少する。 3) LLMは, グラフや問題設定の急激な相関に直面すると, 当然脆弱である。 次に,自然言語グラフ問題を解決するための2つの命令に基づく手法である build-a-graph prompting と algorithmic prompting を提案する。 ビルド・ア・グラフとアルゴリズムは、複数のタスクや設定において、NLGraph上のLLMのパフォーマンスを3.07%から16.85%向上させる一方で、言語モデルを用いたセットアップにおいて最も複雑なグラフ推論タスクをどう解決するかは、オープンな研究課題である。 NLGraphベンチマークと評価コードはhttps://github.com/Arthur-Heng/NLGraphで公開されている。

関連論文リスト

• Can Large Language Models Analyze Graphs like Professionals? A Benchmark, Datasets and Models [90.98855064914379]
  グラフを処理するために,大規模言語モデル(LLM)のベンチマークであるProGraphを導入する。 その結果,現在のLCMの性能は不満足であり,最高のモデルでは36%の精度しか達成できないことがわかった。 本研究では,6つの広く使用されているグラフライブラリに基づいて,クローリングされたドキュメントと自動生成コードを含むLLM4Graphデータセットを提案する。
  論文  参考訳（メタデータ） (2024-09-29T11:38:45Z)
• Graph Reasoning with Large Language Models via Pseudo-code Prompting [25.469214467011362]
  本稿では,グラフ問題の解法において,擬似コード命令によるプロンプトが大規模言語モデル(LLM)の性能を向上させるか否かを検討する。 実験により, 疑似符号命令を用いることで, 一般にLLMの性能が向上することが示された。
  論文  参考訳（メタデータ） (2024-09-26T14:52:40Z)
• CodeGraph: Enhancing Graph Reasoning of LLMs with Code [43.79249671845997]
  本稿では,グラフ問題の解をコードとしてエンコードするCodeGraphを紹介する。 CodeGraphは、大きな言語モデル内のグラフ推論タスクのパフォーマンスを1.3%から58.6%向上させることができる。
  論文  参考訳（メタデータ） (2024-08-25T15:27:21Z)
• Revisiting the Graph Reasoning Ability of Large Language Models: Case Studies in Translation, Connectivity and Shortest Path [53.71787069694794]
  大規模言語モデル(LLM)のグラフ推論能力に着目する。 グラフ記述変換,グラフ接続,最短パス問題という3つの基本グラフタスクにおけるLLMの能力を再考する。 この結果から,LLMはテキスト記述によるグラフ構造理解に失敗し,これらの基本課題に対して様々な性能を示すことが可能であることが示唆された。
  論文  参考訳（メタデータ） (2024-08-18T16:26:39Z)
• GraphArena: Benchmarking Large Language Models on Graph Computational Problems [25.72820021030033]
  LLM(Large Language Models)の"アームレース(arms race)"は、その進捗を調べるために、新しい、挑戦的な、多様なベンチマークを必要とする。 百万規模の実世界のグラフを用いて,グラフ計算問題のモデルを評価するベンチマークツールであるGraphArenaを紹介する。
  論文  参考訳（メタデータ） (2024-06-29T09:19:23Z)
• Can Graph Learning Improve Planning in LLM-based Agents? [61.47027387839096]
  言語エージェントにおけるタスクプランニングは、大規模言語モデル(LLM)の開発とともに重要な研究トピックとして浮上している。 本稿では,課題計画のためのグラフ学習に基づく手法について検討する。 我々のグラフ学習への関心は、注意のバイアスと自己回帰的損失が、グラフ上の意思決定を効果的にナビゲートするLLMの能力を妨げているという理論的な発見に起因している。
  論文  参考訳（メタデータ） (2024-05-29T14:26:24Z)
• Graph Chain-of-Thought: Augmenting Large Language Models by Reasoning on Graphs [60.71360240206726]
  大規模言語モデル(LLM)は、特に知識集約的なタスクにおいて幻覚に悩まされる。 既存の研究は、外部知識コーパスから取得した個々のテキスト単位でLLMを拡張することを提案する。 本稿では,グラフを反復的に推論することで,LLMをグラフで拡張するためのGraph Chain-of-thinkt (Graph-CoT) というフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-04-10T15:41:53Z)
• G-Retriever: Retrieval-Augmented Generation for Textual Graph Understanding and Question Answering [61.93058781222079]
  現実のテキストグラフを対象とするフレキシブルな問合せフレームワークを開発した。 一般のテキストグラフに対する最初の検索拡張生成(RAG)手法を提案する。 G-Retrieverは、このタスクをSteiner Tree最適化問題として定式化し、グラフ上でRAGを実行する。
  論文  参考訳（メタデータ） (2024-02-12T13:13:04Z)
• Talk like a Graph: Encoding Graphs for Large Language Models [15.652881653332194]
  大規模言語モデル(LLM)による消費用テキストとしてグラフ構造化データを符号化する最初の包括的研究について検討する。 グラフ解析におけるLCMの性能は,(1)グラフ符号化法,(2)グラフ処理自体の性質,(3)興味深いことに,考慮されたグラフの構造の3つの基本レベルによって異なることを示す。
  論文  参考訳（メタデータ） (2023-10-06T19:55:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。