論文の概要: Are Large-Language Models Graph Algorithmic Reasoners?

• arxiv url: http://arxiv.org/abs/2410.22597v1
• Date: Tue, 29 Oct 2024 23:28:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-31 14:28:34.608824
• Title: Are Large-Language Models Graph Algorithmic Reasoners?
• Title（参考訳）: 大規模言語モデルはグラフアルゴリズム共振器か?
• Authors: Alexander K Taylor, Anthony Cuturrufo, Vishal Yathish, Mingyu Derek Ma, Wei Wang,
• Abstract要約: 明示グラフ上の古典的アルゴリズム推論タスクにおいて,LLM(Large Language Models)の性能を評価するために設計されたベンチマークを導入する。 我々のベンチマークは、接続のためのBFS(Breadth-First Search)とDFS(Depth-First Search)、すべてのノードの最短経路に対するDijkstraのアルゴリズムとFloyd-Warshallアルゴリズム、プリムの最小スパンニングツリー(MST-Prim's)アルゴリズムの5つの基本アルゴリズムを含む。
• 参考スコア（独自算出の注目度）: 45.592341677933646
• License:
• Abstract: We seek to address a core challenge facing current Large Language Models (LLMs). LLMs have demonstrated superior performance in many tasks, yet continue to struggle with reasoning problems on explicit graphs that require multiple steps. To address this gap, we introduce a novel benchmark designed to evaluate LLM performance on classical algorithmic reasoning tasks on explicit graphs. Our benchmark encompasses five fundamental algorithms: Breadth-First Search (BFS) and Depth-First Search (DFS) for connectivity, Dijkstra's algorithm and Floyd-Warshall algorithm for all nodes shortest path, and Prim's Minimum Spanning Tree (MST-Prim's) algorithm. Through extensive experimentation, we assess the capabilities of state-of-the-art LLMs in executing these algorithms step-by-step and systematically evaluate their performance at each stage. Our findings highlight the persistent challenges LLMs face in this domain and underscore the necessity for advanced prompting techniques and algorithmic instruction to enhance their graph reasoning abilities. This work presents MAGMA, the first comprehensive benchmark focused on LLMs completing classical graph algorithms, and provides a critical step toward understanding and improving their structured problem-solving skills.
• Abstract（参考訳）: 現在、LLM(Large Language Models)が直面している中核的な課題に対処しようとしています。 LLMは多くのタスクにおいて優れた性能を示してきたが、複数のステップを必要とする明示的なグラフの推論問題に悩まされ続けている。 このギャップに対処するために,古典的アルゴリズム推論タスクにおけるLLM性能を明示グラフ上で評価するための新しいベンチマークを導入する。 我々のベンチマークは、接続のためのBFS(Breadth-First Search)とDFS(Depth-First Search)、すべてのノードの最短経路に対するDijkstraのアルゴリズムとFloyd-Warshallアルゴリズム、プリムの最小スパンニングツリー(MST-Prim's)アルゴリズムの5つの基本アルゴリズムを含む。 大規模な実験を通じて,これらのアルゴリズムを段階的に実行し,各段階での性能を体系的に評価する上で,最先端のLLMの能力を評価する。 この領域でLLMが直面する永続的課題を強調し、グラフ推論能力を高めるための高度なプロンプト技術とアルゴリズム命令の必要性を強調した。 この研究は、従来のグラフアルゴリズムを補完するLLMに焦点を当てた最初の総合ベンチマークであるMAGMAを提示し、構造化された問題解決スキルの理解と改善に向けた重要なステップを提供する。

関連論文リスト

• How Do Large Language Models Understand Graph Patterns? A Benchmark for Graph Pattern Comprehension [53.6373473053431]
  この研究は、グラフパターンタスクにおける大規模言語モデルの能力を評価するためのベンチマークを導入する。 我々は,LLMが用語的記述と位相的記述の両方に基づいて,グラフパターンを理解できるかどうかを評価するベンチマークを開発した。 私たちのベンチマークでは、合成データセットと実際のデータセットの両方と、11のタスクと7のモデルで構成されています。
  論文  参考訳（メタデータ） (2024-10-04T04:48:33Z)
• BEATS: Optimizing LLM Mathematical Capabilities with BackVerify and Adaptive Disambiguate based Efficient Tree Search [22.672130194493793]
  大規模言語モデル(LLM)は、幅広いタスクやドメインで例外的なパフォーマンスを示している。 彼らは数学の厳密で論理的な性質のため、数学の問題を解くのに依然として困難に直面している。 本稿では,数学的問題解決能力を高めるための新しい手法BEATSを提案する。
  論文  参考訳（メタデータ） (2024-09-26T15:47:42Z)
• On the Design and Analysis of LLM-Based Algorithms [74.7126776018275]
  大規模言語モデル(LLM)はアルゴリズムのサブルーチンとして使用される。 LLMは素晴らしい経験的成功を収めた。 提案フレームワークは,LLMアルゴリズムの進歩を約束する。
  論文  参考訳（メタデータ） (2024-07-20T07:39:07Z)
• LiteSearch: Efficacious Tree Search for LLM [70.29796112457662]
  本研究では,動的ノード選択とノードレベルの探索予算を備えた新しいガイド付き木探索アルゴリズムを提案する。 GSM8KおよびTabMWPデータセットを用いて行った実験により,本手法はベースライン法に比べて計算コストが大幅に低いことを示した。
  論文  参考訳（メタデータ） (2024-06-29T05:14:04Z)
• Navigating the Labyrinth: Evaluating and Enhancing LLMs' Ability to Reason About Search Problems [59.72548591120689]
  我々は,11種類の検索問題を含む新しいベンチマークであるSearchBenchを紹介する。 もっとも先進的なLCMでさえ、これらの問題をエンドツーエンドのテキストで解決することができないことを示す。 LLMにその問題を解決するコードを生成するように指示することは助けになるが、GPT4のパフォーマンスは11.7%向上した。
  論文  参考訳（メタデータ） (2024-06-18T00:44:58Z)
• Algorithm of Thoughts: Enhancing Exploration of Ideas in Large Language Models [17.059322033670124]
  本稿では,アルゴリズム的推論経路を通じて大規模言語モデルを促進する新しい手法を提案する。 この結果から,LLMをアルゴリズムを用いて指導すると,アルゴリズム自体よりも性能が向上する可能性が示唆された。
  論文  参考訳（メタデータ） (2023-08-20T22:36:23Z)
• Neural Algorithmic Reasoning Without Intermediate Supervision [21.852775399735005]
  我々は、中間的監督に訴えることなく、入出力ペアからのみニューラルネットワーク推論を学ぶことに集中する。 我々は、アルゴリズムの軌跡にアクセスできることなく、モデルの中間計算を正規化できる自己教師対象を構築する。 CLRSic Algorithmic Reasoning Benchmarkのタスクにおいて,提案手法はトラジェクトリを教師する手法と競合することを示す。
  論文  参考訳（メタデータ） (2023-06-23T09:57:44Z)
• Can Language Models Solve Graph Problems in Natural Language? [51.28850846990929]
  大型言語モデル (LLM) は暗黙的なグラフィカル構造を持つ様々なタスクに採用されている。 自然言語をシミュレーションするグラフベース問題解決のベンチマークであるNLGraphを提案する。
  論文  参考訳（メタデータ） (2023-05-17T08:29:21Z)
• The CLRS Algorithmic Reasoning Benchmark [28.789225199559834]
  アルゴリズムの学習表現は機械学習の新たな領域であり、ニューラルネットワークから古典的なアルゴリズムで概念をブリッジしようとしている。 本稿では,従来のアルゴリズムを包括するCLRS Algorithmic Reasoning Benchmarkを提案する。 我々のベンチマークは、ソート、探索、動的プログラミング、グラフアルゴリズム、文字列アルゴリズム、幾何アルゴリズムなど、様々なアルゴリズムの推論手順にまたがっている。
  論文  参考訳（メタデータ） (2022-05-31T09:56:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。