Fugu-MT 論文翻訳(概要): Microstructures and Accuracy of Graph Recall by Large Language Models

論文の概要: Microstructures and Accuracy of Graph Recall by Large Language Models

arxiv url: http://arxiv.org/abs/2402.11821v3
Date: Thu, 31 Oct 2024 05:19:58 GMT
ステータス: 翻訳完了
システム内更新日: 2024-11-01 16:58:30.751101
Title: Microstructures and Accuracy of Graph Recall by Large Language Models
Title（参考訳）: 大規模言語モデルによるグラフリコールの微細構造と精度
Authors: Yanbang Wang, Hejie Cui, Jon Kleinberg,
Abstract要約: グラフデータは、多くのアプリケーションにとって不可欠である。以前のテキストで記述されたグラフを正確にリコールし、エンコードできることは、基本的だが重要な能力である。
参考スコア（独自算出の注目度）: 5.96196600538754
License:
Abstract: Graphs data is crucial for many applications, and much of it exists in the relations described in textual format. As a result, being able to accurately recall and encode a graph described in earlier text is a basic yet pivotal ability that LLMs need to demonstrate if they are to perform reasoning tasks that involve graph-structured information. Human performance at graph recall has been studied by cognitive scientists for decades, and has been found to often exhibit certain structural patterns of bias that align with human handling of social relationships. To date, however, we know little about how LLMs behave in analogous graph recall tasks: do their recalled graphs also exhibit certain biased patterns, and if so, how do they compare with humans and affect other graph reasoning tasks? In this work, we perform the first systematical study of graph recall by LLMs, investigating the accuracy and biased microstructures (local structural patterns) in their recall. We find that LLMs not only underperform often in graph recall, but also tend to favor more triangles and alternating 2-paths. Moreover, we find that more advanced LLMs have a striking dependence on the domain that a real-world graph comes from -- by yielding the best recall accuracy when the graph is narrated in a language style consistent with its original domain.
Abstract（参考訳）: グラフデータは多くのアプリケーションにとって重要であり、そのほとんどがテキスト形式で記述された関係にある。結果として、以前のテキストで記述されたグラフを正確にリコールし、エンコードできることは、LLMがグラフ構造化情報を含む推論タスクを実行するかどうかを実証するために必要な基本的かつ重要な能力である。グラフリコールにおける人間のパフォーマンスは、認知科学者によって何十年にもわたって研究されており、社会的関係の人間の扱いと一致する特定の構造的偏見を示すことがしばしば見出されている。しかし、これまでのところ、LLMがグラフリコールタスクでどのように振る舞うかはほとんどわかっていない。リコールされたグラフは特定のバイアスのあるパターンも示し、もしそうなら、人間と比べ、他のグラフ推論タスクにどのように影響するのか? 本研究では, LLMによるグラフリコールの系統的研究を行い, その精度と局所構造パターンの偏りについて検討する。 LLMはグラフリコールにおいてしばしば性能が低下するだけでなく、より多くの三角形と2-パスの交互化を好む傾向にある。さらに、より先進的なLLMは、実際のグラフが---から来るドメインに顕著な依存があることに気付き、グラフが元のドメインと整合した言語スタイルでナレーションされたときに、最高のリコール精度を得る。

関連論文リスト

How Do Large Language Models Understand Graph Patterns? A Benchmark for Graph Pattern Comprehension [53.6373473053431]
この研究は、グラフパターンタスクにおける大規模言語モデルの能力を評価するためのベンチマークを導入する。我々は,LLMが用語的記述と位相的記述の両方に基づいて,グラフパターンを理解できるかどうかを評価するベンチマークを開発した。私たちのベンチマークでは、合成データセットと実際のデータセットの両方と、11のタスクと7のモデルで構成されています。
論文参考訳（メタデータ） (2024-10-04T04:48:33Z)
GUNDAM: Aligning Large Language Models with Graph Understanding [10.080136100700692]
textbfGraph textbfUnderstanding for textbfNatural Language textbfDriven textbfAnalytical textbfModel (model)を紹介する。このモデルは、グラフデータの構造をよりよく理解し、関与するようにLLMを適用し、グラフの構造自体を活用することで複雑な推論タスクを実行できる。
論文参考訳（メタデータ） (2024-09-30T07:59:10Z)
Can Large Language Models Analyze Graphs like Professionals? A Benchmark, Datasets and Models [90.98855064914379]
グラフを処理するために,大規模言語モデル(LLM)のベンチマークであるProGraphを導入する。その結果,現在のLCMの性能は不満足であり,最高のモデルでは36%の精度しか達成できないことがわかった。本研究では,6つの広く使用されているグラフライブラリに基づいて,クローリングされたドキュメントと自動生成コードを含むLLM4Graphデータセットを提案する。
論文参考訳（メタデータ） (2024-09-29T11:38:45Z)
Revisiting the Graph Reasoning Ability of Large Language Models: Case Studies in Translation, Connectivity and Shortest Path [53.71787069694794]
大規模言語モデル(LLM)のグラフ推論能力に着目する。グラフ記述変換,グラフ接続,最短パス問題という3つの基本グラフタスクにおけるLLMの能力を再考する。この結果から,LLMはテキスト記述によるグラフ構造理解に失敗し,これらの基本課題に対して様々な性能を示すことが可能であることが示唆された。
論文参考訳（メタデータ） (2024-08-18T16:26:39Z)
Graph Chain-of-Thought: Augmenting Large Language Models by Reasoning on Graphs [60.71360240206726]
大規模言語モデル(LLM)は、特に知識集約的なタスクにおいて幻覚に悩まされる。既存の研究は、外部知識コーパスから取得した個々のテキスト単位でLLMを拡張することを提案する。本稿では,グラフを反復的に推論することで,LLMをグラフで拡張するためのGraph Chain-of-thinkt (Graph-CoT) というフレームワークを提案する。
論文参考訳（メタデータ） (2024-04-10T15:41:53Z)
Large Language Models on Graphs: A Comprehensive Survey [77.16803297418201]
グラフ上の大規模言語モデルに関連するシナリオとテクニックを体系的にレビューする。まず,LLMをグラフに適用する可能性シナリオを,純グラフ,テキスト分散グラフ,テキストペアグラフの3つのカテゴリにまとめる。本稿では,そのような手法の現実的な応用について論じ,オープンソースコードとベンチマークデータセットを要約する。
論文参考訳（メタデータ） (2023-12-05T14:14:27Z)
GraphLLM: Boosting Graph Reasoning Ability of Large Language Model [7.218768686958888]
GraphLLMは、グラフ学習モデルと大規模言語モデルを統合する、先駆的なエンドツーエンドアプローチである。 4つの基本グラフ推論タスクにおける経験的評価により,GraphLLMの有効性が検証された。その結果、54.44%の精度が向上し、96.45%の文脈が短縮された。
論文参考訳（メタデータ） (2023-10-09T16:42:00Z)
Integrating Graphs with Large Language Models: Methods and Prospects [68.37584693537555]
大規模言語モデル (LLMs) が最前線として登場し、様々なアプリケーションにおいて非並列の長所を示している。 LLMとグラフ構造化データを組み合わせることは、非常に興味深いトピックです。本稿では、そのような統合を2つの主要なカテゴリに分岐する。
論文参考訳（メタデータ） (2023-10-09T07:59:34Z)
Talk like a Graph: Encoding Graphs for Large Language Models [15.652881653332194]
大規模言語モデル(LLM)による消費用テキストとしてグラフ構造化データを符号化する最初の包括的研究について検討する。グラフ解析におけるLCMの性能は,(1)グラフ符号化法,(2)グラフ処理自体の性質,(3)興味深いことに,考慮されたグラフの構造の3つの基本レベルによって異なることを示す。
論文参考訳（メタデータ） (2023-10-06T19:55:21Z)
Graph-ToolFormer: To Empower LLMs with Graph Reasoning Ability via Prompt Augmented by ChatGPT [10.879701971582502]
我々は,複雑なグラフデータに対する推論能力を備えた大規模言語モデル(LLM)の開発を目指している。最新のChatGPTおよびToolformerモデルに触発された我々は、外部グラフ推論APIツールを使用するために、ChatGPTによって強化されたプロンプトでLLM自体を教えるためのGraph-ToolFormerフレームワークを提案する。
論文参考訳（メタデータ） (2023-04-10T05:25:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。