論文の概要: CausalGraph2LLM: Evaluating LLMs for Causal Queries

• arxiv url: http://arxiv.org/abs/2410.15939v1
• Date: Mon, 21 Oct 2024 12:12:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-22 13:13:20.279703
• Title: CausalGraph2LLM: Evaluating LLMs for Causal Queries
• Title（参考訳）: CausalGraph2LLM: Causal QueriesのLLM評価
• Authors: Ivaxi Sheth, Bahare Fatemi, Mario Fritz,
• Abstract要約: 因果関係は科学研究において不可欠であり、研究者は変数間の真の関係を解釈することができる。 近年のLarge Language Models (LLMs) の発展に伴い,因果推論の能力を探究することへの関心が高まっている。
• 参考スコア（独自算出の注目度）: 49.337170619608145
• License:
• Abstract: Causality is essential in scientific research, enabling researchers to interpret true relationships between variables. These causal relationships are often represented by causal graphs, which are directed acyclic graphs. With the recent advancements in Large Language Models (LLMs), there is an increasing interest in exploring their capabilities in causal reasoning and their potential use to hypothesize causal graphs. These tasks necessitate the LLMs to encode the causal graph effectively for subsequent downstream tasks. In this paper, we propose a comprehensive benchmark, \emph{CausalGraph2LLM}, encompassing a variety of causal graph settings to assess the causal graph understanding capability of LLMs. We categorize the causal queries into two types: graph-level and node-level queries. We benchmark both open-sourced and closed models for our study. Our findings reveal that while LLMs show promise in this domain, they are highly sensitive to the encoding used. Even capable models like GPT-4 and Gemini-1.5 exhibit sensitivity to encoding, with deviations of about $60\%$. We further demonstrate this sensitivity for downstream causal intervention tasks. Moreover, we observe that LLMs can often display biases when presented with contextual information about a causal graph, potentially stemming from their parametric memory.
• Abstract（参考訳）: 因果関係は科学研究において不可欠であり、研究者は変数間の真の関係を解釈することができる。 これらの因果関係は、しばしば有向非巡回グラフである因果グラフによって表される。 近年のLarge Language Models (LLMs) の発展に伴い、因果推論におけるそれらの能力や、因果グラフの仮説化に活用される可能性を探ることへの関心が高まっている。 これらのタスクは、後続の下流タスクに因果グラフを効果的にエンコードする必要がある。 本稿では, LLMの因果グラフ理解能力を評価するために, 様々な因果グラフ設定を含む包括的ベンチマークである \emph{CausalGraph2LLM} を提案する。 因果クエリをグラフレベルとノードレベルの2つのタイプに分類する。 調査のために、オープンソースとクローズドモデルの両方をベンチマークします。 この領域ではLSMは有望であるが, 使用するエンコーディングに非常に敏感であることがわかった。 GPT-4やGemini-1.5のような有能なモデルでさえ、符号化に対する感度を示し、約60\%の偏差がある。 さらに、下流の因果介入タスクに対するこの感度を実証する。 さらに,LLMは因果グラフに関する文脈情報を表示すると,そのパラメータメモリから生じる可能性のあるバイアスをしばしば表示する。

関連論文リスト

• How Do Large Language Models Understand Graph Patterns? A Benchmark for Graph Pattern Comprehension [53.6373473053431]
  この研究は、グラフパターンタスクにおける大規模言語モデルの能力を評価するためのベンチマークを導入する。 我々は,LLMが用語的記述と位相的記述の両方に基づいて,グラフパターンを理解できるかどうかを評価するベンチマークを開発した。 私たちのベンチマークでは、合成データセットと実際のデータセットの両方と、11のタスクと7のモデルで構成されています。
  論文  参考訳（メタデータ） (2024-10-04T04:48:33Z)
• Can Large Language Models Analyze Graphs like Professionals? A Benchmark, Datasets and Models [90.98855064914379]
  グラフを処理するために,大規模言語モデル(LLM)のベンチマークであるProGraphを導入する。 その結果,現在のLCMの性能は不満足であり,最高のモデルでは36%の精度しか達成できないことがわかった。 本研究では,6つの広く使用されているグラフライブラリに基づいて,クローリングされたドキュメントと自動生成コードを含むLLM4Graphデータセットを提案する。
  論文  参考訳（メタデータ） (2024-09-29T11:38:45Z)
• Revisiting the Graph Reasoning Ability of Large Language Models: Case Studies in Translation, Connectivity and Shortest Path [53.71787069694794]
  大規模言語モデル(LLM)のグラフ推論能力に着目する。 グラフ記述変換,グラフ接続,最短パス問題という3つの基本グラフタスクにおけるLLMの能力を再考する。 この結果から,LLMはテキスト記述によるグラフ構造理解に失敗し,これらの基本課題に対して様々な性能を示すことが可能であることが示唆された。
  論文  参考訳（メタデータ） (2024-08-18T16:26:39Z)
• Microstructures and Accuracy of Graph Recall by Large Language Models [5.96196600538754]
  グラフデータは、多くのアプリケーションにとって不可欠である。 以前のテキストで記述されたグラフを正確にリコールし、エンコードできることは、基本的だが重要な能力である。
  論文  参考訳（メタデータ） (2024-02-19T04:29:45Z)
• Causal Inference Using LLM-Guided Discovery [34.040996887499425]
  グラフ変数(因果順序)に対する位相的順序は、因果効果の推論にのみ十分であることを示す。 本稿では,Large Language Models (LLMs) から因果順序を求める頑健な手法を提案する。 提案手法は発見アルゴリズムと比較して因果順序精度を大幅に向上させる。
  論文  参考訳（メタデータ） (2023-10-23T17:23:56Z)
• Can Large Language Models Infer Causation from Correlation? [104.96351414570239]
  大規模言語モデル(LLM)の純粋因果推論スキルをテストする。 相関文の集合を取り、変数間の因果関係を決定する新しいタスクCorr2Causeを定式化する。 これらのモデルがタスクのランダムな性能にほぼ近い結果が得られることを示す。
  論文  参考訳（メタデータ） (2023-06-09T12:09:15Z)
• Can large language models build causal graphs? [54.74910640970968]
  大規模言語モデル(LLM)は因果グラフの構築プロセスを容易にする機会である。 LLMは、ユーザが使用する単語、コンテキスト、およびプロンプトの選定に脆弱であることが示されている。
  論文  参考訳（メタデータ） (2023-03-07T22:05:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。