論文の概要: Large Language Models are Effective Priors for Causal Graph Discovery

• arxiv url: http://arxiv.org/abs/2405.13551v1
• Date: Wed, 22 May 2024 11:39:11 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-25 00:24:16.617772
• Title: Large Language Models are Effective Priors for Causal Graph Discovery
• Title（参考訳）: 因果グラフ発見に有効な大規模言語モデル
• Authors: Victor-Alexandru Darvariu, Stephen Hailes, Mirco Musolesi,
• Abstract要約: 専門家によって提供された背景知識を統合して仮説空間を縮小することにより、観測による因果構造発見を改善することができる。 近年,Large Language Models (LLMs) は,人的専門家に対するクエリコストの低さから,事前情報源として考えられ始めている。
• 参考スコア（独自算出の注目度）: 6.199818486385127
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Causal structure discovery from observations can be improved by integrating background knowledge provided by an expert to reduce the hypothesis space. Recently, Large Language Models (LLMs) have begun to be considered as sources of prior information given the low cost of querying them relative to a human expert. In this work, firstly, we propose a set of metrics for assessing LLM judgments for causal graph discovery independently of the downstream algorithm. Secondly, we systematically study a set of prompting designs that allows the model to specify priors about the structure of the causal graph. Finally, we present a general methodology for the integration of LLM priors in graph discovery algorithms, finding that they help improve performance on common-sense benchmarks and especially when used for assessing edge directionality. Our work highlights the potential as well as the shortcomings of the use of LLMs in this problem space.
• Abstract（参考訳）: 専門家によって提供された背景知識を統合して仮説空間を縮小することにより、観測による因果構造発見を改善することができる。 近年,Large Language Models (LLMs) は,人的専門家に対するクエリコストの低さから,事前情報源として考えられ始めている。 本稿では、まず、下流アルゴリズムとは無関係に因果グラフ発見のためのLCM判定を評価するための指標セットを提案する。 第二に、モデルが因果グラフの構造に関する事前を指定できるように、一連のプロンプト設計を体系的に研究する。 最後に,グラフ探索アルゴリズムにおけるLLM先行値の統合に関する一般的な手法を提案する。 我々の研究は、この問題領域におけるLLMの使用の欠点だけでなく、可能性も強調している。

関連論文リスト

• Using Large Language Models for Expert Prior Elicitation in Predictive Modelling [53.54623137152208]
  本研究では,大規模言語モデル (LLM) を用いて予測モデルの事前分布を推定する手法を提案する。 本研究では,LLMがパラメータ分布を真に生成するかどうかを評価するとともに,文脈内学習と事前推論のためのモデル選択戦略を提案する。 その結果,LLMによる事前パラメータ分布は,低データ設定における非形式的先行よりも予測誤差を著しく低減することがわかった。
  論文  参考訳（メタデータ） (2024-11-26T10:13:39Z)
• LLM-initialized Differentiable Causal Discovery [0.0]
  異なる因果発見法(DCD)は、観測データから因果関係を明らかにするのに有効である。 しかしながら、これらのアプローチは限定的な解釈可能性に悩まされ、ドメイン固有の事前知識を取り入れる際の課題に直面します。 本稿では,Large Language Models(LLM)に基づく因果探索手法を提案する。
  論文  参考訳（メタデータ） (2024-10-28T15:43:31Z)
• Aggregation Artifacts in Subjective Tasks Collapse Large Language Models' Posteriors [74.04775677110179]
  In-context Learning (ICL) は、Large Language Models (LLM) を用いた自然言語処理の主要な手法となっている。 本研究は,低アグリゲーション,異質なアノテーションを組み合わせたアグリゲーションの結果が,プロンプトに有害なノイズを生じさせるアノテーションのアーティファクトに繋がるかどうかを考察する。 この結果から,アグリゲーションは主観的タスクのモデル化において不明瞭な要因であり,代わりに個人をモデリングすることを重視することが示唆された。
  論文  参考訳（メタデータ） (2024-10-17T17:16:00Z)
• How Do Large Language Models Understand Graph Patterns? A Benchmark for Graph Pattern Comprehension [53.6373473053431]
  この研究は、グラフパターンタスクにおける大規模言語モデルの能力を評価するためのベンチマークを導入する。 我々は,LLMが用語的記述と位相的記述の両方に基づいて,グラフパターンを理解できるかどうかを評価するベンチマークを開発した。 私たちのベンチマークでは、合成データセットと実際のデータセットの両方と、11のタスクと7のモデルで構成されています。
  論文  参考訳（メタデータ） (2024-10-04T04:48:33Z)
• Can Graph Learning Improve Planning in LLM-based Agents? [61.47027387839096]
  言語エージェントにおけるタスクプランニングは、大規模言語モデル(LLM)の開発とともに重要な研究トピックとして浮上している。 本稿では,課題計画のためのグラフ学習に基づく手法について検討する。 我々のグラフ学習への関心は、注意のバイアスと自己回帰的損失が、グラフ上の意思決定を効果的にナビゲートするLLMの能力を妨げているという理論的な発見に起因している。
  論文  参考訳（メタデータ） (2024-05-29T14:26:24Z)
• MindStar: Enhancing Math Reasoning in Pre-trained LLMs at Inference Time [51.5039731721706]
  MindStarは、大言語モデルの純粋に推論に基づく探索手法である。 推論タスクを探索問題として定式化し、最適な推論経路を特定するための2つの探索アイデアを提案する。 Llama-2-13BやMistral-7Bのようなオープンソースモデルの推論能力を大幅に向上させ、GPT-3.5やGrok-1に匹敵する性能を実現している。
  論文  参考訳（メタデータ） (2024-05-25T15:07:33Z)
• Causal Graph Discovery with Retrieval-Augmented Generation based Large Language Models [23.438388321411693]
  因果グラフの回復は、伝統的に統計的推定に基づく手法や、興味のある変数に関する個人の知識に基づいて行われる。 本稿では,大言語モデル(LLM)を利用して,一般的な因果グラフ復元タスクにおける因果関係を推定する手法を提案する。
  論文  参考訳（メタデータ） (2024-02-23T13:02:10Z)
• Efficient Causal Graph Discovery Using Large Language Models [42.724534747353665]
  提案するフレームワークはBFS (Broadth-first Search) アプローチを用いており,クエリの線形数のみを使用することができる。 提案フレームワークは,時間とデータ効率の向上に加えて,様々なサイズの実世界の因果グラフに対して,最先端の結果を達成している。
  論文  参考訳（メタデータ） (2024-02-02T08:25:32Z)
• Causal Inference Using LLM-Guided Discovery [34.040996887499425]
  グラフ変数(因果順序)に対する位相的順序は、因果効果の推論にのみ十分であることを示す。 本稿では,Large Language Models (LLMs) から因果順序を求める頑健な手法を提案する。 提案手法は発見アルゴリズムと比較して因果順序精度を大幅に向上させる。
  論文  参考訳（メタデータ） (2023-10-23T17:23:56Z)
• Exploring Large Language Model for Graph Data Understanding in Online Job Recommendations [63.19448893196642]
  本稿では,大規模言語モデルが提供するリッチな文脈情報と意味表現を利用して行動グラフを解析する新しいフレームワークを提案する。 この機能を利用することで、個々のユーザに対してパーソナライズされた、正確なジョブレコメンデーションが可能になる。
  論文  参考訳（メタデータ） (2023-07-10T11:29:41Z)
• To Know by the Company Words Keep and What Else Lies in the Vicinity [0.0]
  本稿では,GloVe や Word2Vec など,セミナルアルゴリズムによって学習された統計データの解析モデルを提案する。 われわれの知る限りでは、Word2Vecのソフトマックス最適化、スキップグラムアルゴリズムの最初の既知のソリューションである。
  論文  参考訳（メタデータ） (2022-04-30T03:47:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。