論文の概要: CARE: Turning LLMs Into Causal Reasoning Expert

• arxiv url: http://arxiv.org/abs/2511.16016v1
• Date: Thu, 20 Nov 2025 03:34:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-21 17:08:52.455723
• Title: CARE: Turning LLMs Into Causal Reasoning Expert
• Title（参考訳）: LLMをCausal Reasoningのエキスパートに変える、とCARE
• Authors: Juncheng Dong, Yiling Liu, Ahmed Aloui, Vahid Tarokh, David Carlson,
• Abstract要約: 大規模言語モデル(LLM)には因果関係を識別する能力がないことを示す。 LLMの因果推論能力を高めるフレームワークであるCAREを提案する。
• 参考スコア（独自算出の注目度）: 14.390784501489733
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Large language models (LLMs) have recently demonstrated impressive capabilities across a range of reasoning and generation tasks. However, research studies have shown that LLMs lack the ability to identify causal relationships, a fundamental cornerstone of human intelligence. We first conduct an exploratory investigation of LLMs' behavior when asked to perform a causal-discovery task and find that they mostly rely on the semantic meaning of variable names, ignoring the observation data. This is unsurprising, given that LLMs were never trained to process structural datasets. To first tackle this challenge, we prompt the LLMs with the outputs of established causal discovery algorithms designed for observational datasets. These algorithm outputs effectively serve as the sufficient statistics of the observation data. However, quite surprisingly, we find that prompting the LLMs with these sufficient statistics decreases the LLMs' performance in causal discovery. To address this current limitation, we propose CARE, a framework that enhances LLMs' causal-reasoning ability by teaching them to effectively utilize the outputs of established causal-discovery algorithms through supervised fine-tuning. Experimental results show that a finetuned Qwen2.5-1.5B model produced by CARE significantly outperforms both traditional causal-discovery algorithms and state-of-the-art LLMs with over a thousand times more parameters, demonstrating effective utilization of its own knowledge and the external algorithmic clues.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、最近、様々な推論および生成タスクで印象的な機能を示した。 しかし、研究により、LLMは人間の知能の基本的な基盤である因果関係を識別する能力が欠如していることが示されている。 まず, LLMの振る舞いを探索的に調査し, 因果発見タスクの実行を依頼した上で, 変数名の意味的意味に大きく依存していることを確認し, 観測データを無視した。 LLMが構造的データセットを処理するように訓練されたことがなかったことを考えると、これは当然のことだ。 この課題に最初に取り組むために、観測データセット用に設計された確立された因果探索アルゴリズムの出力をLCMに促す。 これらのアルゴリズムの出力は、観測データの十分な統計量として有効である。 しかし、驚くべきことに、これらの十分な統計量でLLMを誘導することは、因果発見におけるLLMの性能を低下させる。 この制限に対処するため,従来の因果関係探索アルゴリズムの出力を教師付き微調整により効果的に活用するように指導することで,LLMの因果関係の解明能力を高めるフレームワークであるCAREを提案する。 実験結果から,CAREによる微調整Qwen2.5-1.5Bモデルは,1000倍以上のパラメータを持つ従来の因果探索アルゴリズムと最先端LLMの両方を著しく上回り,自己の知識と外部アルゴリズムの手がかりを効果的に活用できることが示唆された。

関連論文リスト

• LLM Cannot Discover Causality, and Should Be Restricted to Non-Decisional Support in Causal Discovery [30.24849564413826]
  LLMの自己回帰的相関モデルが本質的に因果推論の理論的根拠を欠いていることを実証する。 我々は、故意にプロンプトエンジニアリングが彼らの業績を誇張し、現在の文献の多くで報告された一貫した好ましい結果を説明するのに役立つことを示している。 我々は,LLMを鼻で適用することから,因果発見の根本原理を尊重する専門的なモデルや訓練方法の開発に焦点を移すことをコミュニティに求めて結論付けた。
  論文  参考訳（メタデータ） (2025-06-01T05:38:56Z)
• Iterative Self-Incentivization Empowers Large Language Models as Agentic Searchers [74.17516978246152]
  大規模言語モデル(LLM)は、従来の手法を進化させるために情報検索に広く統合されている。 エージェント検索フレームワークであるEXSEARCHを提案する。 4つの知識集約ベンチマークの実験では、EXSEARCHはベースラインを大幅に上回っている。
  論文  参考訳（メタデータ） (2025-05-26T15:27:55Z)
• Can LLMs Leverage Observational Data? Towards Data-Driven Causal Discovery with LLMs [10.573861741540853]
  因果発見は伝統的に観測データに適用された統計手法に依存している。 大規模言語モデル(LLM)の最近の進歩は、因果発見の新しい可能性をもたらした。
  論文  参考訳（メタデータ） (2025-04-15T07:32:35Z)
• R1-Searcher: Incentivizing the Search Capability in LLMs via Reinforcement Learning [87.30285670315334]
  textbfR1-Searcherは、大規模言語モデルの検索能力を高めるために設計された、2段階の結果に基づく新しいRLアプローチである。 本フレームワークは, コールドスタート時に, プロセス報酬や蒸留を必要とせず, RLのみに依存している。 提案手法は, クローズドソースGPT-4o-miniと比較して, 従来の強力なRAG法よりも有意に優れていた。
  論文  参考訳（メタデータ） (2025-03-07T17:14:44Z)
• Large Language Models Think Too Fast To Explore Effectively [0.0]
  LLM(Large Language Models)は、多くの知的能力を持つ言語である。 本研究では,オープンエンドタスクにおいて,LLMが人間を超えることができるかどうかを検討する。
  論文  参考訳（メタデータ） (2025-01-29T21:51:17Z)
• CausalBench: A Comprehensive Benchmark for Causal Learning Capability of LLMs [27.362012903540492]
  因果関係を理解する能力は、大言語モデル(LLM)の出力説明と反実的推論の能力に大きな影響を及ぼす。 因果関係を理解する能力は、大言語モデル(LLM)の出力説明と反実的推論の能力に大きな影響を及ぼす。
  論文  参考訳（メタデータ） (2024-04-09T14:40:08Z)
• Small Models, Big Insights: Leveraging Slim Proxy Models To Decide When and What to Retrieve for LLMs [60.40396361115776]
  本稿では,スリムプロキシモデルを用いた大規模言語モデル (LLM) における知識不足を検知する新しい協調手法であるSlimPLMを提案する。 パラメータがはるかに少ないプロキシモデルを採用し、回答を回答としています。 ヒューリスティックな回答は、LLM内の既知の未知の知識と同様に、ユーザの質問に答えるために必要な知識を予測するのに使用される。
  論文  参考訳（メタデータ） (2024-02-19T11:11:08Z)
• Causal Reasoning and Large Language Models: Opening a New Frontier for Causality [29.433401785920065]
  大規模言語モデル(LLM)は、高い確率で因果引数を生成することができる。 LLMは人間のドメインの専門家によって因果解析のセットアップの労力を節約するために使われる。
  論文  参考訳（メタデータ） (2023-04-28T19:00:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。