論文の概要: Mitigating Hallucinations in Large Language Models via Causal Reasoning

• arxiv url: http://arxiv.org/abs/2508.12495v1
• Date: Sun, 17 Aug 2025 20:51:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-19 14:49:10.802052
• Title: Mitigating Hallucinations in Large Language Models via Causal Reasoning
• Title（参考訳）: 因果推論による大規模言語モデルにおける幻覚の緩和
• Authors: Yuangang Li, Yiqing Shen, Yi Nian, Jiechao Gao, Ziyi Wang, Chenxiao Yu, Shawn Li, Jie Wang, Xiyang Hu, Yue Zhao,
• Abstract要約: 大規模言語モデル(LLM)は論理的に矛盾した幻覚を示し、一貫性があるように見えるが、理性原理に反する。 我々は因果DAG構築と推論(CDCR-SFT)を紹介する。 CDCR-SFT は LLM を訓練し、変数レベル指向非巡回グラフ (DAG) を明示的に構築し、その上で推論を行う。
• 参考スコア（独自算出の注目度）: 16.830640147232295
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) exhibit logically inconsistent hallucinations that appear coherent yet violate reasoning principles, with recent research suggesting an inverse relationship between causal reasoning capabilities and such hallucinations. However, existing reasoning approaches in LLMs, such as Chain-of-Thought (CoT) and its graph-based variants, operate at the linguistic token level rather than modeling the underlying causal relationships between variables, lacking the ability to represent conditional independencies or satisfy causal identification assumptions. To bridge this gap, we introduce causal-DAG construction and reasoning (CDCR-SFT), a supervised fine-tuning framework that trains LLMs to explicitly construct variable-level directed acyclic graph (DAG) and then perform reasoning over it. Moreover, we present a dataset comprising 25,368 samples (CausalDR), where each sample includes an input question, explicit causal DAG, graph-based reasoning trace, and validated answer. Experiments on four LLMs across eight tasks show that CDCR-SFT improves the causal reasoning capability with the state-of-the-art 95.33% accuracy on CLADDER (surpassing human performance of 94.8% for the first time) and reduces the hallucination on HaluEval with 10% improvements. It demonstrates that explicit causal structure modeling in LLMs can effectively mitigate logical inconsistencies in LLM outputs. Code is available at https://github.com/MrLYG/CDCR-SFT.
• Abstract（参考訳）: 大規模言語モデル (LLMs) は論理的に矛盾した幻覚を示し, 因果的推論能力とそのような幻覚との逆関係を示唆している。 しかし、Chain-of-Thought (CoT) やグラフベースの変種のような LLM の既存の推論手法は、変数間の因果関係をモデル化するのではなく、言語トークンレベルで機能する。 このギャップを埋めるために、我々は、LLMに可変レベル指向非巡回グラフ(DAG)を明示的に構築するよう訓練し、その上で推論を行う教師付き微調整フレームワークであるCDCR-SFT(Casal-DAG construction and reasoning)を導入する。 さらに,25,368個のサンプルからなるデータセット(CausalDR)について,各サンプルは入力質問,明示的因果DAG,グラフベースの推論トレース,検証された回答を含む。 8つのタスクにわたる4つのLCMの実験では、CDCR-SFTはCLADDERの最先端95.33%の精度で因果推論能力を改善し、HaluEvalの幻覚を10%改善した。 LLM出力における論理的不整合を効果的に軽減できることを示す。 コードはhttps://github.com/MrLYG/CDCR-SFTで入手できる。

関連論文リスト

• CLATTER: Comprehensive Entailment Reasoning for Hallucination Detection [60.98964268961243]
  我々は,系統的かつ包括的な推論プロセスを実行するためのモデルを導くことで,モデルがよりきめ細やかで正確な絞り込み決定を実行できることを提案する。 我々は,(i)クレームの分解,(ii)サブクレームの属性と包含分類,および(iii)集約分類から成る3段階の推論プロセスを定義し,そのような導出推論が実際に幻覚検出の改善をもたらすことを示す。
  論文  参考訳（メタデータ） (2025-06-05T17:02:52Z)
• MIRAGE: Assessing Hallucination in Multimodal Reasoning Chains of MLLM [58.2298313720146]
  マルチモーダル幻覚は多源性であり、様々な原因から生じる。 既存のベンチマークでは、知覚誘発幻覚と推論誘発幻覚を適切に区別することができない。
  論文  参考訳（メタデータ） (2025-05-30T05:54:36Z)
• Drowzee: Metamorphic Testing for Fact-Conflicting Hallucination Detection in Large Language Models [11.138489774712163]
  我々は、FCH(Fact-Conflicting Hallucinations)の検出のためのメタモルフィックテストを強化するために、論理プログラミングを活用する革新的なアプローチを提案する。 テストケースを生成し,9つのドメインにまたがる6つの異なる大言語モデルに対して幻覚を検知し,24.7%から59.8%の比率を示した。
  論文  参考訳（メタデータ） (2024-05-01T17:24:42Z)
• CausalBench: A Comprehensive Benchmark for Causal Learning Capability of LLMs [27.362012903540492]
  因果関係を理解する能力は、大言語モデル(LLM)の出力説明と反実的推論の能力に大きな影響を及ぼす。 因果関係を理解する能力は、大言語モデル(LLM)の出力説明と反実的推論の能力に大きな影響を及ぼす。
  論文  参考訳（メタデータ） (2024-04-09T14:40:08Z)
• CLadder: Assessing Causal Reasoning in Language Models [82.8719238178569]
  我々は,大言語モデル (LLM) が因果関係をコヒーレントに説明できるかどうかを検討する。 ユデア・パールらによって仮定された「因果推論エンジン」にインスパイアされた、自然言語における因果推論という新たなNLPタスクを提案する。
  論文  参考訳（メタデータ） (2023-12-07T15:12:12Z)
• Neuro-Symbolic Integration Brings Causal and Reliable Reasoning Proofs [95.07757789781213]
  LLMの複雑な推論には2行のアプローチが採用されている。 1行の作業は様々な推論構造を持つLLMを誘導し、構造出力は自然に中間推論ステップと見なすことができる。 他方の行では、LCMのない宣言的解法を用いて推論処理を行い、推論精度は向上するが、解法のブラックボックスの性質により解釈性に欠ける。 具体的には,Prologインタプリタが生成した中間検索ログにアクセスし,人間可読推論に解釈可能であることを示す。
  論文  参考訳（メタデータ） (2023-11-16T11:26:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。