論文の概要: Generating Effective CoT Traces for Mitigating Causal Hallucination

• arxiv url: http://arxiv.org/abs/2604.12748v1
• Date: Tue, 14 Apr 2026 13:59:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-15 19:11:32.473948
• Title: Generating Effective CoT Traces for Mitigating Causal Hallucination
• Title（参考訳）: 因果幻覚の緩和に有効なCoTトレーサの生成
• Authors: Yiheng Zhao, Jun Yan,
• Abstract要約: 我々は、因果幻覚を定量化するための新しい指標である因果幻覚率(CHR)を導入する。 実験の結果, パイプラインで生成したCoTトレースの微調整により, より小さなLSMにおける因果幻覚が著しく減少することがわかった。 微調整されたモデルは、強いクロスデータセットとクロスディフルトな一般化と、誤った介入プロンプトの下での堅牢性を示す。
• 参考スコア（独自算出の注目度）: 2.717238726061231
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Although large language models (LLMs) excel in complex reasoning tasks, they suffer from severe causal hallucination in event causality identification (ECI), particularly in smaller models ($\leq$1.5B parameters). A promising approach to address this issue is to fine-tune them with Chain-of-Thought (CoT) traces. However, there is currently a lack of CoT trace dataset available for ECI. In this paper, we first investigate the essential criteria that effective CoT traces should possess to mitigate causal hallucination in smaller models. We then design a pipeline to generate CoT traces that meet these criteria. Moreover, since there is currently no metric for quantifying causal hallucination, we also introduce a new metric, the Causal Hallucination Rate (CHR), to quantify causal hallucination, guide the formulation of effective CoT trace criteria, and validate the effectiveness of our pipeline. Our experiments show that fine-tuning with the CoT traces generated by our pipeline not only substantially reduces causal hallucination in smaller LLMs but also improves mean accuracy. Moreover, the fine-tuned models exhibit strong cross-dataset and cross-difficulty generalization, as well as robustness under misleading intervention prompts.
• Abstract（参考訳）: 大きな言語モデル(LLM)は複雑な推論タスクでは優れているが、イベント因果同定(ECI)では深刻な因果幻覚に悩まされる。 この問題を解決するための有望なアプローチは、それらをChain-of-Thought(CoT)トレースで微調整することだ。 しかし、現在、ECIで利用可能なCoTトレースデータセットが不足している。 本稿では,より小さなモデルにおける因果幻覚を緩和するために有効なCoTトレースが持つべき必須基準について検討する。 次に、これらの基準を満たすCoTトレースを生成するパイプラインを設計します。 さらに, 因果性幻覚の定量化基準が存在しないため, 因果性幻覚の定量化, 効果的なCoTトレース基準の定式化, パイプラインの有効性を検証するための新しい指標である因果性幻覚率 (CHR) も導入した。 実験の結果, パイプラインが生成するCoTトレースの微調整は, より小さなLLMにおける因果幻覚を著しく低減するだけでなく, 平均精度も向上することがわかった。 さらに、微調整されたモデルでは、強いクロスデータセットとクロスディフルトな一般化と、誤った介入プロンプトの下でのロバスト性が示される。

関連論文リスト

• Bypassing the Rationale: Causal Auditing of Implicit Reasoning in Language Models [0.0]
  思考の連鎖(CoT)の促進は推論補助として広く用いられ、しばしば透明性のメカニズムとして扱われる。 アクティベーションパッチによるCoT忠実度に関する因果的,階層的な監査を導入する。 私たちは、CoT特有の影響は、通常、狭い「推論窓」に奥行き局所化されていることに気付きました。
  論文  参考訳（メタデータ） (2026-02-03T20:27:49Z)
• Seeing Through the Chain: Mitigate Hallucination in Multimodal Reasoning Models via CoT Compression and Contrastive Preference Optimization [78.94590726578014]
  マルチモーダル推論モデル (Multimodal reasoning model, MLRM) は幻覚の傾向が強く, 効果的な解はいまだ未発見のままである。 textbfCompression と textbfPreference textbfOptimization を組み合わせたトレーニングベースの緩和フレームワーク C3PO を提案する。
  論文  参考訳（メタデータ） (2026-02-03T11:00:55Z)
• Reducing Hallucinations in Summarization via Reinforcement Learning with Entity Hallucination Index [2.2427832125073737]
  Entity Hallucination Index(EHI)の最適化のために、報酬駆動の微調整フレームワークを導入する。 EHI(英: EHI)は、生成された要約における名前の実体の存在、正しさ、根拠を定量化するために設計された計量である。 弊社のアプローチは、人書きの事実性アノテーションに頼らず、スケーラブルな微調整を可能にする。
  論文  参考訳（メタデータ） (2025-07-30T15:00:00Z)
• Hallucination Detection in LLMs with Topological Divergence on Attention Graphs [60.83579255387347]
  幻覚(Halucination)、すなわち、事実的に誤ったコンテンツを生成することは、大きな言語モデルにとって重要な課題である。 本稿では,TOHA (Topology-based HAllucination detector) をRAG設定に導入する。
  論文  参考訳（メタデータ） (2025-04-14T10:06:27Z)
• When More is Less: Understanding Chain-of-Thought Length in LLMs [51.631483479081645]
  大規模言語モデル(LLM)は複雑な問題を分解するためにChain-of-Thought(CoT)推論を用いる。 本稿は、長いCoTがより優れていると仮定されることがしばしばあり、長いCoTが常に優れているとは限らない、と論じる。
  論文  参考訳（メタデータ） (2025-02-11T05:28:59Z)
• Focus on Your Question! Interpreting and Mitigating Toxic CoT Problems in Commonsense Reasoning [21.951313919964484]
  大規模言語モデルは高レベルのコモンセンス推論能力を示す。 CoTライクな手法は、もともとは正しい答えが間違っていた、というかなりの数に繋がる。 帰属的追跡法と因果的追跡法を用いて,モデルの内部動作機構を探索する。
  論文  参考訳（メタデータ） (2024-02-28T14:09:02Z)
• Mutual Information Alleviates Hallucinations in Abstractive Summarization [73.48162198041884]
  モデルが生成中の幻覚コンテンツにより多くの確率を割り当てる可能性が著しく高いという単純な基準を見いだす。 この発見は幻覚の潜在的な説明を提供する:モデルは、継続について不確実な場合には、高い限界確率のテキストを好むことをデフォルトとする。 そこで本研究では,ターゲットトークンの正当性ではなく,ソースとターゲットトークンのポイントワイドな相互情報の最適化に切り替える復号手法を提案する。
  論文  参考訳（メタデータ） (2022-10-24T13:30:54Z)
• Detecting Hallucinated Content in Conditional Neural Sequence Generation [165.68948078624499]
  出力シーケンスの各トークンが(入力に含まれていない)幻覚化されているかどうかを予測するタスクを提案する。 また、合成データに微調整された事前学習言語モデルを用いて幻覚を検出する方法についても紹介する。
  論文  参考訳（メタデータ） (2020-11-05T00:18:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。