論文の概要: KDCM: Reducing Hallucination in LLMs through Explicit Reasoning Structures
- arxiv url: http://arxiv.org/abs/2601.04086v1
- Date: Wed, 07 Jan 2026 16:54:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-09 02:15:23.693108
- Title: KDCM: Reducing Hallucination in LLMs through Explicit Reasoning Structures
- Title(参考訳): KDCM:明示的推論構造によるLLMの幻覚の低減
- Authors: Jinbo Hao, Kai Yang, Qingzhen Su, Yifan Li, Chao Jiang,
- Abstract要約: 大規模言語モデル(LLM)におけるプロンプトによって引き起こされるエラーに焦点を当てたフレームワークを提案する。
本手法は,知識グラフ探索をガイドするプログラム可能なモジュールを組み込むことで,チェーン方式の知識蒸留手法を拡張した。
GPT-4とLLaMA-3.3を用いて,複数の公開ベンチマークに対する提案手法の評価を行った。
- 参考スコア(独自算出の注目度): 7.989815271850723
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: To mitigate hallucinations in large language models (LLMs), we propose a framework that focuses on errors induced by prompts. Our method extends a chain-style knowledge distillation approach by incorporating a programmable module that guides knowledge graph exploration. This module is embedded as executable code within the reasoning prompt, allowing the model to leverage external structured knowledge during inference. Based on this design, we develop an enhanced distillation-based reasoning framework that explicitly regulates intermediate reasoning steps, resulting in more reliable predictions. We evaluate the proposed approach on multiple public benchmarks using GPT-4 and LLaMA-3.3. Experimental results show that code-guided reasoning significantly improves contextual modeling and reduces prompt-induced hallucinations. Specifically, HIT@1, HIT@3, and HIT@5 increase by 15.64%, 13.38%, and 13.28%, respectively, with scores exceeding 95% across several evaluation settings. These findings indicate that the proposed method effectively constrains erroneous reasoning while improving both accuracy and interpretability.
- Abstract(参考訳): 大規模言語モデル(LLM)における幻覚を軽減するために,プロンプトによって引き起こされるエラーに焦点を当てたフレームワークを提案する。
本手法は,知識グラフ探索をガイドするプログラム可能なモジュールを組み込むことで,チェーン方式の知識蒸留手法を拡張した。
このモジュールは推論プロンプト内に実行可能なコードとして埋め込まれており、モデルが推論中に外部構造的知識を活用することができる。
この設計に基づいて,中間的推論ステップを明示的に規制し,より信頼性の高い予測を行う蒸留法に基づく推論フレームワークを開発した。
GPT-4とLLaMA-3.3を用いて,複数の公開ベンチマークに対する提案手法の評価を行った。
実験結果から,コード誘導推論は文脈モデリングを著しく改善し,刺激による幻覚を低減させることがわかった。
具体的には、HIT@1、HIT@3、HIT@5はそれぞれ15.64%、13.38%、13.28%増加し、いくつかの評価設定でスコアは95%を超えた。
これらの結果から,提案手法は誤り推論を効果的に抑制し,精度と解釈性の両方を改善した。
関連論文リスト
- Mitigating Prompt-Induced Hallucinations in Large Language Models via Structured Reasoning [11.278137554160383]
我々は、知識グラフ探索をガイドするコードモジュールを導入し、思考の連鎖のプロンプトの一部としてコードを組み込む。
複数の公開データセット上でGPT-4とLLaMA-3.3を用いて提案手法を実験的に評価した。
論文 参考訳(メタデータ) (2026-01-06T06:02:45Z) - When Punctuation Matters: A Large-Scale Comparison of Prompt Robustness Methods for LLMs [55.20230501807337]
本報告では, 統一実験フレームワーク内での迅速なロバスト性向上のための5つの手法の体系的評価を行う。
Llama、Qwen、Gemmaファミリーの8つのモデルに対して、Natural Instructionsデータセットから52のタスクをベンチマークする。
論文 参考訳(メタデータ) (2025-08-15T10:32:50Z) - ConciseHint: Boosting Efficient Reasoning via Continuous Concise Hints during Generation [74.37307916314407]
提案するフレームワークはConciseHintと呼ばれ,推論モデルが簡潔に話すことを継続的に奨励する。
DeepSeek-R1 および Qwen-3 シリーズを含む最先端の LRM 実験により,本手法が簡潔な推論を効果的に生成できることが実証された。
論文 参考訳(メタデータ) (2025-06-23T16:20:44Z) - CLATTER: Comprehensive Entailment Reasoning for Hallucination Detection [60.98964268961243]
我々は,系統的かつ包括的な推論プロセスを実行するためのモデルを導くことで,モデルがよりきめ細やかで正確な絞り込み決定を実行できることを提案する。
我々は,(i)クレームの分解,(ii)サブクレームの属性と包含分類,および(iii)集約分類から成る3段階の推論プロセスを定義し,そのような導出推論が実際に幻覚検出の改善をもたらすことを示す。
論文 参考訳(メタデータ) (2025-06-05T17:02:52Z) - Don't Think Longer, Think Wisely: Optimizing Thinking Dynamics for Large Reasoning Models [68.96619605651155]
大規模推論モデル(LRM)は、過度に考えることによって出力長を大幅に増加させる可能性がある。
モデル生成推論経路を異なる思考パターンに分割する動的最適化フレームワークを提案する。
提案手法は, 最大12%の精度向上を実現し, トークン使用量を約5,000から3,000に削減する。
論文 参考訳(メタデータ) (2025-05-27T20:59:29Z) - Structured Thinking Matters: Improving LLMs Generalization in Causal Inference Tasks [0.7988085110283119]
Corr2Cause のデータセットによる最近の結果は、最先端の LLM がランダムベースラインをわずかに上回っていることを示している。
我々は、構造化知識グラフを構築するためのモデルを導くことによって、その思考を構造化する能力を備えたモデルを提供する。
Qwen3-32Bモデル(推論モデル)を用いたCorr2Causeデータセットベンチマークのテストサブセットの実験は、標準的なダイレクトプロンプトメソッドよりも大幅に向上したことを示している。
論文 参考訳(メタデータ) (2025-05-23T15:37:40Z) - Phi-4-reasoning Technical Report [42.508165017775]
Phi-4-reasoningは14ビリオンのパラメータ推論モデルであり、複雑な推論タスクにおいて高い性能を実現する。
我々はPhi-4-reasoning-plusを開発した。
どちらのモデルもDeepSeek-R1-Distill-Llama-70Bモデルのような大きなオープンウェイトモデルよりも優れており、完全なDeepSeek-R1モデルのパフォーマンスレベルに近づいている。
論文 参考訳(メタデータ) (2025-04-30T05:05:09Z) - Effectively Controlling Reasoning Models through Thinking Intervention [41.38412282063417]
Reasoning-enhanced large language model (LLM) は、最終回答を生成する前に、中間推論ステップを明示的に生成する。
本稿では,LLMの内部推論プロセスを明示的に導くための新しいパラダイムであるThinking Interventionを提案する。
論文 参考訳(メタデータ) (2025-03-31T17:50:13Z) - Ladder-of-Thought: Using Knowledge as Steps to Elevate Stance Detection [73.31406286956535]
姿勢検出タスクにLadder-of-Thought(LoT)を導入する。
LoTは、小さなLMに高品質な外部知識を同化させ、生成した中間的論理を精査するように指示する。
実験では, 姿勢検出タスクにおけるCoTのGPT-3.5よりも16%改善し, 10%向上した。
論文 参考訳(メタデータ) (2023-08-31T14:31:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。