論文の概要: Mitigating Prompt-Induced Hallucinations in Large Language Models via Structured Reasoning
- arxiv url: http://arxiv.org/abs/2601.02739v1
- Date: Tue, 06 Jan 2026 06:02:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-07 17:02:12.822957
- Title: Mitigating Prompt-Induced Hallucinations in Large Language Models via Structured Reasoning
- Title(参考訳): 構造化推論による大規模言語モデルにおけるプロンプト誘発幻覚の緩和
- Authors: Jinbo Hao, Kai Yang, Qingzhen Su, Yang Chen, Yifan Li, Chao Jiang,
- Abstract要約: 我々は、知識グラフ探索をガイドするコードモジュールを導入し、思考の連鎖のプロンプトの一部としてコードを組み込む。
複数の公開データセット上でGPT-4とLLaMA-3.3を用いて提案手法を実験的に評価した。
- 参考スコア(独自算出の注目度): 11.278137554160383
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: To address hallucination issues in large language models (LLMs), this paper proposes a method for mitigating prompt-induced hallucinations. Building on a knowledge distillation chain-style model, we introduce a code module to guide knowledge-graph exploration and incorporate code as part of the chain-of-thought prompt, forming an external knowledge input that provides more accurate and structured information to the model. Based on this design, we develop an improved knowledge distillation chain-style model and leverage it to analyze and constrain the reasoning process of LLMs, thereby improving inference accuracy. We empirically evaluate the proposed approach using GPT-4 and LLaMA-3.3 on multiple public datasets. Experimental results demonstrate that incorporating code modules significantly enhances the model's ability to capture contextual information and effectively mitigates prompt-induced hallucinations. Specifically, HIT@1, HIT@3, and HIT@5 improve by 15.64%, 13.38%, and 13.28%, respectively. Moreover, the proposed method achieves HIT@1, HIT@3, and HIT@5 scores exceeding 95% across several evaluation settings. These results indicate that the proposed approach substantially reduces hallucination behavior while improving the accuracy and verifiability of large language models.
- Abstract(参考訳): 大規模言語モデル(LLM)における幻覚問題に対処するため,本研究では,刺激による幻覚を緩和する手法を提案する。
知識蒸留チェーンスタイルのモデルに基づいて,我々は知識グラフ探索をガイドするコードモジュールを導入し,思考の連鎖のプロンプトの一部としてコードを導入し,モデルにより正確で構造化された情報を提供する外部知識インプットを形成する。
本設計に基づき, 知識蒸留チェーン型モデルを開発し, LLMの推論過程を分析し, 制約し, 推論精度を向上する。
複数の公開データセット上でGPT-4とLLaMA-3.3を用いて提案手法を実験的に評価した。
実験結果から,コードモジュールを組み込むことで,文脈情報を捕捉し,刺激による幻覚を効果的に緩和できる可能性が示唆された。
具体的には、HIT@1、HIT@3、HIT@5がそれぞれ15.64%、13.38%、13.28%改善している。
さらに,HIT@1,HIT@3,HIT@5のスコアが,複数の評価設定で95%を超える結果を得た。
提案手法は,大規模言語モデルの精度と妥当性を改善しつつ,幻覚行動を大幅に低減することを示す。
関連論文リスト
- When Punctuation Matters: A Large-Scale Comparison of Prompt Robustness Methods for LLMs [55.20230501807337]
本報告では, 統一実験フレームワーク内での迅速なロバスト性向上のための5つの手法の体系的評価を行う。
Llama、Qwen、Gemmaファミリーの8つのモデルに対して、Natural Instructionsデータセットから52のタスクをベンチマークする。
論文 参考訳(メタデータ) (2025-08-15T10:32:50Z) - Phi-4-reasoning Technical Report [42.508165017775]
Phi-4-reasoningは14ビリオンのパラメータ推論モデルであり、複雑な推論タスクにおいて高い性能を実現する。
我々はPhi-4-reasoning-plusを開発した。
どちらのモデルもDeepSeek-R1-Distill-Llama-70Bモデルのような大きなオープンウェイトモデルよりも優れており、完全なDeepSeek-R1モデルのパフォーマンスレベルに近づいている。
論文 参考訳(メタデータ) (2025-04-30T05:05:09Z) - HuDEx: Integrating Hallucination Detection and Explainability for Enhancing the Reliability of LLM responses [0.12499537119440242]
本稿では,HuDExと命名された幻覚検出モデルについて説明する。
提案モデルでは,検出を説明と統合する新たなアプローチを提供し,ユーザとLLM自体がエラーを理解し,低減することができる。
論文 参考訳(メタデータ) (2025-02-12T04:17:02Z) - Iter-AHMCL: Alleviate Hallucination for Large Language Model via Iterative Model-level Contrastive Learning [16.883679810267342]
幻覚に対処するための反復モデルレベルのコントラスト学習(Iter-AHMCL)
本稿では,幻覚に対処するイテレーティブモデルレベルのコントラスト学習(Iter-AHMCL)を提案する。
論文 参考訳(メタデータ) (2024-10-16T00:15:40Z) - Can Structured Data Reduce Epistemic Uncertainty? [0.0]
モデルでは、逐次分類タスクにおいて、より優れた性能で下流タスクをより高い速度で学習できることが示される。
オントロジーアライメントの過程においてサブエミッションマッピングがどのようにして取得されたかを示すために、我々の研究を拡張し、大規模言語モデルにおける検索・拡張生成を強化するのに役立ちます。
論文 参考訳(メタデータ) (2024-10-14T23:38:51Z) - Learning to Refine with Fine-Grained Natural Language Feedback [81.70313509881315]
我々は,3つの異なるLLM能力の構成要素として,フィードバックによる洗練を検討することを提案する。
提案手法の鍵となる特性は,ステップ2の批判モデルがエラーに対してきめ細かいフィードバックを与えることができる点である。
文書基盤要約の事実整合性を改善する作業において,異なる機能モデルがDCRによる精細化の恩恵を受けることを示す。
論文 参考訳(メタデータ) (2024-07-02T16:15:01Z) - Masked Thought: Simply Masking Partial Reasoning Steps Can Improve Mathematical Reasoning Learning of Language Models [102.72940700598055]
推論タスクでは、小さなエラーでも不正確な結果にカスケードすることができる。
入力の摂動に頼らず、外部リソースの導入を避ける手法を開発した。
私たちのトレーニングアプローチでは、思考の連鎖の中で特定のトークンをランダムにマスクします。
論文 参考訳(メタデータ) (2024-03-04T16:21:54Z) - Silkie: Preference Distillation for Large Visual Language Models [56.10697821410489]
本稿では,大型視覚言語モデル(LVLM)の嗜好蒸留について検討する。
まず,AIアノテーションを用いた視覚言語フィードバックデータセットを構築した。
我々は, GPT-4V を用いて, 有用性, 視覚的忠実性, 倫理的考察のアウトプットを評価する。
結果として得られたモデルSilkieは、認知能力と認知能力に関するMMEベンチマークで6.9%と9.5%の相対的な改善を達成している。
論文 参考訳(メタデータ) (2023-12-17T09:44:27Z) - A Stitch in Time Saves Nine: Detecting and Mitigating Hallucinations of
LLMs by Validating Low-Confidence Generation [76.34411067299331]
大規模な言語モデルは、しばしば信頼性を著しく損なう「ハロシン化」する傾向がある。
生成過程における幻覚を積極的に検出・緩和する手法を提案する。
提案手法は, GPT-3.5モデルの幻覚を平均47.5%から14.5%に低減する。
論文 参考訳(メタデータ) (2023-07-08T14:25:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。