論文の概要: PRISM: Probing Reasoning, Instruction, and Source Memory in LLM Hallucinations

• arxiv url: http://arxiv.org/abs/2604.16909v2
• Date: Sun, 26 Apr 2026 13:12:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-28 17:12:06.865757
• Title: PRISM: Probing Reasoning, Instruction, and Source Memory in LLM Hallucinations
• Title（参考訳）: PRISM: LLM幻覚における推論、指導、ソースメモリの探索
• Authors: Yuhe Wu, Guangyu Wang, Yuran Chen, Jiatong Zhang, Yutong Zhang, Yujie Chen, Jiaming Shang, Guang Zhang, Zhuang Liu,
• Abstract要約: PRISMは、大規模言語モデル(LLM)における幻覚のベンチマークである 幻覚は、知識の欠如、知識の誤り、推論の誤り、命令追従の誤りの4つの次元に分かれ、世代(記憶、命令、推論)の3段階に根ざしている。 PRISMは65タスクにわたる9,448のインスタンスを含み、きめ細かいステージ認識診断評価をサポートする。
• 参考スコア（独自算出の注目度）: 17.40617534611707
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As large language models (LLMs) evolve from conversational assistants into agents capable of handling complex tasks, they are increasingly deployed in high-risk domains. However, existing benchmarks largely rely on mixed queries and posterior evaluation, output-level scoring, which quantifies hallucination severity but offers limited insight into where and why hallucinations arise in the generation pipeline. We therefore reformulate hallucination evaluation as a diagnostic problem and propose PRISM, a controlled benchmark that disentangles hallucinations into four dimensions: knowledge missing, knowledge errors, reasoning errors, and instruction-following errors, grounded in three stages of generation (memory, instruction, and reasoning). PRISM contains 9,448 instances across 65 tasks and supports fine-grained, stage-aware diagnostic evaluation. Evaluating 24 mainstream open-source and proprietary LLMs, we uncover consistent trade-offs across instruction following, memory retrieval, and logical reasoning, showing that mitigation strategies often improve specific dimensions at the expense of others. We hope PRISM provides a framework for understanding the specific mechanisms behind LLMs hallucinations, ultimately accelerating the development of trustworthy large language models.
• Abstract（参考訳）: 大規模言語モデル(LLM)が対話型アシスタントから複雑なタスクを扱うエージェントへと進化するにつれて、リスクの高いドメインにますますデプロイされる。 しかし、既存のベンチマークは、混合クエリと後続評価、出力レベルのスコアリングに大きく依存している。 そこで我々は,幻覚評価を診断問題として再検討し,知識不足,知識エラー,推論エラー,命令追従エラーの4つの次元に絞った制御ベンチマークであるPRISMを提案する。 PRISMは65タスクにわたる9,448のインスタンスを含み、きめ細かいステージ認識診断評価をサポートする。 24 つの主要なオープンソースおよびプロプライエタリ LLM の評価を行い,命令追従,メモリ検索,論理的推論といった一貫したトレードオフを明らかにする。 PRISMは、LLMの幻覚の背後にある特定のメカニズムを理解するためのフレームワークを提供し、最終的には信頼性の高い大規模言語モデルの開発を加速することを期待しています。

関連論文リスト

• HalluGuard: Demystifying Data-Driven and Reasoning-Driven Hallucinations in LLMs [20.59139155257836]
  データ駆動および推論駆動コンポーネントに幻覚リスクを分解する統合理論フレームワークを導入する。 本稿では,NTKをベースとしたHaluGuardについて紹介する。このスコアはNTKのジオメトリとキャプチャー表現を利用して,データ駆動および推論駆動の幻覚を共同で同定する。
  論文  参考訳（メタデータ） (2026-01-26T18:23:09Z)
• A Systematic Literature Review of Code Hallucinations in LLMs: Characterization, Mitigation Methods, Challenges, and Future Directions for Reliable AI [54.34738767990601]
  大規模言語モデルがソフトウェアエンジニアリングタスクに統合されるにつれ、コードの幻覚の理解と緩和が不可欠になる。 コード指向LLMにおける幻覚現象を4つの重要な観点から体系的に検討する。
  論文  参考訳（メタデータ） (2025-11-02T02:58:41Z)
• Large Language Models Hallucination: A Comprehensive Survey [3.8100688074986095]
  大規模言語モデル(LLM)は自然言語処理を変革し、様々なタスクで優れたパフォーマンスを実現している。 派手な派手さは、しばしば幻覚(幻覚)として知られる偽情報や偽情報を生み出すコストが伴う。 この調査は、LSMにおける幻覚の研究を包括的にレビューし、原因、検出、緩和に焦点を当てている。
  論文  参考訳（メタデータ） (2025-10-05T20:26:38Z)
• MIRAGE-Bench: LLM Agent is Hallucinating and Where to Find Them [52.764019220214344]
  幻覚は、大きな言語モデル(LLM)ベースのエージェントに重大なリスクをもたらす。 MIRAGE-Benchは対話型環境における幻覚の抽出と評価のための最初の統一ベンチマークである。
  論文  参考訳（メタデータ） (2025-07-28T17:38:29Z)
• MIRAGE: Assessing Hallucination in Multimodal Reasoning Chains of MLLM [58.2298313720146]
  マルチモーダル幻覚は多源性であり、様々な原因から生じる。 既存のベンチマークでは、知覚誘発幻覚と推論誘発幻覚を適切に区別することができない。
  論文  参考訳（メタデータ） (2025-05-30T05:54:36Z)
• Combating Multimodal LLM Hallucination via Bottom-Up Holistic Reasoning [151.4060202671114]
  マルチモーダル大規模言語モデル(MLLM)は、視覚言語タスクを前進させる前例のない能力を示した。 本稿では,MLLMにおける幻覚に対処するためのボトムアップ推論フレームワークを提案する。 本フレームワークは、認識レベル情報と認知レベルコモンセンス知識を検証・統合することにより、視覚とテキストの両方の入力における潜在的な問題に体系的に対処する。
  論文  参考訳（メタデータ） (2024-12-15T09:10:46Z)
• Drowzee: Metamorphic Testing for Fact-Conflicting Hallucination Detection in Large Language Models [11.138489774712163]
  我々は、FCH(Fact-Conflicting Hallucinations)の検出のためのメタモルフィックテストを強化するために、論理プログラミングを活用する革新的なアプローチを提案する。 テストケースを生成し,9つのドメインにまたがる6つの異なる大言語モデルに対して幻覚を検知し,24.7%から59.8%の比率を示した。
  論文  参考訳（メタデータ） (2024-05-01T17:24:42Z)
• KnowHalu: Hallucination Detection via Multi-Form Knowledge Based Factual Checking [55.2155025063668]
  KnowHaluは、大規模言語モデル(LLM)によって生成されたテキスト中の幻覚を検出する新しいアプローチである ステップワイズ推論、マルチフォームクエリ、ファクトチェックのためのマルチフォーム知識、フュージョンベースの検出メカニズムを使用する。 評価の結果,KnowHaluは様々なタスクにおける幻覚検出においてSOTAベースラインを著しく上回っていることがわかった。
  論文  参考訳（メタデータ） (2024-04-03T02:52:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。