論文の概要: Detecting Errors in Large Language Model Responses: The Incremental Predictive Value of Hidden States

• arxiv url: http://arxiv.org/abs/2610.27455v1
• Date: Tue, 20 Oct 2026 01:12:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.576772
• Title: Detecting Errors in Large Language Model Responses: The Incremental Predictive Value of Hidden States
• Title（参考訳）: 大規模言語モデル応答における誤り検出:隠れ状態の漸進的予測値
• Abstract要約: 内部状態はしばしば幻覚検出のためのよりリッチな信号を提供すると期待されている。 推定時に出力側情報を統合ベースラインに統合する。 実験は、オープンエンド世代と制約付き多重選択タスクをカバーする。
• 参考スコア（独自算出の注目度）: 8.300623016203025
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Although large language models support a wide range of tasks, hallucinations remain a major obstacle to user trust. When a model generates an answer, both its internal processing and final output vary with the question. Internal states are often expected to offer richer signals for hallucination detection. However, studies using these states typically report their standalone discrimination performance, while output-side comparisons often use simple baselines with weaker modeling capacity. We integrate output-side information available at inference time into a combined baseline and compare detection performance before and after adding hidden states under identical data splits and evaluation rules. Experiments cover open-ended generation and constrained multiple-choice tasks across different models. Adding hidden states improves AUROC by approximately 0.004 and 0.039 on the two tasks, respectively. Hidden states thus provide additional predictive information, but strong standalone detection performance can still yield only limited additional gains.
• Abstract（参考訳）: 大きな言語モデルは幅広いタスクをサポートするが、幻覚はユーザ信頼の大きな障害である。 モデルが解を生成すると、その内部処理と最終的な出力は問合せによって異なる。 内部状態はしばしば幻覚検出のためのよりリッチな信号を提供すると期待されている。 しかしながら、これらの状態を用いた研究は通常、独立した識別性能を報告し、出力側の比較では、モデリング能力の弱い単純なベースラインを使用することが多い。 我々は,推定時に利用可能な出力側情報を統合ベースラインに統合し,同一データ分割と評価規則に基づく隠れ状態の追加前後の検出性能を比較する。 実験では、異なるモデルにわたるオープンエンド生成と制約付き多重選択タスクをカバーしている。 隠れ状態を追加することで、AUROCは2つのタスクでそれぞれ0.004と0.039に改善される。 隠れた状態は追加の予測情報を提供するが、強力なスタンドアロン検出性能は依然として限られた利得しか得られない。

関連論文リスト

• PARALLAX: Separating Genuine Hallucination Detection from Benchmark Construction Artifacts [12.088141798203367]
  大型言語モデル(LLM)は自信を持って幻覚する。 内部モデル状態からそれを検出することは、デプロイをより安全にするための道を提供する。 広範に使用されているベンチマークにおける高検出性能を実現するための最近の手法 この明らかな進歩の多くは、精査が生き残らないことを示している。
  論文  参考訳（メタデータ） (2026-05-16T14:57:15Z)
• Learning Uncertainty from Sequential Internal Dispersion in Large Language Models [52.29267172760918]
  不確実性推定は、大規模言語モデルにおける幻覚を検出するための有望なアプローチである。 最近の手法は一般に不確実性を推定するために内部状態のモデルに依存する。 本稿では,教師付き幻覚検出フレームワークであるシークエンシャル内部変数表現(SIVR)を提案する。
  論文  参考訳（メタデータ） (2026-04-17T06:31:29Z)
• Same Answer, Different Representations: Hidden instability in VLMs [65.36933543377346]
  本稿では,内部埋め込みドリフト,スペクトル感度,構造的滑らかさを計測する表現認識・周波数認識評価フレームワークを提案する。 このフレームワークを,SEEDBench,MMMU,POPEデータセットを対象とする最新のビジョン言語モデル(VLM)に適用する。
  論文  参考訳（メタデータ） (2026-02-06T12:24:26Z)
• Measuring the Impact of Lexical Training Data Coverage on Hallucination Detection in Large Language Models [26.89705770151822]
  大規模言語モデル(LLM)における幻覚は、特にオープンドメインの質問応答において、根本的な課題である。 これまでの研究は、トークンレベルのエントロピーや生成一貫性といったモデル内部信号による幻覚の検出を試みた。 本研究では,データカバレッジ自体が検出信号として機能するかどうかを検討する。
  論文  参考訳（メタデータ） (2025-11-22T06:59:55Z)
• Toward Better Generalisation in Uncertainty Estimators: Leveraging Data-Agnostic Features [1.03590082373586]
  データに依存しない特徴と隠れ状態の特徴を組み合わせることで、ドメイン外性能が向上するかどうかを検討する。 実験結果から,データに依存しない機能の導入は一般的に一般化性能を高めるが,特定のシナリオでは性能が低下することが示唆された。 より詳細な分析では、訓練されたプローブが隠れ状態の特徴に対してデータに依存しない特徴を過小評価している場合があり、これが結果が決定できない主な理由であると考えている。
  論文  参考訳（メタデータ） (2025-07-05T10:55:36Z)
• InnerThoughts: Disentangling Representations and Predictions in Large Language Models [20.39568933276831]
  我々は、トレーニング質問の集合に基づいて、小さな独立したニューラルネットワーク予測モジュールを学習することを提案する。 実際、そのようなフレームワークは、LLMの表現能力を予測能力から切り離す。
  論文  参考訳（メタデータ） (2025-01-29T21:01:44Z)
• VALOR-EVAL: Holistic Coverage and Faithfulness Evaluation of Large Vision-Language Models [57.43276586087863]
  LVLM(Large Vision-Language Models)は幻覚に悩まされ、このモデルでは可聴音を発生させるが、実際には誤出力を発生させる。 既存のベンチマークはスコープに限られており、主にオブジェクト幻覚に焦点を当てている。 対象,属性,関係を多次元のベンチマークで表現し,連想バイアスに基づいて画像を選択する。
  論文  参考訳（メタデータ） (2024-04-22T04:49:22Z)
• mFACE: Multilingual Summarization with Factual Consistency Evaluation [79.60172087719356]
  抽象的な要約は、事前訓練された言語モデルと大規模データセットの可用性のおかげで、近年で新たな関心を集めている。 有望な結果にもかかわらず、現在のモデルはいまだに現実的に矛盾した要約を生み出すことに苦しむ。 事実整合性評価モデルを利用して、多言語要約を改善する。
  論文  参考訳（メタデータ） (2022-12-20T19:52:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。