論文の概要: The Detectability Gap: Hidden Heterogeneity in Hallucination Detection Across Language Models

• arxiv url: http://arxiv.org/abs/2609.35860v1
• Date: Fri, 25 Sep 2026 17:12:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:46.867223
• Title: The Detectability Gap: Hidden Heterogeneity in Hallucination Detection Across Language Models
• Title（参考訳）: 言語モデル間の幻覚検出における隠れた不均一性
• Abstract要約: 回答合意による幻覚の分割は、高い合意(ゴースト)と低い合意(フリッカリング)の体制を明らかにする。 個々の拡散軌道を用いたより厳密なテストとクロスシード情報は、3つのLLaDAデータセットのすべてに非対称性を保持する。 ハードレジームは、モデル間での頻度が大きく異なり(16%$から77%$)、マッチしたプロンプトはモデル間のレジームを頻繁に変更する。
• 参考スコア（独自算出の注目度）: 4.0571268682981865
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sampling based consistency is widely used for hallucination detection, yet aggregate performance can conceal systematic differences in which errors are detectable. This work studies that heterogeneity across four language models and three factual question answering datasets. Partitioning hallucinations by answer agreement reveals high agreement (Ghost) and low agreement (Flickering) regimes with an apparent detectability gap of $0.35$ to $0.46$ AUC. Because the statistics used to define the regimes and measure this gap are strongly coupled ($|ρ|\approx0.94$ to $1.00$), the raw result is treated as a property of agreement based detection rather than independent evidence. After freezing regime assignments, lexical and semantic response dispersion preserve the asymmetry, with bootstrap $95\%$ intervals excluding zero in all $12$ model and dataset settings. A stricter test using individual diffusion trajectories and no cross seed information preserves the asymmetry across all three LLaDA datasets ($p<0.005$) and directionally across all three Dream datasets, with one reaching significance. The hard regime varies substantially in prevalence across models ($16\%$ to $77\%$), and matched prompts frequently change regimes between models. These findings show that aggregate detection metrics conceal persistent, model dependent heterogeneity in language model failures and motivate regime conditioned evaluation.
• Abstract（参考訳）: サンプリングベースの一貫性は幻覚検出に広く利用されているが、集約性能は、エラーが検出可能な系統的な違いを隠蔽することができる。 この研究は、4つの言語モデルと3つの事実質問応答データセットの異質性について研究する。 回答合意による幻覚の分割は、高い合意(ゴースト)と低い合意(フリッカリング)の体制を明らかにし、明らかな検出可能性のギャップは0.35$から0.46$AUCである。 このギャップを定義するために用いられる統計は(|ρ|\approx0.94$ to $1.00$)強く結合されているので、実際の結果は独立した証拠ではなく合意に基づく検出の特性として扱われる。 凍結状態の割り当ての後、語彙応答と意味応答の分散は非対称性を保ち、ブートストラップは12ドルモデルとデータセット設定でゼロを除く9,5\%の間隔を保った。 個々の拡散軌道を用いたより厳密なテストとクロスシード情報は、3つのLLaDAデータセットすべて(p<0.005$)と3つのドリームデータセットすべてに対して非対称性を保ち、1つの到達価値を持つ。 ハードレジームは、モデル間で大きな頻度($16\%から$7\%)で変化し、マッチしたプロンプトはモデル間のレジームを頻繁に変更する。 これらの結果から, 言語モデル故障の持続的, モデル依存的不均一性を隠蔽し, モチベーション条件付き評価を行うことが示唆された。

関連論文リスト

• Hallucination Neurons and Where to Find Them: An Investigation into the existence of Hallucination Neurons [0.0]
  本稿では,特徴相関,ブートストラップ安定性,スパース対密ランキングの不一致,介入ベースライン,データセット間評価を含む5段階の診断プロトコルを提案する。 この結果から, モデルとデータセットの双方で検出された複製が, 元のAUROCギャップを越えていることがわかった。 本研究は, 異常な予測構造が非特異性ニューロン選択と共存できることを示唆する。
  論文  参考訳（メタデータ） (2026-09-24T13:23:00Z)
• Not All Relations Are Equal: Relation-Balanced and Calibrated Graph Learning for Provenance-Based Intrusion Detection [69.06648810271712]
  本稿では,関係バランスの取れたグラフ学習を用いた教師なしフレームワークRECALについて述べる。 3つのDARPA E3データセットにおいて、RECALはF1スコアの99.99%、99.93%、99.99%を達成し、各データセットでそれぞれ0.88、0.82、0.42で最高のベースラインを上回っている。
  論文  参考訳（メタデータ） (2026-09-15T00:31:01Z)
• OmniJudge or OmniBias? Diagnosing Multimodal Judges through Balanced, Decoupled Lenses [15.379006872674106]
  D3-Omniは、微粒なマルチモーダル理解を診断するためのバランスのとれた、分離されたベンチマークである。 次元にわたって情報を漏らすような出力を再生成するのではなく、正の正の種子を固定し、負を導出する。 結果として得られるD3設計はデュアルバランスであり、負のサンプル不足とディメンション毎のラベルの不均衡を軽減するのに役立つ。
  論文  参考訳（メタデータ） (2026-08-25T07:18:35Z)
• UHP Detection: LVLMs have their Unique Hallucination Pattern in the Consistency Space [5.617711361190723]
  大規模視覚言語モデル(LVLM)は、強いマルチモーダル推論能力を示すが、幻覚の傾向が残る。 既存のブラックボックス幻覚検出手法は、単一整合度で不確実性を推定する。 我々は,幻覚を構造的不確実性パターンとしてモデル化する完全ブラックボックスフレームワークであるemphUnique Hallucination Pattern (UHP) Detectionを提案する。
  論文  参考訳（メタデータ） (2026-08-04T15:25:30Z)
• DeMTS: Denoising Trajectories as Multivariate Time Series for Hallucination Detection in Diffusion Language Models [59.414664850109155]
  拡散大言語モデル (D-LLM) はテキスト生成において有望なパラダイムとして登場してきた。 D-LLMは幻覚に弱いままであり、流動的な出力は事実的に誤った、またはサポートされていない内容を含む可能性がある。
  論文  参考訳（メタデータ） (2026-07-24T06:45:43Z)
• AttnDiff: Attention-based Differential Fingerprinting for Large Language Models [17.46604955122771]
  textscAttnDiffは本質的な情報収集行動を通じてモデルから指紋を抽出する。 textscAttnDiffは、制御されたセマンティックコンフリクトを誘発する最小限のプロンプトペアをプローブする。
  論文  参考訳（メタデータ） (2026-04-07T06:57:47Z)
• Unified Unsupervised Anomaly Detection via Matching Cost Filtering [113.43366521994396]
  教師なし異常検出(UAD)は、通常のトレーニングデータのみを用いて画像レベルの異常と画素レベルの異常を識別することを目的としている。 UADモデルの異常コスト量を補正するための汎用的なポストホック精錬フレームワークであるUnified Cost Filtering (UCF) を提案する。
  論文  参考訳（メタデータ） (2025-10-03T03:28:18Z)
• SAC3: Reliable Hallucination Detection in Black-Box Language Models via Semantic-aware Cross-check Consistency [11.056236593022978]
  幻覚検出は現代言語モデル(LM)の信頼性を理解するための重要なステップである 我々は,LMの自己整合性に基づく既存の検出手法を再検討し,(1)質問レベルと(2)モデルレベルの2種類の幻覚を明らかにする。 本稿では, 自己整合性チェックの原理に基づいて, セマンティック・アウェア・クロスチェック整合性(SAC3)という, サンプリングに基づく新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-11-03T06:32:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。