論文の概要: PARALLAX: Separating Genuine Hallucination Detection from Benchmark Construction Artifacts

• arxiv url: http://arxiv.org/abs/2605.17028v1
• Date: Sat, 16 May 2026 14:57:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-19 17:57:47.498865
• Title: PARALLAX: Separating Genuine Hallucination Detection from Benchmark Construction Artifacts
• Title（参考訳）: PARALLAX: ベンチマーク構築アーティファクトからの遺伝子幻覚検出の分離
• Abstract要約: 大型言語モデル(LLM)は自信を持って幻覚する。 内部モデル状態からそれを検出することは、デプロイをより安全にするための道を提供する。 広範に使用されているベンチマークにおける高検出性能を実現するための最近の手法 この明らかな進歩の多くは、精査が生き残らないことを示している。
• 参考スコア（独自算出の注目度）: 12.088141798203367
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) hallucinate with confidence: their outputs can be fluent, authoritative, and simply wrong. In medical, legal, and scientific applications this failure causes direct harm, and detecting it from internal model states offers a path to safer deployment. A growing body of work reports that this problem is increasingly tractable, with recent methods achieving high detection performance on widely used benchmarks. We show, however, that much of this apparent progress does not survive scrutiny. Four of the six corpora embed the ground-truth answer directly in the input prompt. A naïve text-similarity baseline we call \textsc{TxTemb} exploits this to achieve near-perfect detection scores without any access to model internals. To measure what genuine detection capability remains once these artifacts are controlled, we conduct a large-scale evaluation spanning twenty-two detection methods, twelve open-source models spanning six architectural families, and six corpora. We further introduce \textbf{DRIFT}, a supervised probe over inter-layer hidden-state transitions, as a point of comparison for live-generation detection. Our findings suggest that the field's reported progress on hallucination detection is substantially explained by benchmark construction artifacts in widely used corpora, and that the majority of established baselines perform near chance under controlled conditions; the consistent exceptions are SAPLMA and DRIFT, both supervised probes on upper-layer hidden states.
• Abstract（参考訳）: 大規模言語モデル(LLM)は自信をもって幻覚する。 医学、法学、科学の応用において、この障害は直接的な害を引き起こし、内部モデル状態からそれを検出することは、より安全な配置への道を提供する。 最近の手法では、広く使用されているベンチマークで高い検出性能を達成することができる。 しかし、この明らかな進歩の多くは、精査を生き残らないことを示している。 6つのコーパスのうち4つは、入力プロンプトに直接接地真実の答えを埋め込む。 ネーブテキスト類似性ベースラインを \textsc{TxTemb} と呼び、モデル内部にアクセスすることなくほぼ完璧な検出スコアを達成する。 これらのアーティファクトが制御されると、真の検出能力が残っているかを測定するため、我々は、22の検出方法、12のオープンソースモデル、6つのアーキテクチャーファミリ、6つのコーパスを対象とする大規模な評価を行う。 さらに, 層間隠れ状態遷移に対する教師ありプローブである「textbf{DRIFT}」を, 生世代検出との比較点として紹介する。 本研究は,広範に使用されているコーパスのベンチマーク構築アーティファクトにより,フィールドの幻覚検出の進展が著しく説明され,既設のベースラインの大部分が制御条件下でほぼ実施されていることを示し,一貫した例外はSAPLMAとDRIFTであり,どちらも上位層隠れ状態の監視プローブである。

関連論文リスト

• Actionable Hallucination Detection: Translating Latent Uncertainty into Agentic Critique [1.1172382217477128]
  AIエージェントとしてデプロイされるLarge Language Models (LLM)は、しばしばユーザ仕様のグラウンド障害を示す。 既存の検出方法は、幻覚をローカライズしないか、禁忌の推論遅延を発生しないため、実行可能でリアルタイムな修正を提供することができない。 フリーズベースLCM世代と並行して動作する軽量低ランクアダプタ(LoRA)であるLatent Criticを導入する。
  論文  参考訳（メタデータ） (2026-08-11T03:26:16Z)
• From Signals to Transfer: A Factorised Study of Probe-Based Uncertainty Estimation in Large Language Models [51.470637128942336]
  本稿では, 一致する条件下でのプローブベース不確実性推定(UE)について, 因子分析を行った。 この結果から,隠れ状態や注目特徴がドメイン内よりも優れていることが示唆された。 我々は、オープンエンドの事実生成に対して合理的に伝達するベンチマークベースの事前訓練プローブを訓練する。
  論文  参考訳（メタデータ） (2026-06-26T03:23:15Z)
• "Did you lie?" Evaluating Lie Detectors across Model Scale and Belief-Verified Model Organisms [2.3883252067956118]
  既存の訓練されたモデル生物は、しばしばテストベッドに失敗する。 隠された信念が思考の連鎖で検証される13の推論モデル生物でこの問題に対処する。 2Bから1Tパラメータにまたがる31のオープンウェイトモデルに対して、すべての4つの検出器はモデル能力で正のスケーリングを示す。
  論文  参考訳（メタデータ） (2026-06-10T19:21:12Z)
• Beyond Final Answers: Auditing Trajectory-Level Hallucinations in Multi-Agent Industrial Workflows [1.6048497142263283]
  Trajelは、マルチエージェントエージェントにおける軌道レベルの幻覚を監査するためのデータセットおよび評価フレームワークである。 我々は,サブタスク,トラジェクトリ,長文レベルの教師付き検出モデルをベンチマークした。 軌道認識検出は、標準的なポストホック検証よりも大幅に優れている。
  論文  参考訳（メタデータ） (2026-05-22T21:05:10Z)
• Sanity Checks for Long-Form Hallucination Detection [6.501493411588847]
  大規模言語モデルに対する幻覚検出法は、連鎖的推論トレースで機能するが、それらが推論自体を評価するか、あるいは最終回答の表面相関を単に活用するかは定かではない。 提案手法では,各応答の最終回答を基本的真理に置き換えるtextscForce と,軌道を無傷で残しながら回答発表ステップを除去する textscRemove という2つのオラクルテストを通じて,この区別を明らかにする制御不変性手法を導入する。 このことは、彼らの予測力が構造からではなく、答えレベルの成果物に由来するかどうかを明らかにする
  論文  参考訳（メタデータ） (2026-05-08T18:00:58Z)
• ExposeAnyone: Personalized Audio-to-Expression Diffusion Models Are Robust Zero-Shot Face Forgery Detectors [58.45131932883374]
  ビデオ中のディープフェイクを検出するための完全自己教師型アプローチを提案する。 本モデルでは,拡散再構成誤差を用いて,疑わしい映像とパーソナライズされた被写体との同一性距離を算出する。 本手法は, ボケや圧縮などの汚損に対して極めて堅牢であり, 現実の顔偽造検出への適用性を強調している。
  論文  参考訳（メタデータ） (2026-01-05T18:59:54Z)
• Sparse deepfake detection promotes better disentanglement [4.901409400999413]
  スパースディープフェイク検出は,ASVSpoof5テストセット上でのEERの23.36%で検出性能が95%向上することを示した。 次に,これらの表現が相互情報に基づく完全性およびモジュラリティの指標を用いて,より不整合性を示すことを示す。
  論文  参考訳（メタデータ） (2025-10-07T09:03:39Z)
• Why Speech Deepfake Detectors Won't Generalize: The Limits of Detection in an Open World [11.238970239267248]
  音声ディープフェイク検出器は、しばしばクリーンでベンチマークスタイルの条件で評価される。 しかしデプロイメントは、デバイスのシフト、サンプリング率、コーデック、環境、攻撃家族といったオープンな世界で発生します。 これにより、AIベースの検出器に対する"カバレッジ負債"が発生し、収集可能なデータよりも高速に成長するデータ盲点が生成される。
  論文  参考訳（メタデータ） (2025-09-23T20:27:04Z)
• Beyond Artificial Misalignment: Detecting and Grounding Semantic-Coordinated Multimodal Manipulations [56.816929931908824]
  マルチモーダルデータにおける意味的協調操作の検出の先駆者となった。 本稿では,RamDG(Retrieval-Augmented Manipulation Detection and Grounding)フレームワークを提案する。 我々のフレームワークは既存の手法よりも優れており、SAMMの精度は最先端の手法に比べて2.06%高い。
  論文  参考訳（メタデータ） (2025-09-16T04:18:48Z)
• Detecting High-Stakes Interactions with Activation Probes [10.421494494629421]
  そこで本論文では,対話が大きな害をもたらす可能性を示唆する「ハイテイク」相互作用を検出するためのアクティベーションプローブについて検討する。 我々は、合成データに基づいて訓練された複数のプローブアーキテクチャを評価し、それらが多種多様な分布外の実世界のデータに対して堅牢な一般化を示すことを発見した。 また,資源を意識した階層型モニタリングシステムの構築の可能性についても検討した。
  論文  参考訳（メタデータ） (2025-06-12T15:20:33Z)
• Unifying Unsupervised Graph-Level Anomaly Detection and Out-of-Distribution Detection: A Benchmark [73.58840254552656]
  近年,非教師付きグラフレベルの異常検出(GLAD)と教師なしグラフレベルのアウト・オブ・ディストリビューション(OOD)検出が注目されている。 教師なしアンダーラインtextbfGraphレベルアンダーラインtextbfOOD と anomaunderlinetextbfLy underlinetextbfDetection (ourmethod) に対するアンダーラインtextbfUnifiedアンダーラインtextbffBenchmark を提案する。 私たちのベンチマークには35のデータセットが含まれています
  論文  参考訳（メタデータ） (2024-06-21T04:07:43Z)
• DF40: Toward Next-Generation Deepfake Detection [62.073997142001424]
  既存の研究は、ある特定のデータセットで検出器をトレーニングし、他の一般的なディープフェイクデータセットでテストすることで、トップノーチ検出アルゴリズムとモデルを識別する。 しかし、これらの「勝者」は現実の世界に潜む無数の現実的で多様なディープフェイクに取り組むために真に応用できるのだろうか? 我々は,40の異なるディープフェイク技術からなるDF40という,高度に多様なディープフェイク検出データセットを構築した。
  論文  参考訳（メタデータ） (2024-06-19T12:35:02Z)
• A Comprehensive Library for Benchmarking Multi-class Visual Anomaly Detection [89.92916473403108]
  本稿では,新しい手法のモジュラーフレームワークであるADerの総合的な視覚異常検出ベンチマークを提案する。 このベンチマークには、産業ドメインと医療ドメインからの複数のデータセットが含まれており、15の最先端メソッドと9つの包括的なメトリクスを実装している。 我々は,異なる手法の長所と短所を客観的に明らかにし,多クラス視覚異常検出の課題と今後の方向性について考察する。
  論文  参考訳（メタデータ） (2024-06-05T13:40:07Z)
• A New Benchmark and Reverse Validation Method for Passage-level Hallucination Detection [63.56136319976554]
  大きな言語モデル(LLM)は幻覚を発生させ、ミッションクリティカルなタスクにデプロイすると大きなダメージを与える可能性がある。 本稿では,逆検証に基づく自己チェック手法を提案し,ゼロリソース方式で事実誤りを自動的に検出する。 提案手法と既存のゼロリソース検出手法を2つのデータセット上で実証的に評価した。
  論文  参考訳（メタデータ） (2023-10-10T10:14:59Z)
• SeeABLE: Soft Discrepancies and Bounded Contrastive Learning for Exposing Deepfakes [7.553507857251396]
  本研究では,検出問題を(一級)アウト・オブ・ディストリビューション検出タスクとして形式化する,SeeABLEと呼ばれる新しいディープフェイク検出器を提案する。 SeeABLEは、新しい回帰ベースの有界コントラスト損失を使用して、乱れた顔を事前定義されたプロトタイプにプッシュする。 我々のモデルは競合する最先端の検出器よりも高い性能を示しながら、高度に一般化能力を示す。
  論文  参考訳（メタデータ） (2022-11-21T09:38:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。