論文の概要: MedHal-Loc: Are "Explainable-by-Architecture" Medical Hallucination Detectors Faithful Localizers? A Localization Benchmark
- arxiv url: http://arxiv.org/abs/2606.21517v1
- Date: Fri, 19 Jun 2026 15:11:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-25 12:54:51.214914
- Title: MedHal-Loc: Are "Explainable-by-Architecture" Medical Hallucination Detectors Faithful Localizers? A Localization Benchmark
- Title(参考訳): MedHal-Loc: "Explainable-by-Architecture"医療幻覚検出器は忠実なローカライザか? : ローカライゼーションベンチマーク
- Abstract要約: MedHal-Locは、局所化忠実度のためのベンチマークとメトリクスである。
NLI-per-clause, consistency-per-sentence, and the dedicated span detector FAVA are all localize of chance。
- 参考スコア(独自算出の注目度): 3.738942365298833
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Detecting hallucinations in clinical text is increasingly framed as an explainability problem: systems should not merely flag an unreliable response but point to the offending span. Architectures built around knowledge-graph (KG) triple decomposition are marketed for exactly this auditability, yet their localization ability is typically assumed rather than measured. We introduce MedHal-Loc, a benchmark and metric for localization faithfulness -- whether a detector's top-ranked error unit actually overlaps the erroneous span. The controlled subset comprises 300 PubMedQA-derived statements with single, span-level errors injected across four localizable types (entity substitution, relation error, mechanism misattribution, invention), yielding gold spans by construction; a complementary natural subset documents that real hallucinations are dominated by diffuse conclusion-flips that resist span localization (a human expert accepted 1/18 candidate spans). Evaluating four fine-grained paradigms, we find that NLI-per-clause, consistency-per-sentence, and the dedicated span detector FAVA all localize well above chance, whereas an elaborate KG-triple pipeline localizes no better than chance (+3.3pp, n.s.), bottlenecked by ~59% entity-extraction coverage -- despite competitive detection F1 (0.609). Detection competence does not imply faithful localization; architectural explainability must be validated, not presumed.
- Abstract(参考訳): 臨床テキストで幻覚を検出することは、説明可能性の問題としてますます考えられている。
知識グラフ(KG)のトリプル分解を中心に構築されたアーキテクチャは、まさにこの監査性のために販売されているが、そのローカライゼーション能力は測定されるのではなく、一般的に仮定される。
私たちはMedHal-Locを紹介します。これは、ローカライズ忠実度のためのベンチマークとメトリクスです。
制御されたサブセットは、4つのローカライズ可能なタイプ(エンタリティ置換、関係誤り、メカニズムミスアトリビューション、発明)で注入される単一、スパンレベルのエラーを含む300のPubMedQA由来のステートメントと、構成によって金スパンを産出する。
NLI-per-clause, consistency-per-sentence, and the dedicated span detector FAVA are all localize well higher chance, while a elaborate KG-triple pipeline localizes than chance (+3.3pp, n.s..)。
検出能力は忠実なローカライゼーションを意味するものではなく、アーキテクチャの説明可能性を検証する必要がある。
関連論文リスト
- MedSNIP: Building and Benchmarking Snippet-Level Granularity for Medical Fact Verification [50.13873960887466]
我々はスニペットレベルの医療事実検証のベンチマークであるMedSNIP-Benchを紹介する。
また,自動スニペット生成パイプラインであるMedSNIPを導入する。
MedSNIP-Bench、HealthFC、MedHallu全体で、スニペットレベルの検証は偽クラスF1を保存または改善する。
論文 参考訳(メタデータ) (2026-09-11T14:08:44Z) - Enoki: Efficient Multi-Level Hallucination Detection [48.671558015589575]
本研究では,幻覚検出のためのオープン情報抽出フレームワークであるEnokiを提案する。
エノキは、テキストアンコールされた関係事実を抽出し、証拠に対して証拠を検証し、幻覚したスパンへのプロジェクトサポートされた事実を復元する。
本研究では,エノキが資源の少ないにもかかわらず,強力なクレームレベルのシステムと競合し続けていることを示し,細粒度スパンおよびエンティティレベルのローカライゼーションにおいて優れた性能を発揮することを示す。
論文 参考訳(メタデータ) (2026-09-01T02:21:28Z) - Tracing the Cascade: A Topology-Aware Evaluation Framework for Scientific Agent Hallucinations [27.330265411994258]
SCHEMA(SCHEMA)は、科学的エージェントの幻覚評価のためのエビデンスベースのトポロジー対応評価フレームワークである。
幻覚は、高度に接続された知識ハブの小さなセットに集中していることが示される。
その結果, 高精度な科学的応用においては, 端末の精度だけではエージェントの信頼性が不十分な信号であることが示唆された。
論文 参考訳(メタデータ) (2026-08-01T15:19:10Z) - Inference-Time Steering for Cross-Lingual Factual Consistency in LLMs [51.56484100374058]
大規模言語モデル(LLM)は目覚ましい多言語流布を示すが、その内部知識表現はハイリソース言語に対して不均等に偏っている。
我々は,これらのバイアスを推論時に緩和できるかどうかを考察し,対象言語でクエリされたかのように,英語の確率モデルに答えるように強制する。
Gemma 3 12Bの実験では、最も強い全体的な介入、効率性のバランス、安全性、ドメイン外の一般化を促すペルソナが明らかにされている。
論文 参考訳(メタデータ) (2026-07-21T16:15:05Z) - Per-Entity Bias Mapping for AI Visibility: Why Brand Mentions Require Entity-Specific Calibration [0.0]
本稿では、AIの可視性エラープロファイルが体系的に異なるため、集約メトリクスは不十分である、と論じる。
3つの障害モードが識別される: 表現不足のエンティティは知識グラフの存在が弱いために見えなくなる; 大エンティティはブランド幻覚のパラドックスに苦しむ。
論文 参考訳(メタデータ) (2026-06-19T16:50:29Z) - CalBrief: A Pilot Diagnostic Benchmark for Evidence-Calibrated Scientific Briefing with Large Language Models [8.057966659934769]
大規模言語モデル (LLMs) は研究助手としての利用が増えているが, 支持する証拠の強さと範囲について, 研究成果を校正できるかどうかは不明である。
我々は,エビデンスを校正した科学的ブリーフィングについて検討する: 関連論文の束縛されたパッケージを考えると,システムはエビデンス強度,スコープ境界,欠落したエビデンス注意点を備えたパッケージレベルのテイクアウトを生成するべきである。
私たちは、ブリーフィングが故障した場所を特定するための診断プローブとして、監査可能なロール/ギャップ/強度フレームワークであるCalBriefを使用します。
論文 参考訳(メタデータ) (2026-06-11T06:49:52Z) - R-APS: Compositional Reasoning and In-Context Meta-Learning for Constrained Design via Reflective Adversarial Pareto Search [18.8323743697237]
大規模言語モデル(LLM)は、オープンなタスクに精通しているが、エージェント設定では、信頼性の高いデリバリが保証されない。
エラーは局所化せずに伝播し、最悪の場合の摂動は未評価となり、蓄積された知識は決して無効にされない。
帰納的、反事実的、メタ帰納的、是正的、帰納的推論は、相容れない方向に共有コンテキストを引き出す。
論文 参考訳(メタデータ) (2026-06-03T12:45:39Z) - When Should an AI Scientist Stop? Verifiable Experiment Steering and Refusal for Autonomous Discovery [0.0]
CARTOGRAPHは、AI科学者のための検証レイヤーである。
未解決宇宙実験ステアリング(選択)、明示的曖昧性閉鎖(解決)、残差に基づくライブラリ不整合検出(再利用)の2つを結合する。
論文 参考訳(メタデータ) (2026-05-26T18:19:16Z) - What Are We Actually Decoding? Source Attribution for Non-Invasive Brain-to-Language Retrieval [42.66754319854329]
我々は,刺激同期MEG-to-audio検索を監査フレームワークとして再放送した。
構造的ショートカット、ウィンドウレベルの刺激ロックされたエビデンス、ウィンドウ間のコンテキストアグリゲーションを使用します。
これらの結果は、脳から言語へのパフォーマンスは、単に報告されるのではなく、ソース属性であるべきだことを示唆している。
論文 参考訳(メタデータ) (2026-05-23T11:23:39Z) - Regulating Anatomy-Aware Rewards via Trajectory-Integral Feedback for Volumetric Computed Tomography Analysis [30.439440028190944]
我々は,放射線学報告を検証可能な臨床的意味単位に分解する構造化システムであるtextbfClinical Abnormality Benchmarking Substrate (CABS) を導入する。
制御理論の原理を政策最適化に組み込んだ新しいフレームワークである textbfTrajectory-Integral FeedbackO (TIF-GRPO) を提案する。
論文 参考訳(メタデータ) (2026-05-19T04:33:27Z) - Discovery of Hidden Miscalibration Regimes [52.452902154360565]
モデルは何らかの入力を体系的に過信し、他人を過信することがある。
対応する誤校正分野を定義し,それを推定するための診断フレームワークを提案する。
提案手法は,入力空間のキャリブレーションを意識した表現を学習し,学習幾何学におけるカーネルの平滑化による符号付き局所的誤校正を推定する。
論文 参考訳(メタデータ) (2026-05-13T13:07:50Z) - Neural Uncertainty Principle: A Unified View of Adversarial Fragility and LLM Hallucination [60.197429875410286]
大規模言語モデルにおける視覚と幻覚の対立的脆弱性は、伝統的に別の問題と見なされている。
損失誘起状態下でのニューラル不確実性原理(NUP)の定式化により, ほぼバウンド状態においては, さらなる圧縮は感度分散の増大を伴うことが判明した。
視覚では、高度に結合したコンポーネントをマスキングすることで、コストのかかる敵の訓練なしに堅牢性を向上させる。
言語では、任意の応答トークンを生成する前に、同じプレフィルステージプローブが幻覚リスクを検出する。
論文 参考訳(メタデータ) (2026-03-20T02:07:10Z) - Anatomy of a Lie: A Multi-Stage Diagnostic Framework for Tracing Hallucinations in Vision-Language Models [62.932580559941414]
VLM(Vision-Language Models)は、しばしば「ハロシン化(hallucinate)」する。
本稿では,静的な出力誤差からモデル計算認知の動的病理へ再キャストし,幻覚を診断するための新しいパラダイムを提案する。
論文 参考訳(メタデータ) (2026-03-16T17:20:38Z) - The Semantic Illusion: Certified Limits of Embedding-Based Hallucination Detection in RAG Systems [0.0]
幻覚予測をRAG検出に適用し、スコアを有限サンプルカバレッジ保証付き決定セットに変換する。
分布尾レンズを用いてこの障害を分析し,NLIモデルが許容可能なAUC(0.81)を達成する一方で,「最も厳しい」幻覚は,忠実な応答と意味的に区別できないことを示した。
論文 参考訳(メタデータ) (2025-12-17T04:22:28Z) - Generalized Focal Loss: Learning Qualified and Distributed Bounding
Boxes for Dense Object Detection [85.53263670166304]
一段検出器は基本的に、物体検出を密度の高い分類と位置化として定式化する。
1段検出器の最近の傾向は、局所化の質を推定するために個別の予測分岐を導入することである。
本稿では, 上記の3つの基本要素, 品質推定, 分類, ローカライゼーションについて述べる。
論文 参考訳(メタデータ) (2020-06-08T07:24:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。