Fugu-MT 論文翻訳(概要): Beyond Majority Vote: Multi-Perspective Adjudication for Medical Hallucination Detection

論文の概要: Beyond Majority Vote: Multi-Perspective Adjudication for Medical Hallucination Detection

arxiv url: http://arxiv.org/abs/2609.03953v1
Date: Thu, 03 Sep 2026 14:54:04 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-04 18:28:39.122937
Title: Beyond Majority Vote: Multi-Perspective Adjudication for Medical Hallucination Detection
Title（参考訳）: 多数投票を超えて:医療幻覚検出のための多視点適応
Abstract要約: 長文の応答では、事実の誤りは微妙で、ほとんど正しいテキストに埋め込まれる。ファーストパスアノテータは、後に代弁者によって検証された事実の誤りをしばしば見逃す。我々は,複数の候補源に対する偏見が完全性ベンチマークを改善する可能性が示唆された。
参考スコア（独自算出の注目度）: 1.7049056868751549
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Understanding the frequency of factual errors in chatbot-generated text and evaluating systems that detect these errors is critical for determining chatbot safety. Yet factual-error detection is often treated as a single-pass, single-annotator labeling problem. In long-form chatbot responses, factual errors can be subtle and embedded within mostly correct text. We develop a multi-perspective annotation study of medically relevant chatbot responses, combining first-pass annotation, LLM-as-a-Judge (LaJ) candidate discovery, and two forms of adjudication: medical-expert and evidence-based fact-checking. First-pass annotators frequently miss factual errors later validated by adjudicators. LaJ improves candidate discovery, but is insufficient on its own: It misses factual errors that annotators catch. We also find disagreement among adjudicators, suggesting that adjudication over multiple candidate sources can improve benchmark completeness, but does not eliminate the need to apply judgment and expertise. Applied to an existing benchmark, this technique reveals a similar pattern of missing annotations. Together, these results suggest that in the settings examined here, single-pass hallucination benchmarks may achieve scale at the cost of undercounting factual errors. Multi-pass adjudication can improve coverage, but inferences drawn from the benchmarks are still sensitive to the judgment, expertise, and evidence used to determine error presence.
Abstract（参考訳）: チャットボット生成テキストにおける事実誤りの頻度を理解し,これらの誤りを検出するシステムを評価することは,チャットボットの安全性を決定する上で重要である。しかし、事実エラー検出はシングルパス、シングルアノテータラベリング問題として扱われることが多い。長文のチャットボット応答では、事実のエラーは微妙で、ほとんど正しいテキストに埋め込まれる。我々は,医学的関連性のあるチャットボット応答の多面的アノテーション研究を開発し,第1パスアノテーション,LLM-as-a-Judge(LaJ)候補発見と,医学的専門知識とエビデンスに基づく事実検査の2つの形態を組み合わせた。ファーストパスアノテータは、後に代弁者によって検証された事実の誤りをしばしば見逃す。 LaJは候補発見を改善するが、それ自体では不十分だ。また、複数の候補源に対する偏見は、ベンチマーク完全性を改善することができるが、判断や専門知識を適用する必要性を排除していないことを示唆している。既存のベンチマークに適用されたこのテクニックは、類似したアノテーションのパターンを明らかにしている。これらの結果から, 単一パス幻覚ベンチマークは, 実ミスを過小評価するコストでスケールを達成できる可能性が示唆された。マルチパスの偏見はカバレッジを改善することができるが、ベンチマークから得られた推測は依然として、エラーの有無を決定するために使われる判断、専門知識、証拠に敏感である。

関連論文リスト

A Paradigm for Interpreting Metrics and Identifying Critical Errors in Automatic Speech Recognition [12.151730134044696]
最小編集距離(minED)という誤り率の等価性を得るために,選択したメトリックを組み込んだパラダイムを提案する。このアプローチは、転写エラーを人間の知覚と平行させ、また、人間の視点からこれらのエラーの重大さについての研究を可能にする。
論文参考訳（メタデータ） (2026-05-05T12:09:12Z)
ErrEval: Error-Aware Evaluation for Question Generation through Explicit Diagnostics [30.569255227942634]
ErrEvalはフレキシブルでエラーを意識した評価フレームワークで、明示的なエラー診断を通じてQG評価を強化する。 ErrEvalは、評価を2段階のエラー診断プロセスとして修正し、次にインフォメーションスコアを付ける。
論文参考訳（メタデータ） (2026-01-15T13:57:15Z)
PaperAudit-Bench: Benchmarking Error Detection in Research Papers for Critical Automated Peer Review [54.141490756509306]
本稿では、エラーデータセットであるPaperAudit-Datasetと、自動レビューフレームワークであるPaperAudit-Reviewの2つのコンポーネントからなるPaperAudit-Benchを紹介する。 PaperAudit-Benchの実験では、モデルと検出深さの誤差検出可能性に大きなばらつきが示された。本研究では,SFTおよびRLによる軽量LLM検出器のトレーニングをサポートし,計算コストの削減による効率的な誤り検出を実現する。
論文参考訳（メタデータ） (2026-01-07T04:26:12Z)
Too Consistent to Detect: A Study of Self-Consistent Errors in LLMs [87.79350168490475]
本研究は, 自己整合誤差を正式に定義し, 主流検出手法の評価を行う。 4種類の検出方法は全て、自己整合性エラーを検出するのにかなり苦労している。自己整合性誤差がLLM間でしばしば異なるという観測により、我々は単純で効果的なクロスモデルプローブを提案する。
論文参考訳（メタデータ） (2025-05-23T09:18:56Z)
A Comprehensive Approach to Misspelling Correction with BERT and Levenshtein Distance [1.7000578646860536]
最も多い書き込みエラーのうち、スペルミスは、様々な要因によって頻繁に発生する。本研究の目的は,ニューラルネットワークを用いてテキスト中の多様な綴り誤りを特定し,修正することである。
論文参考訳（メタデータ） (2024-07-24T16:07:11Z)
What's under the hood: Investigating Automatic Metrics on Meeting Summarization [7.234196390284036]
会議要約は、オンライン交流の増加を考慮した重要な課題となっている。現在のデフォルトのメトリクスは、観測可能なエラーをキャプチャするのに苦労しており、相関が弱い。特定のエラーに正確に反応するのはサブセットのみであり、ほとんどの相関関係は、エラーが要約品質に与える影響を反映していないか、あるいは失敗していることを示している。
論文参考訳（メタデータ） (2024-04-17T07:15:07Z)
Prompted Zero-Shot Multi-label Classification of Factual Incorrectness in Machine-Generated Summaries [2.0934752540614006]
本稿では,誤りを誤表現,不正確な量または測定,偽帰属,偽帰属の4つのタイプに分類するプロンプトベース分類システムを提案する。その結果,本手法は,分類システムの改善の余地はあるものの,要約中の誤りの種類をある程度検出できることが示唆された。
論文参考訳（メタデータ） (2023-12-02T09:37:47Z)
Understanding and Mitigating Classification Errors Through Interpretable Token Patterns [58.91023283103762]
容易に解釈可能な用語でエラーを特徴付けることは、分類器が体系的なエラーを起こす傾向にあるかどうかを洞察する。正しい予測と誤予測を区別するトークンのパターンを発見することを提案する。提案手法であるPremiseが実際によく動作することを示す。
論文参考訳（メタデータ） (2023-11-18T00:24:26Z)
FactCHD: Benchmarking Fact-Conflicting Hallucination Detection [64.4610684475899]
FactCHD は LLM からファクトコンフリクトの幻覚を検出するために設計されたベンチマークである。 FactCHDは、バニラ、マルチホップ、比較、セット操作など、さまざまな事実パターンにまたがる多様なデータセットを備えている。 Llama2 に基づくツール強化 ChatGPT と LoRA-tuning による反射的考察を合成する Truth-Triangulator を提案する。
論文参考訳（メタデータ） (2023-10-18T16:27:49Z)
A New Benchmark and Reverse Validation Method for Passage-level Hallucination Detection [63.56136319976554]
大きな言語モデル(LLM)は幻覚を発生させ、ミッションクリティカルなタスクにデプロイすると大きなダメージを与える可能性がある。本稿では,逆検証に基づく自己チェック手法を提案し,ゼロリソース方式で事実誤りを自動的に検出する。提案手法と既存のゼロリソース検出手法を2つのデータセット上で実証的に評価した。
論文参考訳（メタデータ） (2023-10-10T10:14:59Z)
End-to-End Page-Level Assessment of Handwritten Text Recognition [69.55992406968495]
HTRシステムは、文書のエンドツーエンドのページレベルの書き起こしに直面している。標準メトリクスは、現れる可能性のある不整合を考慮していない。本稿では、転写精度とROの良さを別々に検討する2つの評価法を提案する。
論文参考訳（メタデータ） (2023-01-14T15:43:07Z)
Factual Error Correction for Abstractive Summaries Using Entity Retrieval [57.01193722520597]
本稿では,エンティティ検索後処理に基づく効率的な事実誤り訂正システムRFECを提案する。 RFECは、原文と対象要約とを比較して、原文から証拠文を検索する。次に、RFECは、エビデンス文を考慮し、要約中のエンティティレベルのエラーを検出し、エビデンス文から正確なエンティティに置換する。
論文参考訳（メタデータ） (2022-04-18T11:35:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。