論文の概要: Dissociating Answerability from Extraction in LLM Question Answering over Radiology Reports

• arxiv url: http://arxiv.org/abs/2610.17576v1
• Date: Tue, 13 Oct 2026 01:55:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.487581
• Title: Dissociating Answerability from Extraction in LLM Question Answering over Radiology Reports
• Title（参考訳）: LLM質問応答における抽出からの解答可能性のX線学的報告による解答
• Abstract要約: 虚偽の回答は、非支持の主張を事実として提示する。 提案手法では,F1 の横に偽回答と過剰保持率を報告し,それらを分離する評価手法を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Answering questions from radiology reports involves two decisions: whether the report contains an answer and which span gives it. A false answer presents an unsupported claim as fact; an over-abstention hides what the report says. Yet RadQA results are reported as a single F1 that merges both. We propose an evaluation method that separates them, reporting false-answer and over-abstention rates beside F1 and splitting F1 changes into extraction and answerability terms. We apply it to 13 LLMs on the RadQA test set, zero-shot and with three cumulative demonstration sets, the last adding an unanswerable example. Models with similar F1 differed more than twofold in false-answer rate. The unanswerable example changed when models answered, not how well they extracted: 12 of 13 models abstained more often, and three-quarters of the answers they withdrew had F1 $\geq$ 0.5. Within models, false answers showed no clear association with extraction quality, but acting on the decision itself helped: keeping an answer only when enough other models also answered lowered the zero-shot false-answer rate by 4 points without a detectable F1 change. Because the two decisions can change independently, we suggest radiology QA evaluations report them separately, not through F1 alone.
• Abstract（参考訳）: 放射線学のレポートからの質問に答えるには、そのレポートが答えを含むか、どのスパンがそれを与えるかという2つの決定がある。 虚偽の回答は、非支持の主張を事実として提示する。 しかし、RadQAの結果は、両方をマージする単一のF1として報告されている。 本稿では,これらを分離し,F1の横にある疑似回答と過剰許容率を報告し,F1変化を抽出・解答可能性項に分割する評価手法を提案する。 RadQAテストセットの13のLLMに適用し、ゼロショットと3つの累積的な実演セットで、最後の例を補足する。 F1に類似したモデルでは、偽解答率が2倍以上であった。 13モデル中12モデルがより頻繁に棄権し、回答の4分の3がF1$\geq$0.5だった。 モデル内では、偽答は抽出品質と明確な関連性は示さなかったが、決定そのものに作用することが助けた: 他のモデルも十分答えれば、検出可能なF1の変化なしに、ゼロショットの偽答率を4ポイント下げた。 この2つの決定は独立に変化しうるため、ラジオグラフィーによるQA評価はF1のみを通してではなく、別々に報告することを提案する。

関連論文リスト

• Can Language Models Learn When to Abstain? Policy Learning and Calibrated Answer Selection [0.0]
  モデル自体または別のコンポーネントをトレーニングして、回答を確認します。 TriviaQAでは、平均カバレッジは20.2%から30.9%に増加した。 NQ-Openでは、セレクタはフィルタのしきい値平均ユーティリティを改善するが、常に無視するよりもパフォーマンスが悪い。
  論文  参考訳（メタデータ） (2026-10-09T16:33:27Z)
• Candidate supply and answer selection shape the value of LLM judging in multi-agent systems [4.178517265499193]
  正しい答えは、しばしば生成された候補の中に存在しているが、システムは依然として収束し、間違った答えを報告することができる。 筆者らは,(1) LLM判事がマルチエージェントシステムで生成した候補に対して,回答正解の信号を供給することによって,効果的な選択圧を与える場合,(2)その信号を用いることで回答が向上する場合の2つの質問について検討した。
  論文  参考訳（メタデータ） (2026-08-26T15:52:20Z)
• Visual Credit Audit for Multimodal Spatial Reasoning [70.16915309526443]
  Visual Credit Auditは、ベンチマーク画像がテキストのみとブランクコントロールよりもモデルの宣言された決定をもっとサポートするかどうか、モデルが関係性固有の視覚的エビデンスに反応するかどうかの2つの評価を分離する。 ラベルを適用すれば依存性認定正当性(D-CC)が得られる 4つのオープンMLLMと2つの空間ベンチマーク、12.73-26.25%の判定は正確であるが、証明されていない。
  論文  参考訳（メタデータ） (2026-07-29T15:55:31Z)
• LLMs as a Jury: Cross-Model Consensus Can Outperform Process Reward Models for LLM Reasoning [6.241883798820154]
  モデル間コンセンサス(モデル間コンセンサス)について検討し、独立に訓練されたモデル(各モデルが一度解ける程度)が最終解に一致するかを検討した。 パネルをLCM判定として扱い、合意の構造は、他のモデルのスコアではなく、検証信号である。 3つのパネル統計値から平均絶対誤差0.03$までのコンセンサス精度を予測する。
  論文  参考訳（メタデータ） (2026-07-11T05:57:54Z)
• Right Answer, Wrong Score: Uncovering the Inconsistencies of LLM Evaluation in Multiple-Choice Question Answering [78.89231943329885]
  大規模言語モデル(LLM)の評価には,MCQA(Multiple-Choice Question Answering)が広く用いられている。 報告されたLCMの性能には,複数の要因が大きな影響を及ぼす可能性が示唆された。 既存の回答抽出手法が人間の判断と一致しているかどうかを解析する。
  論文  参考訳（メタデータ） (2025-03-19T08:45:03Z)
• Reasoning over Logically Interacted Conditions for Question Answering [113.9231035680578]
  我々は、論理的に相互作用する条件のリストによって答えが制約される、より困難なタスクについて研究する。 本稿では,この難解な推論タスクのための新しいモデルTReasonerを提案する。 TReasonerは、2つのベンチマーク条件付きQAデータセットで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-05-25T16:41:39Z)
• A Wrong Answer or a Wrong Question? An Intricate Relationship between Question Reformulation and Answer Selection in Conversational Question Answering [15.355557454305776]
  会話の文脈における質問書き直し(QR)は、この現象により多くの光を放つことができることを示す。 TREC CAsT と QuAC (CANARD) のデータセットを用いて解析を行った。
  論文  参考訳（メタデータ） (2020-10-13T06:29:51Z)
• Is Multihop QA in DiRe Condition? Measuring and Reducing Disconnected Reasoning [50.114651561111245]
  モデルは、しばしば、複数のサポート事実をまたいで情報を接続することなく、正しい回答を生成するためにデータセットアーティファクトを利用する。 我々は、支持事実のサブセットにまたがる不連結推論のような望ましくない振る舞いを定式化する。 実験によると、読書理解設定においてマルチホップQAがあまり進歩していないことが示唆されている。
  論文  参考訳（メタデータ） (2020-05-02T11:01:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。