論文の概要: When Evidence Conflicts: Uncertainty and Order Effects in Retrieval-Augmented Biomedical Question Answering

• arxiv url: http://arxiv.org/abs/2605.14115v1
• Date: Wed, 13 May 2026 21:02:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-15 21:45:34.505595
• Title: When Evidence Conflicts: Uncertainty and Order Effects in Retrieval-Augmented Biomedical Question Answering
• Title（参考訳）: Evidence Conflicts: Retrieval-Augmented Biomedical Question Answeringにおける不確かさと秩序効果
• Authors: Yikun Han, Mengfei Lan, Halil Kilicoglu,
• Abstract要約: HealthContradictを用いて、5つの制御された証拠条件下で6つのオープンウェイト大言語モデル(LLM)を評価する。 その結果, バイオメディカルな証拠の相反は不確実性と堅牢性の両方の問題であることが示唆された。
• 参考スコア（独自算出の注目度）: 2.6393907656700706
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Biomedical retrieval-augmented large language models (LLMs) often face evidence that is incomplete, misleading, or internally contradictory, yet evaluation usually emphasizes answer accuracy under helpful context rather than reliability under conflict. Using HealthContradict, we evaluate six open-weight LLMs under five controlled evidence conditions: no retrieved context, correct-only context, incorrect-only context, and two mixed conditions containing both correct and contradictory documents in opposite orders. In this conflicting-evidence order contrast, where the same two documents are both present and only their order is reversed, accuracy drops for every model and 11.4%--25.2% of predictions flip. To support abstention in these difficult cases, we also evaluate a conflict-aware abstention score that combines model confidence with a detector of evidence conflict. In the two hardest conditions, this score improves selective accuracy over confidence-only, with mean gains of 7.2--33.4 points in incorrect-only (`IC') and 3.6--14.4 points in incorrect-first conflicting (`ICC') conditions across 75%, 50%, and 25% coverage. These results show that conflicting biomedical evidence is both an uncertainty and robustness problem and motivate evaluation and abstention methods that explicitly account for evidence disagreement.
• Abstract（参考訳）: バイオメディカル検索強化大型言語モデル(LLM)は、不完全、誤解を招く、あるいは内部的に矛盾する証拠に直面することが多いが、評価は通常、紛争下での信頼性よりも、有用な文脈下での回答精度を強調する。 そこで,HealthContradictを用いて,検索された文脈,正しいコンテキスト,誤りのみのコンテキスト,正文書と矛盾文書の混在した2つの条件の5つの制御されたエビデンス条件下で,オープンウェイトLLMの評価を行った。 同じ2つの文書が存在し、それらの順序のみが逆転しているこの矛盾する証拠順序のコントラストでは、すべてのモデルに対して精度が低下し、予測の11.4%--25.2%が反転する。 また,これらの難易度において,モデル信頼度と証拠衝突の検知値とを組み合わせた,矛盾を意識した棄権スコアの評価を行った。 最も難しい2つの条件では、このスコアは信頼のみよりも選択的精度を向上し、75%、50%、25%の範囲で7.2-33.4ポイント(「IC」)と3.6-14.4ポイント(「ICC」)の不正ファーストコンフリクト(「ICC」)が平均的に上昇する。 これらの結果から, バイオメディカルな証拠の矛盾は不確実性と堅牢性の問題であり, 証拠の不一致を明示的に考慮するモチベーション評価と棄却方法の両立が示唆された。

関連論文リスト

• Does RAG Know When Retrieval Is Wrong? Diagnosing Context Compliance under Knowledge Conflict [7.091145002779077]
  コンテキスト駆動分解(CDD)は、推論時に動作し、制御された検索競合の介入メカニズムとして機能する信念分解プローブである。 これら3つのパターンは、標準的なRAGを調査し介入できる構造軸としてコンテキスト準拠を識別する。
  論文  参考訳（メタデータ） (2026-05-14T07:14:19Z)
• Three Regimes of Context-Parametric Conflict: A Predictive Framework and Empirical Validation [0.0]
  大規模言語モデルが学習知識と矛盾する文書の相違にどのように対処するかを考察する。 本稿では,Regime 1 (単一ソース更新),Regime 2 (競合統合),Regime 3 (タスクに適した選択)という3つの登録フレームワークを提案する。 我々はClaude Sonnet 4.6、GPT-5.5、Gemini 2.5 Flash、Llama 4 Maverick、DeepSeek V3の3つの実験段階で9,970のAPIコールを使用してフレームワークを検証する。
  論文  参考訳（メタデータ） (2026-05-12T06:00:48Z)
• To Fuse or to Drop? Dual-Path Learning for Resolving Modality Conflicts in Multimodal Emotion Recognition [87.22988227382329]
  マルチモーダル感情認識(MER)は、テキスト、音声、視覚を組み合わせることで恩恵を受けるが、標準的な融合は、モダリティが相反する場合に失敗することが多い。 我々は,いつフューズするか,いつモダリティを落とすのかを学習する統合フレームワークであるDual-Path Conflict Resolution (DCR)を提案する。
  論文  参考訳（メタデータ） (2026-05-06T13:11:33Z)
• Towards Trustworthy Depression Estimation via Disentangled Evidential Learning [50.22167852149165]
  EviDepはうつ病の重症度を共同で定量化する明らかな学習フレームワークである。 EviDepは、堅牢な証拠合成を保証するために厳密な情報整合性を強制する。 最先端の予測精度と優れた不確実性校正を実現し、信頼できる臨床スクリーニングのための堅牢なフェールセーフメカニズムを提供する。
  論文  参考訳（メタデータ） (2026-04-17T13:27:11Z)
• Evaluating Evidence Grounding Under User Pressure in Instruction-Tuned Language Models [6.431677598656395]
  競合するドメインでは、命令調整言語モデルは、コンテキスト内証拠に対する忠実さに対するユーザ調整のプレッシャーをバランスさせなければならない。 我々は,0.27Bから32Bのパラメータにまたがる19の命令調整モデルに対して,エビデンス組成と不確実性を詳細に説明する。
  論文  参考訳（メタデータ） (2026-03-20T17:38:23Z)
• Certainty robustness: Evaluating LLM stability under self-challenging prompts [0.5156484100374058]
  大規模言語モデル(LLM)は、確実性や真実を推論する明確なメカニズムが欠如しているにもかかわらず、高い自信を持って答えを提示することが多い。 本稿では,LLMの安定性と適応性のバランス性を評価するための2ターン評価フレームワークであるCertainty Robustness Benchmarkを紹介する。 我々はLiveBenchの200の推論と数学の質問を用いて、4つの最先端LCMを評価し、正当性のある自己補正と正当性のない答えの変化を区別する。
  論文  参考訳（メタデータ） (2026-02-10T18:07:51Z)
• Towards Reliable Medical LLMs: Benchmarking and Enhancing Confidence Estimation of Large Language Models in Medical Consultation [97.36081721024728]
  本稿では,現実的な医療相談におけるマルチターンインタラクションの信頼性を評価するための最初のベンチマークを提案する。 本ベンチマークでは,3種類の医療データを統合し,診断を行う。 本稿では,エビデンスを基盤とした言語自己評価フレームワークであるMedConfを紹介する。
  論文  参考訳（メタデータ） (2026-01-22T04:51:39Z)
• Parrot: Persuasion and Agreement Robustness Rating of Output Truth -- A Sycophancy Robustness Benchmark for LLMs [0.0]
  PARROT (Persuasion and Agreement Robustness Rating of Output Truth) は、ユーザの社会的圧力下での精度の劣化を測定するための堅牢性にフォーカスしたフレームワークである。 我々は13のドメインにまたがる1,302のMMLUスタイルの多重選択質問とドメイン固有の権威テンプレートを用いて22のモデルを評価する。
  論文  参考訳（メタデータ） (2025-11-21T13:01:28Z)
• Zero-shot Faithful Factual Error Correction [53.121642212060536]
  事実の誤りを忠実に訂正することは、テキストの知識基盤の整合性を維持し、シーケンス・ツー・シーケンス・モデルにおける幻覚を防ぐために重要である。 提案するゼロショットフレームワークは,入力クレームに関する質問を定式化し,与えられたエビデンスにおける正しい回答を求め,そのエビデンスとの整合性に基づいて各補正の忠実さを評価する。
  論文  参考訳（メタデータ） (2023-05-13T18:55:20Z)
• AmbiFC: Fact-Checking Ambiguous Claims with Evidence [57.7091560922174]
  実世界の情報ニーズから10kクレームを抽出したファクトチェックデータセットであるAmbiFCを提示する。 アンビFCの証拠に対する主張を比較する際に,曖昧さから生じる不一致を分析した。 我々は,このあいまいさをソフトラベルで予測するモデルを開発した。
  論文  参考訳（メタデータ） (2021-04-01T17:40:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。