論文の概要: When to Stop Asking: Factor Coverage Bias and LLM Determinability Judgments with Underspecified Information in Medicine
- arxiv url: http://arxiv.org/abs/2610.25819v1
- Date: Mon, 19 Oct 2026 05:34:11 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-10-20 22:33:53.909813
- Title: When to Stop Asking: Factor Coverage Bias and LLM Determinability Judgments with Underspecified Information in Medicine
- Title（参考訳）: 嫌がらせをいつ止めるか:医学における不特定情報による因子被覆バイアスとLCM決定可能性判断
- Abstract要約: 臨床意思決定は、しばしば不特定情報から始まる。
これは、情報不足が結論を変えるかどうかを考慮し、決定可能性の判断を要求する。
決定可能性のためのキューとしてこの量に依存することは、大きな言語モデルの信頼性を損なう可能性がある。
- 参考スコア（独自算出の注目度）: 36.697073980792
- License:
- Abstract: Clinical decision-making often begins with underspecified information and requires not only gathering missing information but also knowing when to stop. This calls for judging determinability (whether the available information is sufficient for a decision) by considering whether missing information could change the conclusion, not simply the amount of available decision-relevant information. Reliance on this amount as a cue for determinability, which we term \textit{factor coverage bias}, could undermine the trustworthiness of large language models (LLMs) through premature conclusions or excessive information gathering, such as unnecessary invasive tests. Yet whether LLMs exhibit this bias remains insufficiently studied. To address this gap, we construct a controlled pairwise benchmark in which LLMs identify the determinable case within each determinable--undeterminable pair. We add a decision-relevant factor to either side while keeping each case's determinability unchanged, and similarly add irrelevant text to distinguish this bias from context-length effects. Adding a relevant factor made LLMs more likely to select the augmented case as determinable even when it remained undeterminable, an effect that persisted with increased reasoning effort, while adding irrelevant text made them less likely to select the augmented case, an effect that reasoning substantially reduced. These findings identify factor coverage bias as a failure mode distinct from context-length effects and a potential risk to LLM trustworthiness. Our work provides an evaluation framework for LLM trustworthiness under underspecification.
- Abstract（参考訳）: 臨床意思決定は、しばしば不特定情報から始まり、行方不明の情報を集めるだけでなく、いつ停止するかを知る必要がある。
これは、単に利用可能な決定関連情報の量ではなく、情報不足が結論を変更できるかどうかを考慮し、決定可能性(決定に十分な情報かどうか)を判断することを要求する。
この量は,「textit{factor coverage bias}」とよばれる決定可能性の手がかりとして,早期の結論や不必要な侵襲的検査などの過剰な情報収集を通じて,大規模言語モデル(LLM)の信頼性を損なう可能性がある。
しかし、LSMがこのバイアスを示すかどうかはまだ十分に研究されていない。
このギャップに対処するため、LLMが各決定可能-非決定可能ペア内の決定可能ケースを識別する制御されたペアワイズベンチマークを構築した。
同様に、このバイアスとコンテキスト長の影響を区別するために、関連のないテキストを追加する。
関連因子を加えることで、LLMは拡張ケースを決定不可能なままでも選択できる可能性が高く、これは推論努力の増加とともに持続する効果であり、無関係なテキストを追加すると、拡張ケースを選択する可能性が低下し、推論が大幅に減少する結果となった。
これらの結果から, 要因カバレッジバイアスは, 文脈長の影響とLLM信頼性の潜在的なリスクとは異なる障害モードであることがわかった。
我々の研究は、不特定条件下でのLLM信頼性評価の枠組みを提供する。
関連論文リスト
- CLEAR: Revealing How Noise and Ambiguity Degrade Reliability in LLMs for Medicine [9.346299965194746]
CLEAR(CLinical Evaluation of Ambiguity and Reliability)フレームワークについて紹介する。
CLEARは、妥当な回答オプションの数、根拠となる真実または棄権オプションの存在、および回答オプションの意味的なフレーミングを混乱させる。
17の医療用大言語モデルで評価された3つのベンチマークにCLEARを適用すると、3つの注目すべき制限が明らかになる。
論文 参考訳（メタデータ） (2026-05-01T18:23:24Z) - The Anatomy of Uncertainty in LLMs [10.50144444577399]
我々は、不確実性を3つの異なる意味的構成要素に分解する不確実性分解フレームワークを提唱する。
我々のフレームワークは、LSMの信頼性を監査し、幻覚を検知し、目標とする介入やより信頼できるシステムへの道を開くためのより良い理解を提供する。
論文 参考訳（メタデータ） (2026-03-26T02:59:40Z) - ClinDet-Bench: Beyond Abstention, Evaluating Judgment Determinability of LLMs in Clinical Decision-Making [38.53727520114093]
不完全な情報の下で決定可能性を評価するベンチマークであるClinDet-Benchを開発した。
近年の大規模言語モデル (LLM) は不完全情報に基づく決定可能性の同定に失敗している。
論文 参考訳（メタデータ） (2026-02-26T09:03:41Z) - Can Multiple Responses from an LLM Reveal the Sources of Its Uncertainty? [11.309445539128733]
大規模言語モデル(LLM)は、さまざまな領域で大きなブレークスルーをもたらしたが、信頼できない、あるいは誤解を招くアウトプットを生成することができる。
LLMが不確実である場合、その多重応答間の不一致パターンには、不確実性の根本原因に関する深い手がかりが含まれていることが示される。
論文 参考訳（メタデータ） (2025-08-28T20:14:35Z) - To Believe or Not to Believe Your LLM [51.2579827761899]
大規模言語モデル(LLM)における不確実性定量化について検討する。
疫学的な不確実性が大きい場合にのみ確実に検出できる情報理論の指標を導出する。
定式化の利点を実証する一連の実験を行う。
論文 参考訳（メタデータ） (2024-06-04T17:58:18Z) - Auditing Fairness under Unobserved Confounding [56.61738581796362]
意外なことに、リスクの高い人に対する治療率の有意義な限界を計算できることが示されています。
現実の多くの環境では、リスクの偏りのない見積を導き出すために、アロケーションの前にデータを持っているという事実を使用します。
論文 参考訳（メタデータ） (2024-03-18T21:09:06Z) - Decomposing Uncertainty for Large Language Models through Input Clarification Ensembling [69.83976050879318]
大規模言語モデル(LLM)では、不確実性の原因を特定することが、信頼性、信頼性、解釈可能性を改善するための重要なステップである。
本稿では,LLMのための不確実性分解フレームワークについて述べる。
提案手法は,入力に対する一連の明確化を生成し,それらをLLMに入力し,対応する予測をアンサンブルする。
論文 参考訳（メタデータ） (2023-11-15T05:58:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。