論文の概要: When Derived Measurements Mislead: Quantifying and Mitigating LLM Over-Trust with Privileged-Modality Reliability Evidence
- arxiv url: http://arxiv.org/abs/2607.28421v1
- Date: Thu, 30 Jul 2026 16:01:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-31 21:37:00.648799
- Title: When Derived Measurements Mislead: Quantifying and Mitigating LLM Over-Trust with Privileged-Modality Reliability Evidence
- Title(参考訳): LLM過トラストの定量化と緩和 : プリビレグド・モダリティの信頼性の検証
- Abstract要約: 大規模言語モデル(LLM)パイプラインは、インスタンス依存の妥当性にもかかわらず、直接の事実として導出されていく。
本研究では, 直接事実の測定を下流LLMが割り当てる障害として, 派生機能オーバートラスト(DFOT)を定義した。
コンフリクトオーバートラストレート(COTR)、コンテキスト誘発エラーレート(CIR)、正しい修復率(CRR)、エビデンス特異的修復マージン(ESRM)、ユーティリティハーネスレート(UHR)の5つの推定値。
- 参考スコア(独自算出の注目度): 23.663230810212042
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Derived measurements increasingly enter large language model (LLM) pipelines as direct facts despite their instance-dependent validity. We define derived-feature over-trust (DFOT) as the failure in which a downstream LLM assigns such a measurement the epistemic status of a direct fact or uses it outside its valid scope. Using physiological sensing as a case study, D1 tests acceptance of a PPG-derived rhythm contradicted by offline ECG, whereas D2 tests rejection of an offline-confirmed reliable PPG rhythm under misleading severe history. ECG supplies training supervision and offline reference construction but is never shown to the LLM. Five estimands quantify this chain: conflict over-trust rate (COTR) and context-induced error rate (CIR) characterize D1/D2; correct repair rate (CRR) measures frozen-error repair; evidence-specific repair margin (ESRM) contrasts matched and patient-disjoint shuffled evidence; and utility harm rate (UHR) measures unnecessary verification among HIGH-reliability cases used without verification at baseline. The framework does not depend on a particular reliability generator. We demonstrate it on 50,000 paired PPG-ECG records using ECG-to-PPG privileged distillation as an illustrative baseline and PPG-only inference. On a protocol-locked 187-patient test, the baseline improves four repair and specificity endpoints by 1.82-6.69 percentage points, with all paired confidence intervals excluding zero; UHR increases by 0.67 percentage points (95% CI: -0.4 to +1.7). DFOT provides a common evaluation target for stronger mitigation methods. The code is available at https://github.com/Zongheng-Guo/When-Derived-Measurements-Mislead.
- Abstract(参考訳): 大規模言語モデル(LLM)パイプラインは、インスタンス依存の妥当性にもかかわらず、直接の事実として導出されていく。
本研究では, 直接事実の疫学的な状態を下流のLLMが割り当てたり, 有効な範囲外で使用したりする障害として, DFOTを定義した。
生理的感覚を事例として,D1はオフライン心電図と矛盾するPSG由来のリズムの受容を検査し,D2はオフラインに確認された信頼性PPGリズムの拒絶を誤認した。
ECGはトレーニングの監督とオフラインのリファレンス構築を提供するが、LLMには表示されない。
コンフリクト・オーバートラスト・レート(COTR)とコンテクスト・インジェクト・エラー・レート(CIR)がD1/D2を特徴づけ、正しい修復率(CRR)が凍結エラー修復を測る、エビデンス特異的修復マージン(ESRM)が一致し、患者が切り離した証拠が一致し、ユーティリティ・ハーネス・レート(UHR)がベースラインでの検証なしで使用される高信頼性ケースの中で不要な検証を計測する。
フレームワークは特定の信頼性ジェネレータに依存しない。
5万対のPSG-ECGレコード上で,ECG-PPG特権蒸留を図示ベースラインとし,PSGのみの推論を行った。
プロトコルロックされた187患者のテストでは、ベースラインは4つの補修エンドポイントと特定エンドポイントを1.82-6.69ポイント改善し、0を除くすべてのペアの信頼区間は0、UHRは0.67ポイント(95% CI:-0.4から+1.7)増加した。
DFOTは、より強力な緩和法のための共通の評価対象を提供する。
コードはhttps://github.com/Zongheng-Guo/When-Derived-Measurements-Misleadで公開されている。
関連論文リスト
- Reversibility-Verified De-identification for Cloud-Local LLM Inference: A Locally Certified Dehydrate-Rehydrate Loop with Layered Assurance (DR-SL) [1.802678437602184]
DR-SL (Dehydrate-Rehydrate with Self-Learning loop) は、脱同定完全性を2つの測定可能な条件として定式化する。
完全局所二分岐検証器は、終了が保証されたレキソグラフィゲートの下で脱水を繰り返す。
ファノ型の低い境界、フグの目撃者、そしてレート・プライバシ・フィージビリティの基準を証明し、その範囲を明確化します。
論文 参考訳(メタデータ) (2026-09-14T01:04:58Z) - CARD: Calibration via Agreement in Reverse Diffusion for Out-of-Domain MRI Segmentation [14.844162865265673]
そこで我々は,不一致の時間的集合を全クラスにわたって1ピクセルあたりの温度場にマッピングし,セグメント化ができない間に信頼度が変化するようにCARDを提案する。
心臓、前立腺、脳のMRIシフトによって、CARDは各設定において最強のベースラインと比較した場合、49の45のキャリブレーション誤差を低下させる。
論文 参考訳(メタデータ) (2026-08-26T07:23:08Z) - Conformal Changepoint Localization and Root Cause Analysis with Corrupted Observations [55.76952683833966]
本稿では,データ破損時の信頼性設定サイズを低減するために,重み付きCONCH(W-CONCH)と重み付きCROC(W-CROC)を提案する。
画像ベースおよび実世界の変化点と根本原因ベンチマークの実験は、不確実性ベースの重み付けが信頼性セットのサイズを大幅に減少させることを示している。
論文 参考訳(メタデータ) (2026-07-29T05:16:59Z) - Resist and Update: Counterfactual Report Coordinates for Incentive-Compatible LLMs [4.721990925113432]
修飾言語モデルは、非証拠的な圧力下で定期的に誤レポートされる。
我々は2つの要求を調査し、抵抗(不当な圧力)と更新(認可された証拠をフォロー)する。
低ランクレポートのコーディネートを慎重にローカライズして,回答,信頼,注意を喚起する。
論文 参考訳(メタデータ) (2026-07-14T17:28:25Z) - SafeImpute: Reliable Clinical Data Imputation via Conformal Selection [35.40404498771435]
臨床医療は重要な検査指標に頼っていることが多いが、実際の患者訪問は少なく、検査は不規則に発注される。
本研究は, 信頼性のある治療効果を選択的に解放しつつ, 正確な治療効果を生み出すことを目的として, 信頼性の高い治療効果について検討する。
本稿では,不規則かつスパースな臨床記録のための信頼性のある計算手法であるSafeImputeを提案する。
論文 参考訳(メタデータ) (2026-07-06T20:16:21Z) - What Accuracy and Gradient Cosine Miss: Evaluating Feedback Alignment via Scale Stability, Reference Validity, and Depth Utility [48.10132234701036]
本稿では,3つのチェック(スケール安定性,参照妥当性,深度ユーティリティ)に基づく診断評価プロトコルを提案する。
複数のアーキテクチャや手法にまたがって、我々のプロトコルは広い校正マージンを持つ全ての障害を識別する。
論文 参考訳(メタデータ) (2026-06-19T06:04:17Z) - Beyond Scalar Scores: Exploring LLM-based Metrics for Clinical Significance Evaluation in Radiology Reports [49.5225801722164]
既存のメトリクスは、医学的に根拠のないスカラーにレポートの品質を低下させることによって、この要件を曖昧にしている。
テストベッドとしてReEvalMedベンチマークを用いて,この境界について検討し,計量レベルの臨床的意義を評価する。
論文 参考訳(メタデータ) (2026-06-17T08:10:30Z) - Joint Treatment Effect Estimation from Incomplete Healthcare Data: Temporal Causal Normalizing Flows with LLM-driven Evolutionary MNAR Imputation [0.0]
不完全長手EHRによる治療効果推定のための2段階パイプラインを提案する。
CaulFlow-Tは、長期記憶(LSTM)を符号化した患者履歴を持つ、DAGに制約された正規化フローである。
CaulFlow-Tは、正確な非可逆逆推論を行い、変分推論からの近似誤差を回避し、明示的な因果構造を通して共起を分離する。
論文 参考訳(メタデータ) (2026-05-06T16:53:08Z) - Towards Trustworthy Depression Estimation via Disentangled Evidential Learning [50.22167852149165]
EviDepはうつ病の重症度を共同で定量化する明らかな学習フレームワークである。
EviDepは、堅牢な証拠合成を保証するために厳密な情報整合性を強制する。
最先端の予測精度と優れた不確実性校正を実現し、信頼できる臨床スクリーニングのための堅牢なフェールセーフメカニズムを提供する。
論文 参考訳(メタデータ) (2026-04-17T13:27:11Z) - Counterfactual Peptide Editing for Causal TCR--pMHC Binding Inference [0.0]
TCR-pMHC結合予測のためのニューラルネットワークは、ショートカット学習の影響を受けやすい。
本稿では,生物学的に制約された反事実ペプチド編集を生成するトレーニングフレームワークであるemphCounterfactual Invariant Prediction (CIP)を紹介する。
論文 参考訳(メタデータ) (2026-04-14T19:40:46Z) - FACT-E: Causality-Inspired Evaluation for Trustworthy Chain-of-Thought Reasoning [49.65751420291115]
CoT(Chain-of-Thought)プロンプトはLSM推論を改善したが、モデルはしばしば不誠実な中間ステップを含むコヒーレントな説明を生成する。
我々は、CoTの品質を評価するための因果性に着想を得たフレームワークであるFACT-Eを提案する。
FACT-Eは推論・軌道選択を改善し、文脈内学習を強くすることを示す。
論文 参考訳(メタデータ) (2026-04-12T15:35:08Z) - PUNCH: Physics-informed Uncertainty-aware Network for Coronary Hemodynamics [8.812266680285369]
標準血管造影から冠血流量を直接推定するための非診断・不確実性認識フレームワークを提案する。
このシステムは、コントラスト輸送の第一原理モデルから冠血流を推定するために、物理インフォームドニューラルネットワークと変分推論を統合している。
パイプラインは、患者1人あたり約3分で、1つのGPU上で動作し、人口レベルのトレーニングは行わない。
論文 参考訳(メタデータ) (2026-01-23T21:47:23Z) - Conditional Coverage Diagnostics for Conformal Prediction [47.93989136542648]
条件付きカバレッジ推定が分類問題であることを示す。
得られたメトリクスの族をターゲットカバレッジ(ERT)の過剰なリスクと呼びます。
ERTのオープンソースパッケージと、以前の条件付きカバレッジメトリクスをリリースしています。
論文 参考訳(メタデータ) (2025-12-12T18:47:39Z) - Towards Reliable Medical Image Segmentation by Modeling Evidential Calibrated Uncertainty [57.023423137202485]
医用画像のセグメンテーションの信頼性に関する懸念が臨床医の間で続いている。
本稿では,医療画像セグメンテーションネットワークにシームレスに統合可能な,実装が容易な基礎モデルであるDEviSを紹介する。
主観的論理理論を活用することで、医用画像分割の確率と不確実性を明示的にモデル化する。
論文 参考訳(メタデータ) (2023-01-01T05:02:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。