論文の概要: Learning When to Trust Medical Knowledge: Regression-Safe Routing for Clinical Reasoning
- arxiv url: http://arxiv.org/abs/2610.19663v1
- Date: Wed, 14 Oct 2026 06:39:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:15.993272
- Title: Learning When to Trust Medical Knowledge: Regression-Safe Routing for Clinical Reasoning
- Title(参考訳): 医学的知識を信頼するべきときの学習 : 臨床推論のための回帰セーフルーティング
- Abstract要約: 検索された証拠と推論連鎖をカバーする医用知識分析ベンチマークを構築した。
我々は、インスタンスごとのルーティングとして知識の使用を定式化し、解凍器を凍結し続ける軽量コントローラであるMed-Trustを導入する。
7つの医学的推論設定で、Med-Trustは78.9マクロと69.2最悪のケースの精度を達成した。
- 参考スコア(独自算出の注目度): 2.8622119092188485
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Clinical reasoning LLMs need external medical knowledge, but retrieved evidence and reasoning chains can be outdated, poisoned, or hallucinated. Harmful knowledge can cause regression: changing a correct answer into an incorrect one. We construct a medical knowledge-poisoning benchmark covering retrieved evidence and reasoning chains, with seven attack families filtered by a three-judge "subtle-but-wrong" vote and paired clean exams that separate poisoning effects from question difficulty. No fixed knowledge-use strategy is robust across these settings: strong RAG methods trade robustness to poisoned evidence against accuracy when evidence is useful. We formulate knowledge use as per-instance routing and introduce Med-TrustRouter, a lightweight controller that keeps the solver frozen. From leakage-free runtime signals, it estimates each action's expected correctness gain and uncertainty, preserving the base answer unless another action is confidently better. Across seven medical reasoning settings, Med-TrustRouter achieves 78.9 macro and 69.2 worst-case accuracy, matching the strongest competitor on macro accuracy while substantially improving the worst-case floor. Its gains transfer across solvers and evidence judges, unlike a hand-coded router using the same signals. Similar performance across linear, tree, and neural action-value heads suggests that the benefit comes from routing rather than estimator complexity. These results support learning when to trust external knowledge for robust clinical reasoning.
- Abstract(参考訳): 臨床理由 LLM は外部の医学知識を必要とするが、回収された証拠や推論鎖は時代遅れ、中毒、幻覚に陥ることがある。
有害な知識は回帰を引き起こし、正しい答えを間違ったものに変更する。
検索されたエビデンスと推論連鎖をカバーした医療知識汚染ベンチマークを構築し, 調査対象の3票による攻撃家族7名と, 問題の難易度から毒殺効果を区別する清潔な試験をペアで実施した。
強力なRAG手法は、証拠が有用である場合の正確性に対する有毒な証拠とのロバスト性を交換する。
我々は、インスタンスごとのルーティングとして知識の使用を定式化し、解凍器を凍結し続ける軽量コントローラであるMed-TrustRouterを導入する。
リークのない実行時信号から、各アクションの期待される正しさの獲得と不確実性を推定し、他のアクションが確実に改善されない限り、基本応答を保存する。
7つの医学的推論設定で、Med-TrustRouterは78.9マクロと69.2最悪のケースの精度を達成した。
同じ信号を使用する手書きルータとは異なり、解決者や証拠審査者間での転送が得ている。
線形、ツリー、ニューラルなアクション値のヘッドにまたがる同様のパフォーマンスは、推定器の複雑さよりもルーティングが利点であることを示唆している。
これらの結果は、堅牢な臨床推論のために外部知識を信頼する方法の学習を支援する。
関連論文リスト
- CoVeR: Coverage-Based Routing of Verifier Calls in Agentic Retrieval [0.7161783472741748]
また,ほとんどの検証者コールは,解答精度を実質的に変更することなくスキップ可能であることを示す。
CoVeRゲート剤は、全予算エージェントと常に検証されたベースラインの両方の回答精度をEM点の分数で一致させる。
論文 参考訳(メタデータ) (2026-09-03T02:09:32Z) - Trustworthy RAG: An Evaluation Agent for Detecting Misinformation and Knowledge Poisoning in Generative AI Systems [1.7327102304628392]
Retrieval-Augmented Generation (RAG) は、Large Language Model (LLM) を外部知識で出力する。
本稿では,自然言語推論(NLI)の事実検証,関連性重み付けによる5信号毒素検出,信頼指数T = 0.4 F + 0.35 C + 0.25 (1 - P) を組み合わせた評価エージェントを提案する。
Llama 3.3 70BのTrathfulQAでは、エージェントは91%の精度と100%の精度に達し、インストラクションインジェクションで100%リコールされる。
論文 参考訳(メタデータ) (2026-08-21T13:42:41Z) - LLMs Know When They Know, but Do Not Act on It: A Metacognitive Harness for Test-time Scaling [26.999207995495354]
我々は,大規模言語モデル (LLM) が有効なテスト時間制御に変換できる潜在メタ認知能力を持っているかどうかを問う。
認知心理学からネルソン=ナレンズ理論に触発された我々は、モニタリングと推論を分離するメタ認知的ハーネスを提案する。
論文 参考訳(メタデータ) (2026-05-13T23:09:25Z) - From Conflict to Consensus: Boosting Medical Reasoning via Multi-Round Agentic RAG [65.0203623486525]
大規模言語モデル(LLM)は、医学的質問応答において高い推論能力を示す。
幻覚や時代遅れの知識を生み出す傾向は、医療分野において重大なリスクをもたらす。
既存の手法はノイズの多いトークンレベルの信号に依存しており、複雑な推論に必要なマルチラウンドの改良は欠如している。
論文 参考訳(メタデータ) (2026-02-06T08:25:30Z) - Epistemic Context Learning: Building Trust the Right Way in LLM-Based Multi-Agent Systems [94.9141394384021]
マルチエージェントシステムの個々のエージェントは、しばしば堅牢性を欠き、誤解を招く仲間に盲目的に適合する傾向にある。
この弱点は, 相互信頼度を評価する能力の欠如に起因していると考えられる。
まず,歴史認識参照の学習問題を定式化し,ピア間の歴史的相互作用を付加的な入力として導入する。
次に,歴史的に構築されたピアプロファイルの予測を行うための推論フレームワークであるEcestemic Context Learning (ECL) を開発した。
論文 参考訳(メタデータ) (2026-01-29T13:59:32Z) - The Facade of Truth: Uncovering and Mitigating LLM Susceptibility to Deceptive Evidence [49.94160400740222]
MisBeliefは、協調的な多ラウンドの相互作用によって誤解を招く証拠を生成するフレームワークである。
MisBeliefを用いて、3つの難易度で4,800のインスタンスを生成し、7つの代表的なLCMを評価する。
結果は、モデルは直接的な誤報に対して堅牢であるが、この洗練された証拠に非常に敏感であることを示している。
本稿では,疑似意図を証拠裏で推測することにより早期警告信号を提供するガバナンス機構である,認知的意図遮蔽(DIS)を提案する。
論文 参考訳(メタデータ) (2026-01-09T02:28:00Z) - Verifying Large Language Models' Reasoning Paths via Correlation Matrix Rank [71.09032766271493]
大規模言語モデル (LLM) は誤りや幻覚を引き起こす傾向がある。
アウトプットを効果的かつ効率的にチェックする方法は、アプリケーションにとって重要な問題となっている。
論文 参考訳(メタデータ) (2025-10-28T11:01:10Z) - LLMs Can Get "Brain Rot"! [68.08198331505695]
ジャンクウェブテキストへの連続曝露は、大規模言語モデル(LLM)の持続的認知低下を誘導する
実Twitter/Xコーパスで制御された実験を行い、ジャンクと逆制御されたデータセットを構築します。
その結果、データ品質がLLM能力の崩壊の原因であることを示す重要な多視点的証拠が得られた。
論文 参考訳(メタデータ) (2025-10-15T13:28:49Z) - Revisiting Backdoor Attacks on LLMs: A Stealthy and Practical Poisoning Framework via Harmless Inputs [54.90315421117162]
完全無害データを用いた新しい毒殺法を提案する。
自己回帰型LPMの因果推論に着想を得て,トリガーと肯定的応答プレフィックスの堅牢な関連性を確立することを目指す。
LLMは最初は同意するように見えるが,その後回答を拒む興味深い抵抗現象を観察する。
論文 参考訳(メタデータ) (2025-05-23T08:13:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。