論文の概要: Does Your Trial Simulator Know What the Drug Does? An Intervention-Blind Test of Interventional Validity on 7,207 Registered Trials
- arxiv url: http://arxiv.org/abs/2611.05907v1
- Date: Wed, 04 Nov 2026 03:59:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-06 03:25:57.936259
- Title: Does Your Trial Simulator Know What the Drug Does? An Intervention-Blind Test of Interventional Validity on 7,207 Registered Trials
- Title(参考訳): インターベンションBlind Test of Intervention-Blind Test of Interventional Validity on 7,207 Registered Trials
- Abstract要約: 患者世界モデルは、臨床試験のシミュレーターとしてますます提案されている。
我々は7,207件の試験結果と比較して,9,996件の検査結果を得た。
我々は、どの介入がテストされたかを知ることで、その正確さがどの程度依存しているかをシミュレーターにスコア付けする。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Patient world models are increasingly proposed as simulators of clinical trials, and recent surveys rank their capabilities on a ladder from temporal prediction to counterfactual rollouts. Position on that ladder is currently assigned by reading papers rather than by measurement. We turn the counterfactual rung into a measured quantity. From 30,119 completed phase 2/3 trials with results posted to ClinicalTrials.gov we construct 9,996 audited within-trial contrasts from 7,207 trials, and we score a simulator on how much of its accuracy depends on knowing which intervention was tested. The instrument is an intervention-blind reference: the same model, trained on the same trials, with every intervention-identifying field withheld. Interventional skill is the error the full model removes relative to that reference. On a temporal split (878 test contrasts from 655 trials) a registry-trained gradient-boosting simulator removes a fifth of the error of a trivial baseline, but its interventional skill is -0.12 (95% CI -0.21 to -0.05): withholding the intervention makes it better, and no alternative featurisation, stratum, temporal cut or same-molecule retrieval yields an interval above zero. A frontier language model reading only the registered protocol has interventional skill 0.20 [0.08, 0.31]; smaller and open-weight models sit at the limit of detection. Perturbation tests show the large model uses the intervention as such: swapping the arms reverses the sign of its prediction in 86% of contrasts. The blind reference is itself not drug-blind (a language model recovers the withheld drug class 45% of the time from the blind prompt), so interventional skill is a conservative lower bound. A reliability layer shows that ranking by predicted error lowers it but that calibrated error control does not transfer under temporal shift. Benchmark, code, prompts and per-call model outputs are released.
- Abstract(参考訳): 患者世界モデルは、臨床試験のシミュレーターとしてますます提案されており、最近の調査では、時間的予測から反現実的なロールアウトまで、その能力をはしごにランク付けしている。
そのはしごの位置は、現在測定ではなく、論文を読むことで割り当てられている。
我々は、その反事実的暴走を測定量に変える。
30,119回から第2/3相試験が完了し,試験結果がCricerTrials.govに投稿された。
この楽器は介入盲検参照であり、同じ試験で訓練された同じモデルであり、すべての介入識別フィールドは保持されない。
インターベンショナルスキルは、フルモデルがその参照に対して削除するエラーである。
時間分割(第878テストは655試行とは対照的)では、登録訓練された勾配ブースティングシミュレータは、自明なベースラインの誤差の5分の1を除去するが、介入技術は-0.12(95% CI -0.21から-0.05)であり、介入がより良くなる。
登録されたプロトコルのみを読み込むフロンティア言語モデルは介入スキル0.20[0.08, 0.31]を有しており、小型でオープンウェイトなモデルは検出限界に置かれている。
腕を交換すると86%のコントラストでその予測の兆候が逆転する。
盲目参照は、それ自体が薬物盲目ではない(言語モデルでは、失明プロンプトから薬物の45%を回復する)ため、介入スキルは保守的な下限である。
信頼性層は、予測エラーによるランク付けが低下するが、時間シフトの下では、校正エラー制御が転送されないことを示す。
ベンチマーク、コード、プロンプト、コール単位のモデル出力がリリースされる。
関連論文リスト
- Can saliency maps flag chest radiograph classifier errors at a new hospital? An external validation study [34.22295500048467]
我々はNIH ChestX-ray14で畳み込みネットワークとビジョントランスフォーマーを訓練した。
研修病院および米国とベトナムの2箇所で1モデルあたり303,768の判定を行った。
分類された胸郭領域の属性の領域正規化濃度である解剖学的濃厚度を用いて各説明を行い,モデルの信頼性を超える誤差を検出するかどうかを検証した。
論文 参考訳(メタデータ) (2026-11-03T14:57:22Z) - ScienceBuddy-PV: A Verifier-Governed Recursive Improvement Protocol for Panvascular Intervention Research [10.439532348359288]
ScienceBuddyはScienceBuddyのデザインを、構造化されたエビデンス台帳、デバイス容器、禁断契約、障害銀行の維持を通じて、血管介入の研究に適合させる。
我々は、ARCADE構文と狭窄タスクを別々に使用して、完全なエージェントシステムではなく、固定されたコンポーネントを監査する。
論文 参考訳(メタデータ) (2026-10-10T03:35:28Z) - Intervention anchors and scientific verification in synthetic vascular predictive representations [10.439532348359288]
本稿では,血管装置-血管適合性に基づく数学的および合成監査について述べる。
64種にまたがる6つの3次元構成は6.7e-15の最大対差を与えた。
576件の障害実行はすべて完了したが、それぞれが少なくとも1件の再構築、予測、配信・編集、スコープ契約に違反した。
論文 参考訳(メタデータ) (2026-10-08T11:10:56Z) - TimeLitmus: A Diagnostic Benchmark for Cross-Modal Understanding and Explanation Faithfulness in Event-Conditioned Time-Series Prediction [48.104261148149654]
TimeLitmusは、イベント条件付き時系列予測における相互理解と忠実さの説明のための診断ベンチマークである。
TimeLitmusには財務と交通の計4,856件の評価記録がある。
論文 参考訳(メタデータ) (2026-09-21T14:38:49Z) - Counterfactual Fairness Audits of Multi-Step Clinical LLM Agents Require a Measured Per-Action Instability Floor [3.0704370207786265]
本研究は, アクションフロアを横に置かずに報告した反実的公正度推定値が, 相違の証拠として読めないことを示す。
FairMedAgentは, 臨床適応剤の作用の差異を評価するための評価ハーネスである。
論文 参考訳(メタデータ) (2026-09-02T23:38:17Z) - PGP-Clinical-TimeKAN: Prior-Guided Joint Probabilistic Forecasting of Clinical Trajectories [33.074550441856196]
PGP-Clinical-TimeKANは多変量生理学の合同確率予測のための軌道優先のフレームワークである。
欠如を意識した時間エンコーダ、ソフトオルガン前駆体、患者固有の関係、非線形コルモゴロフ・アルノルドメッセージ、低ランクの多変量学生-tヘッドを組み合わせる。
論文 参考訳(メタデータ) (2026-08-24T23:33:35Z) - RareLens: Towards End-to-End Rare Disease Care via Aligning Divergent Large Language Model Reasoning [42.80742579670377]
RareLensは、まれな疾患の軌跡全体にわたる臨床的意思決定を支援するシステムである。
RareBenchは、33のOrphanetカテゴリと7000以上の条件にまたがる157,525件の実際のデータセットである。
検診で0.917、診断と治療で65.5%、89.8%の成績を収めた。
論文 参考訳(メタデータ) (2026-07-25T16:58:10Z) - SafeImpute: Reliable Clinical Data Imputation via Conformal Selection [35.40404498771435]
臨床医療は重要な検査指標に頼っていることが多いが、実際の患者訪問は少なく、検査は不規則に発注される。
本研究は, 信頼性のある治療効果を選択的に解放しつつ, 正確な治療効果を生み出すことを目的として, 信頼性の高い治療効果について検討する。
本稿では,不規則かつスパースな臨床記録のための信頼性のある計算手法であるSafeImputeを提案する。
論文 参考訳(メタデータ) (2026-07-06T20:16:21Z) - Enhancing Clinician Decision-Making via Uncertainty-Aware Multi-Expert Fusion for Stroke Rehabilitation [0.32553561239735207]
臨床的判断に取って代わるのではなく、拡張するように設計されたエンジンであるxAARAを提示する。
xAARAは、タスク、ムーブメントフェーズ、ムーブメント品質のレベルを越えて、キャリブレーションされた不確実性と説明でARATアセスメントを返します。
105回のストロークサバイバー(788回の運動)では、xAARAは94.2%のタスク精度と81.3%の移動位相精度を達成した。
論文 参考訳(メタデータ) (2026-06-23T09:00:15Z) - COVID-19 Prognosis via Self-Supervised Representation Learning and
Multi-Image Prediction [32.91440827855392]
胸部X線に基づいて2種類の患者の劣化を予測するタスクを検討する。
新型コロナウイルス(covid-19)患者のデータが少ないため、既存のソリューションは、関連しない画像で教師付き事前トレーニングを利用する。
本論文では,前訓練段階における運動量コントラスト(MoCo)法に基づく自己監督学習を用いて,下流タスクに用いる一般的な画像表現を学習する。
論文 参考訳(メタデータ) (2021-01-13T07:03:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。