論文の概要: The widening evaluation gap in medical large language model research 2023 to 2026
- arxiv url: http://arxiv.org/abs/2609.11770v1
- Date: Thu, 10 Sep 2026 16:25:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-11 23:53:35.445562
- Title: The widening evaluation gap in medical large language model research 2023 to 2026
- Title（参考訳）: 2023年から2026年までの医学大言語モデル研究における評価ギャップの拡大
- Abstract要約: 大規模な言語モデルは、数四半期ごとに取って代わられ、臨床的な証拠は何年もかかる。
PubMedは、2023年1月から2026年6月までに14の臨床ドメインで11,628レコードを返却し、45倍に成長した。
新しいシステムへの移行は、ドリフトのわずか56%をオフセットした。
開発中のモデルを命名する研究では、他のどのモデルとも違いはない。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models are superseded every few quarters; clinical evidence takes years. We asked whether medical research is keeping pace with the systems it evaluates. PubMed returned 11,628 records for January 2023 to June 2026 across fourteen clinical domains, growing 45-fold; 2.5% used a randomised, controlled or prospective design. Evaluation lag, from a study's newest named model release to its own publication, widened from 1.33 to 6.08 quarters. Because discontinued models age mechanically, we benchmarked this against a counterfactual holding model composition fixed: migration to newer systems offset only 56% of the drift (95% CI 50-65). Randomised trials evaluated models a median 4.6 quarters older than other designs (P = 3 x 10^-19), yet among studies naming a model still under development no design differed from any other; 62% of randomised trials evaluated a discontinued family. Rigour and currency are in tension, and that tension reflects model selection rather than research timelines.
- Abstract（参考訳）: 大規模な言語モデルは、数四半期ごとに取って代わられ、臨床的な証拠は何年もかかる。
我々は、医療研究が評価システムとペースを保っているかどうかを尋ねた。
PubMedは2023年1月から2026年6月までに14の臨床ドメインで11,628レコードを返却し、45倍に成長した。
最新のモデルリリースから独自の出版物まで、評価の遅れは1.33から6.08に拡大した。
廃止したモデルが機械的に老朽化しているため,本研究では,新しいシステムへの移行はドリフトの56%(95% CI 50-65)に過ぎなかった。
ランダム化試験では、他の設計よりも中央値4.6分の1古いモデル(P = 3 x 10^-19)が評価されたが、まだ開発中のモデルの名前は他のモデルと異なるものはなく、ランダム化試験の62%が廃止家族を評価した。
リグールと通貨は緊張状態にあり、その緊張は研究スケジュールよりもモデル選択を反映している。
関連論文リスト
- PhenoBench: Mapping What a Deeply Phenotyped Human Cohort Can Tell Us [0.7084863262134483]
我々は、Human Phenotype Projectを中心に構築された実行可能なベンチマークであるPhenoBenchを紹介する。
このベンチマークでは、15のドメインと26の入力モダリティで90の臨床的根拠を持つタスクを定義している。
測定結果から, 肯定的, ほぼゼロ的, 否定的変化を含む, 疑似および表現依存的予測値が得られた。
論文 参考訳（メタデータ） (2026-09-05T13:15:40Z) - Model Retirement Creates Reproducibility Risk in Biomedical AI Publications [0.0]
バイオメディカルタスクに特定の大規模言語モデルを適用した研究論文について,PubMedを検索した。
我々は,5,242冊にまたがる8,931冊の論文を同定した。
全体の42%は、公式発表の時点で既に引退していたモデルか、2年以内に引退する予定のモデルであった。
論文 参考訳（メタデータ） (2026-09-04T04:00:54Z) - Simulating clinical interventions with a generative multimodal model of human physiology [49.828582089394445]
HealthFormerは、人間の生理的軌道を生成的にモデル化するデコーダのみのトランスフォーマーである。
7つの領域にまたがる667個の測定値に対して,各被験者の健康軌道をトークン化する。
HealthFormerは、30のインシデント障害および死亡エンドポイントのうち27の予測を改善し、各比較で確立された臨床リスクスコアを超えた。
論文 参考訳（メタデータ） (2026-04-30T14:10:30Z) - Explainable Admission-Level Predictive Modeling for Prolonged Hospital Stay in Elderly Populations: Challenges in Low- and Middle-Income Countries [65.4286079244589]
長期滞在期間 (pLoS) は, 院内感染のリスクに関連する重要な要因である。
入院レベルの患者と病院の診療データを用いて, pLosの予測モデルを開発し, 解説する。
論文 参考訳（メタデータ） (2026-01-07T23:35:24Z) - Medical Hallucinations in Foundation Models and Their Impact on Healthcare [71.15392179084428]
基礎モデルの幻覚は自己回帰訓練の目的から生じる。
トップパフォーマンスモデルは、チェーン・オブ・シークレット・プロンプトで強化された場合、97%の精度を達成した。
論文 参考訳（メタデータ） (2025-02-26T02:30:44Z) - Using Pre-training and Interaction Modeling for ancestry-specific disease prediction in UK Biobank [69.90493129893112]
近年のゲノムワイド・アソシエーション(GWAS)研究は、複雑な形質の遺伝的基盤を明らかにしているが、非ヨーロッパ系個体の低発現を示している。
そこで本研究では,マルチオミクスデータを用いて,多様な祖先間での疾患予測を改善することができるかを評価する。
論文 参考訳（メタデータ） (2024-04-26T16:39:50Z) - TotalSegmentator: robust segmentation of 104 anatomical structures in CT
images [48.50994220135258]
身体CT画像の深層学習セグメント化モデルを提案する。
このモデルは、臓器の容積、疾患の特徴、外科的または放射線療法計画などのユースケースに関連する104の解剖学的構造を区分することができる。
論文 参考訳（メタデータ） (2022-08-11T15:16:40Z) - Identifying and mitigating bias in algorithms used to manage patients in
a pandemic [4.756860520861679]
現実のデータセットを使用して、新型コロナウイルスの死亡率、人工呼吸器の状態、入院状態を予測するために、ロジスティック回帰モデルが作成された。
モデルではバイアス試験の回数が57%減少した。
キャリブレーション後, 予測モデルの平均感度は0.527から0.955に増加した。
論文 参考訳（メタデータ） (2021-10-30T21:10:56Z) - On the explainability of hospitalization prediction on a large COVID-19
patient dataset [45.82374977939355]
我々は、新型コロナウイルス陽性の米国の患者の大規模な(110ドル以上)コホートでの入院を予測するために、さまざまなAIモデルを開発した。
高いデータアンバランスにもかかわらず、モデルは平均精度0.96-0.98 (0.75-0.85)、リコール0.96-0.98 (0.74-0.85)、F_score097-0.98 (0.79-0.83)に達する。
論文 参考訳（メタデータ） (2021-10-28T10:23:38Z) - Developing and validating multi-modal models for mortality prediction in
COVID-19 patients: a multi-center retrospective study [1.5308395762165423]
マルチセンター患者データを用いて、新型コロナウイルス死亡予測のためのマルチモーダルモデルの開発と検証を行った。
私たちのゴールは、調査員や組織が予測、分類、最適化のためのマルチモーダルモデルを構築するのを支援するツールキットを作ることです。
論文 参考訳（メタデータ） (2021-09-01T04:46:27Z) - Inter-Series Attention Model for COVID-19 Forecasting [23.58411106491221]
我々は、複数の領域から得られた時系列のパターンを比較して予測を行う、Attention Crossing Time Series (textbfACTS)と呼ばれる新しいニューラル予測モデルを開発した。
新たに確認された症例、入院、死亡の予測を含む18件中13件の検査のうち、textbfACTSはCDCが強調した主要な新型コロナウイルス(COVID-19)の予測を上回っている。
論文 参考訳（メタデータ） (2020-10-25T00:11:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。