論文の概要: A Comparative Framework for Evaluating Foundation Models on Tabular Data: A Case Study in Healthcare
- arxiv url: http://arxiv.org/abs/2609.22154v1
- Date: Wed, 26 Aug 2026 09:42:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-28 05:09:55.736141
- Title: A Comparative Framework for Evaluating Foundation Models on Tabular Data: A Case Study in Healthcare
- Title(参考訳): タブラルデータに基づく基礎モデル評価のための比較枠組み : ヘルスケアを事例として
- Abstract要約: 臨床的に有意な6次元の表層基礎モデル(TFM)を評価・ランク付けする比較評価フレームワークであるシステムを紹介する。
各次元は測定可能なサブコンポーネントに分解され、サブコンポーネントの群はスーパーメトリックと呼ばれる補足的な複合スコアに結合することができる。
フレームワークが実際にどのように機能しているかを示すために、鉄欠乏のスクリーニングと心不全の予測という、2つの医療ユースケースに適用し、同じメトリクスセットが、それぞれの臨床状況において最も重要なものによって、どのように異なるモデルランキングをもたらすかを示す。
- 参考スコア(独自算出の注目度): 0.2621730497733947
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Tabular data is the most common format in clinical practice, encompassing laboratory results, medication records, diagnostic codes, and patient demographics. As foundation models for tabular data have grown in number and variety, a practical question has become harder to answer: which model should a clinician or data scientist actually choose for a given task, and why? Existing surveys catalogue what these models can do, but they stop short of providing a structured way to compare them against the specific demands of a real application. We introduce \system{}, a comparative evaluation framework that scores and ranks tabular foundation models (TFMs) across six clinically meaningful dimensions: how well a model generalizes to new datasets, how effectively it protects patient privacy, how much data it needs to perform well, how it scales with growing datasets and feature spaces, how interpretable its predictions are to clinicians, and how fairly it performs across patient subgroups. Each dimension is broken down into measurable sub-components, and groups of sub-components can optionally be combined into supplementary compound scores, called super-metrics, that provide a diagnostic view of how a model performs across several dimensions simultaneously. To show how the framework works in practice, we apply it to two healthcare use cases, screening for iron deficiency and predicting heart failure, demonstrating how the same set of metrics leads to different model rankings depending on what matters most in each clinical context. We also provide a taxonomy of 45 TFMs organized by their underlying architecture, which serves as a reference for researchers and practitioners looking to navigate this rapidly expanding field.
- Abstract(参考訳): タブラルデータ(Tabular data)は、臨床実践において最も一般的なフォーマットであり、検査結果、医薬品記録、診断コード、患者人口統計などを含んでいる。
表型データの基盤モデルが数と多様性を増すにつれて、現実的な疑問に答えることが難しくなっている。
既存のサーベイは、これらのモデルにできることをカタログ化しているが、実際のアプリケーションの特定の要求と比較するための構造化された方法を提供するのをやめている。
これは、新しいデータセットにモデルをいかに一般化するか、患者のプライバシを効果的に保護するか、どれだけのデータを適切に処理する必要があるか、成長するデータセットや特徴空間とどのようにスケールするか、その予測が臨床医にどのように解釈されるか、そして患者サブグループ間でどれだけ機能するか、の6つの臨床的に有意義な範囲で表層基盤モデル(TFMs)をスコアしランク付けする比較評価フレームワークである。
各次元は測定可能なサブコンポーネントに分解され、サブコンポーネントの群は任意にスーパーメトリックと呼ばれる補足的な複合スコアに結合することができ、モデルが複数の次元で同時にどのように機能するかの診断的ビューを提供する。
フレームワークが実際にどのように機能しているかを示すために、鉄欠乏のスクリーニングと心不全の予測という、2つの医療ユースケースに適用し、同じメトリクスセットが、それぞれの臨床状況において最も重要なものによって、どのように異なるモデルランキングをもたらすかを示す。
また、その基盤となるアーキテクチャによって構成された45のFMの分類も提供し、この急速に拡大する分野を探索する研究者や実践者の参考となる。
関連論文リスト
- Future Querying: Can LLMs Serve as Implicit Medical World Models? [3.3341114691426257]
我々は,大規模言語モデル(LLM)が暗黙の医療世界モデルとして機能するかどうかを探索するパラダイムである,未来のクエリーを導入する。
本フレームワークは,エンドポイントに依存しないトレーニングを用いて,非構造的臨床文書を運用する。
局所的に微調整された小型オープンウェイトモデルは、より大きなプロプライエタリなシステムにマッチまたはアプローチ可能であることを示す。
論文 参考訳(メタデータ) (2026-08-24T13:41:12Z) - Lessons Learned on Information Retrieval in Electronic Health Records: A Comparison of Embedding Models and Pooling Strategies [8.822087602255504]
大きな言語モデルを臨床領域に適用することは、医療記録を処理するという文脈重大な性質のために困難である。
本稿では, 組込みモデルとプール法の違いが臨床領域の情報検索に与える影響について検討する。
論文 参考訳(メタデータ) (2024-09-23T16:16:08Z) - Medical Vision-Language Pre-Training for Brain Abnormalities [96.1408455065347]
本稿では,PubMedなどの公共リソースから,医用画像・テキスト・アライメントデータを自動的に収集する方法を示す。
特に,まず大きな脳画像テキストデータセットを収集することにより,事前学習プロセスの合理化を図るパイプラインを提案する。
また,医療領域におけるサブフィギュアをサブキャプションにマッピングするというユニークな課題についても検討した。
論文 参考訳(メタデータ) (2024-04-27T05:03:42Z) - Towards a clinically accessible radiology foundation model: open-access and lightweight, with automated evaluation [113.5002649181103]
オープンソースの小型マルチモーダルモデル(SMM)を訓練し、放射線学における未測定臨床ニーズに対する能力ギャップを埋める。
トレーニングのために,697万以上の画像テキストペアからなる大規模なデータセットを組み立てる。
評価のために,GPT-4に基づく実測値CheXpromptを提案する。
LlaVA-Radの推論は高速で、単一のV100 GPU上でプライベート設定で実行できる。
論文 参考訳(メタデータ) (2024-03-12T18:12:02Z) - TREEMENT: Interpretable Patient-Trial Matching via Personalized Dynamic
Tree-Based Memory Network [54.332862955411656]
臨床試験は薬物開発に不可欠であるが、しばしば高価で非効率な患者募集に苦しむ。
近年,患者と臨床試験を自動マッチングすることで患者採用を高速化する機械学習モデルが提案されている。
本稿では,TREement という名前の動的ツリーベースメモリネットワークモデルを導入する。
論文 参考訳(メタデータ) (2023-07-19T12:35:09Z) - The Shaky Foundations of Clinical Foundation Models: A Survey of Large
Language Models and Foundation Models for EMRs [5.7482228499062975]
非イメージングEMRデータに基づいて訓練された80以上の基礎モデルをレビューする。
ほとんどのモデルが、小さく、狭められた臨床データセットでトレーニングされていることが分かりました。
臨床基礎モデルの利点を評価するための評価フレームワークを提案する。
論文 参考訳(メタデータ) (2023-03-22T23:54:14Z) - TrialGraph: Machine Intelligence Enabled Insight from Graph Modelling of
Clinical Trials [0.0]
我々はCT.gov, AACT, TrialTroveデータベースから収集した治験データセット(n=1191臨床試験、100万人の患者を代表する)を紹介する。
次に,グラフ機械学習アルゴリズムの数学的基礎と実装について詳述する。
我々はこれらのモデルを用いて、疾患、既往の医療状況、治療に関する情報を与えられた臨床試験の副作用情報を予測する訓練を行った。
論文 参考訳(メタデータ) (2021-12-15T15:36:57Z) - SANSformers: Self-Supervised Forecasting in Electronic Health Records
with Attention-Free Models [48.07469930813923]
本研究は,医療施設への患者訪問数を予測することにより,医療サービスの需要を予測することを目的とする。
SNSformerは、特定の帰納バイアスを設計し、EHRデータの特異な特徴を考慮に入れた、注意のない逐次モデルである。
本研究は, 各種患者集団を対象とした医療利用予測の修正における, 注意力のないモデルと自己指導型事前訓練の有望な可能性について考察した。
論文 参考訳(メタデータ) (2021-08-31T08:23:56Z) - Adversarial Sample Enhanced Domain Adaptation: A Case Study on
Predictive Modeling with Electronic Health Records [57.75125067744978]
ドメイン適応を容易にするデータ拡張手法を提案する。
逆生成したサンプルはドメイン適応時に使用される。
その結果,本手法の有効性とタスクの一般性が確認された。
論文 参考訳(メタデータ) (2021-01-13T03:20:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。