論文の概要: Count-Based Approaches Remain Strong: A Benchmark Against Transformer and LLM Pipelines on Structured EHR

• arxiv url: http://arxiv.org/abs/2511.00782v1
• Date: Sun, 02 Nov 2025 03:28:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-05 16:37:26.931686
• Title: Count-Based Approaches Remain Strong: A Benchmark Against Transformer and LLM Pipelines on Structured EHR
• Title（参考訳）: Count-based Approachsmain strong: A Benchmark against Transformer and LLM Pipelines on Structured EHR
• Authors: Jifan Gao, Michael Rosenthal, Brian Wolpin, Simona Cristea,
• Abstract要約: EHRSHOTデータセットを用いて,EHR予測の方法論を3つのカテゴリで評価した。 EHRSHOTデータセットを用いて8つの結果を評価した。 8つの評価課題において、頭対頭勝利はカウントベース法と混合エージェント法に大きく分けられた。
• 参考スコア（独自算出の注目度）: 0.970873137713613
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Structured electronic health records (EHR) are essential for clinical prediction. While count-based learners continue to perform strongly on such data, no benchmarking has directly compared them against more recent mixture-of-agents LLM pipelines, which have been reported to outperform single LLMs in various NLP tasks. In this study, we evaluated three categories of methodologies for EHR prediction using the EHRSHOT dataset: count-based models built from ontology roll-ups with two time bins, based on LightGBM and the tabular foundation model TabPFN; a pretrained sequential transformer (CLMBR); and a mixture-of-agents pipeline that converts tabular histories to natural-language summaries followed by a text classifier. We assessed eight outcomes using the EHRSHOT dataset. Across the eight evaluation tasks, head-to-head wins were largely split between the count-based and the mixture-of-agents methods. Given their simplicity and interpretability, count-based models remain a strong candidate for structured EHR benchmarking. The source code is available at: https://github.com/cristea-lab/Structured_EHR_Benchmark.
• Abstract（参考訳）: 構造化された電子健康記録(EHR)は臨床予測に不可欠である。 カウントベースの学習者は、こうしたデータに対して強いパフォーマンスを保ち続けているが、ベンチマークは、様々なNLPタスクにおいて単一のLLMよりも優れていると報告されている、より最近の混合型LLMパイプラインと直接比較していない。 本研究では,EHRSHOTデータセットを用いたEHR予測手法の3つのカテゴリを,LightGBMとTabPFNをベースとしたオントロジーロールアップから構築したカウントベースモデル,CLMBR(Pretrained Sequence Transformer),および表層履歴を自然言語要約に変換する混合エージェントパイプライン,およびテキスト分類器を用いて評価した。 EHRSHOTデータセットを用いて8つの結果を評価した。 8つの評価課題において、頭対頭勝利はカウントベース法と混合エージェント法に大きく分けられた。 単純さと解釈可能性を考えると、カウントベースのモデルは構造化されたEHRベンチマークの有力な候補である。 ソースコードは、https://github.com/cristea-lab/Structured_EHR_Benchmarkで入手できる。

関連論文リスト

• Cross-Representation Benchmarking in Time-Series Electronic Health Records for Clinical Outcome Prediction [44.23284500920266]
  このベンチマークは、2つの異なる臨床環境におけるデータキュレーションと評価を標準化する。 実験によると、イベントストリームモデルは、常に最強のパフォーマンスを提供する。 特徴選択戦略は臨床環境に適応する必要がある。
  論文  参考訳（メタデータ） (2025-10-10T09:03:47Z)
• IDA-Bench: Evaluating LLMs on Interactive Guided Data Analysis [60.32962597618861]
  IDA-Benchは、多ラウンドの対話シナリオで大規模言語モデルを評価する新しいベンチマークである。 エージェント性能は、最終的な数値出力と人間由来のベースラインを比較して判断する。 最先端のコーディングエージェント(Claude-3.7-thinkingなど)でさえ50%のタスクを成功させ、シングルターンテストでは明らかでない制限を強調している。
  論文  参考訳（メタデータ） (2025-05-23T09:37:52Z)
• Improving Pretraining Data Using Perplexity Correlations [56.41097718862742]
  我々は,LLM学習を必要とせず,高品質な事前学習データを選択するフレームワークを提案する。 我々は,パープレキシティ-ベンチマーク相関の推定を中心に,データ選択のための新しい統計フレームワークを構築した。 提案手法は,DataComp-LMで見つかった最高のデータセレクタをマッチングしながら,各ベンチマークでDSIRより優れている。
  論文  参考訳（メタデータ） (2024-09-09T17:23:29Z)
• Simple and Scalable Strategies to Continually Pre-train Large Language Models [20.643648785602462]
  大規模言語モデル(LLM)は、数十億のトークンで定期的に事前訓練されるが、新しいデータが利用可能になると、プロセスを再開する。 学習率のリウォーミング、LR再計算、過去のデータのリプレイをシンプルかつスケーラブルに組み合わせることで、スクラッチから完全に再学習する性能に匹敵することを示す。
  論文  参考訳（メタデータ） (2024-03-13T17:58:57Z)
• EHRSHOT: An EHR Benchmark for Few-Shot Evaluation of Foundation Models [6.506937003687058]
  スタンフォード大学の6,739人の患者の電子健康記録(EHRs)から構造化されたデータを含む新しいデータセット EHRSHOT を公表した。 第2に,257万症例のERHデータに基づいて事前訓練した141Mパラメータ臨床基盤モデルであるCLMBR-T-baseの重みを公表した。 第3に、15の臨床的予測タスクを定義し、サンプル効率やタスク適応などの利点に基づく基礎モデルの評価を可能にする。
  論文  参考訳（メタデータ） (2023-07-05T05:24:59Z)
• On Learning to Summarize with Large Language Models as References [101.79795027550959]
  大型言語モデル (LLM) は、一般的な要約データセットにおける元の参照要約よりも人間のアノテーションに好まれる。 より小さなテキスト要約モデルに対するLLM-as-reference学習設定について検討し,その性能が大幅に向上するかどうかを検討する。
  論文  参考訳（メタデータ） (2023-05-23T16:56:04Z)
• Zero-Shot Listwise Document Reranking with a Large Language Model [58.64141622176841]
  本稿では,タスク固有の学習データを用いることなく,言語モデル(LRL)を用いたリスワイズ・リランカを提案する。 3つのTRECウェブサーチデータセットの実験により、LRLは第1段検索結果の再ランク付け時にゼロショットポイントワイズ法より優れるだけでなく、最終段再ランカとしても機能することが示された。
  論文  参考訳（メタデータ） (2023-05-03T14:45:34Z)
• Conversational Question Reformulation via Sequence-to-Sequence Architectures and Pretrained Language Models [56.268862325167575]
  本稿では、列列列構造と事前学習言語モデル(PLM)を用いた会話型質問修正(CQR)の実証的研究について述べる。 我々はPLMを利用して、CQRタスクの目的である最大推定におけるトークン・トークン・トークン・トークンの独立性の強い仮定に対処する。 我々は、最近導入されたCANARDデータセットの微調整PLMをドメイン内タスクとして評価し、TREC 2019 CAsT Trackのデータからドメイン外タスクとしてモデルを検証する。
  論文  参考訳（メタデータ） (2020-04-04T11:07:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。