論文の概要: EpiCurveBench: Evaluating VLMs on Epidemic Curve Digitization
- arxiv url: http://arxiv.org/abs/2605.27195v1
- Date: Tue, 26 May 2026 15:48:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-27 17:51:42.393831
- Title: EpiCurveBench: Evaluating VLMs on Epidemic Curve Digitization
- Title(参考訳): EpiCurveBench: エピデミック曲線ディジタル化におけるVLMの評価
- Authors: Thomas Berkane, Maimuna S. Majumder,
- Abstract要約: EpiCurveBenchは、様々な公衆衛生ソースから収集された1000の現実世界の流行曲線のベンチマークである。
EpiCurveSimilarity (ECS) は、動的プログラミングによって予測された直列と直交する評価指標である。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Chart-to-data extraction with vision-language models (VLMs) is increasingly evaluated on benchmarks that show diminishing headroom (frontier VLMs exceed 89% on ChartQA) and with metrics that treat extracted points as unordered key-value pairs, ignoring the temporal structure of time series and penalizing small alignment shifts as catastrophic failures. We address both gaps with EpiCurveBench, a benchmark of 1,000 real-world epidemic curve images curated from diverse public-health sources, and EpiCurveSimilarity (ECS), an evaluation metric that aligns predicted and ground-truth series via dynamic programming, tolerating local temporal shifts and gaps while penalizing them proportionally. Evaluating six methods--three frontier closed VLMs, one open VLM, and two specialized chart-extraction systems--we find the strongest model reaches only 52.3% ECS, and that ECS spreads the four general-purpose VLMs over a 25-point range where key-value metrics (RMS, SCRM) compress them into a 5-point band. We further validate ECS against four downstream epidemiological summary statistics, finding that higher ECS predicts smaller errors in total counts, peak timing, and peak magnitude, and higher growth-rate fidelity; across all four, ECS correlates 1.5--3.6 times more strongly than Dynamic Time Warping, which lacks a gap penalty and therefore cannot distinguish a truncated prediction from a temporally faithful one. EpiCurveBench targets a high-impact public-health application--unlocking decades of outbreak data trapped in published figures--but the benchmark and metric apply directly to any structured time-series chart-extraction setting.
- Abstract(参考訳): 視覚言語モデル(VLM)を用いたチャート・ツー・データ抽出は、頭部の減少(チャートQAでは最前線のVLMが89%以上)を示すベンチマークや、抽出されたポイントを非順序のキー値対として扱い、時系列の時間構造を無視し、破滅的な失敗として小さなアライメントシフトをペナライズするメトリクスでますます評価されている。
本研究では,多種多様な公衆衛生ソースから算出した1000の現実世界の流行曲線画像のベンチマークであるEpiCurveBenchと,動的プログラミングによる予測と地平線の整合性の評価指標であるEpiCurveSimilarity(ECS)を用いて,局所的な時間変化とギャップを許容し,比例的にペナル化する。
6つの手法(フロンティアクローズドVLM、1つのオープンVLM、2つの特殊なチャート抽出システム)を評価することで、最強のモデルが52.3%のECSに到達し、4つの汎用VLMがキー値メトリクス(RMS、SCRM)が5ポイントの帯域に圧縮される25ポイントの範囲に広がることを発見した。
さらに4つの下流の疫学的要約統計に対してECSを検証したところ、ECSは総数、ピークタイミング、ピークマグニチュードの誤差を小さく予測し、成長速度の忠実度を高くし、ECSの相関はダイナミック・タイム・ワープの1.5~3.6倍であり、ギャップペナルティが欠如しているため、時間的に忠実な予測とは区別できない。
EpiCurveBenchは、公表された数字に閉じ込められた何十年ものアウトブレイクデータを解き放つ、ハイインパクトな公衆衛生アプリケーションをターゲットにしているが、ベンチマークとメトリクスは、構造化された時系列チャートの抽出設定に直接適用される。
関連論文リスト
- CSRA: Controlled Spectral Residual Augmentation for Robust Sepsis Prediction [18.002117522396755]
本稿では,短時間ICU時系列を対象としたスペクトル残差増大フレームワークを提案する。
CSRAは、臨床システムによる変数を最初にグループ化し、システムレベルおよびグローバルな表現を抽出する。
その後、スペクトル領域で入力適応的残留摂動を行い、構造化され、臨床的に妥当な軌道変化を生成する。
論文 参考訳(メタデータ) (2026-04-16T01:52:13Z) - MATA-Former & SIICU: Semantic Aware Temporal Alignment for High-Fidelity ICU Risk Prediction [8.92515305370631]
本稿では,予測モデリングを臨床論理と整合させる枠組みを提案する。
我々は,二項分類を連続的多軸回帰に変換するためのプラトー・ガウスソフトラベリング(PSL)を導入する。
本フレームワークは,テキスト集約的,不規則な臨床時系列からリスクを捕捉する上で,優れた有効性と堅牢な一般化を示す。
論文 参考訳(メタデータ) (2026-04-02T07:45:52Z) - A Statistical Approach for Modeling Irregular Multivariate Time Series with Missing Observations [21.49782595218257]
不十分な値を持つ不規則な時系列は、医療などの領域における予測モデリングに重大な課題をもたらす。
本手法は,観測値の標準偏差と,連続観測における変化の平均と変動率の4つの重要な特徴を計算した。
AUROC/AUPRCは0.5-1.7%、F1スコアは1.1-1.7%である。
論文 参考訳(メタデータ) (2026-02-23T05:48:17Z) - Agentic World Modeling for 6G: Near-Real-Time Generative State-Space Reasoning [70.56067503630486]
第6世代(6G)インテリジェンスは、流動的なトークン予測ではなく、想像と選択の能力を校正している、と我々は主張する。
We showed that WM-MS3M cuts mean absolute error (MAE) by 1.69% vs MS3M with 32% less parameters and similar latency, and achieve a 35-80% lower root mean squared error (RMSE) than attention/hybrid baselines with 2.3-4.1x faster inference。
論文 参考訳(メタデータ) (2025-11-04T17:22:22Z) - Revisiting Multivariate Time Series Forecasting with Missing Values [65.30332997607141]
現実の時系列では欠落値が一般的である。
現在のアプローチでは、計算モジュールを使用して、不足した値を補う、計算済みの予測フレームワークが開発されている。
このフレームワークは、致命的な問題を見落としている: 欠落した値に対して基礎的な真理は存在せず、予測精度を劣化させる可能性のあるエラーの影響を受けやすいようにしている。
本稿では,Information Bottleneck原則に基づく新しいフレームワークであるConsistency-Regularized Information Bottleneck(CRIB)を紹介する。
論文 参考訳(メタデータ) (2025-09-27T20:57:48Z) - Risk and cross validation in ridge regression with correlated samples [72.59731158970894]
我々は,データポイントが任意の相関関係を持つ場合,リッジ回帰のイン・オブ・サンプルリスクのトレーニング例を提供する。
この設定では、一般化されたクロスバリデーション推定器(GCV)がサンプル外リスクを正確に予測できないことを示す。
さらに、テストポイントがトレーニングセットと非自明な相関を持つ場合、時系列予測でしばしば発生する設定にまで分析を拡張します。
論文 参考訳(メタデータ) (2024-08-08T17:27:29Z) - TimeDRL: Disentangled Representation Learning for Multivariate Time-Series [10.99576829280084]
TimeDRLは、アンタングル化されたデュアルレベル埋め込みを備えた一般的な時系列表現学習フレームワークである。
TimeDRLは、既存の表現学習アプローチを一貫して上回り、MSEでは58.02%、精度では1.48%の平均的な改善を実現している。
論文 参考訳(メタデータ) (2023-12-07T08:56:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。