論文の概要: HEARTS: Benchmarking LLM Reasoning on Health Time Series

• arxiv url: http://arxiv.org/abs/2603.06638v1
• Date: Wed, 25 Feb 2026 05:23:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-15 16:38:22.464679
• Title: HEARTS: Benchmarking LLM Reasoning on Health Time Series
• Title（参考訳）: HEARTS: ヘルスタイムシリーズのLLM推論のベンチマーク
• Authors: Sirui Li, Shuhan Xiao, Mihir Joshi, Ahmed Metwally, Daniel McDuff, Wei Wang, Yuzhe Yang,
• Abstract要約: HEARTS(Health Reasoning over Time Series)は,大規模言語モデル(LLM)の階層的推論能力を評価するための統一ベンチマークである。 HEARTSは12の健康ドメインと20のシグナルモダリティにわたる16の現実世界のデータセットを統合し、4つのコア機能にグループ化された110のタスクの包括的な分類を定義している。 20K以上の試料を用いて14種類の最先端LCMを評価した結果,興味深い結果が得られた。
• 参考スコア（独自算出の注目度）: 19.03077523786892
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The rise of large language models (LLMs) has shifted time series analysis from narrow analytics to general-purpose reasoning. Yet, existing benchmarks cover only a small set of health time series modalities and tasks, failing to reflect the diverse domains and extensive temporal dependencies inherent in real-world physiological modeling. To bridge these gaps, we introduce HEARTS (Health Reasoning over Time Series), a unified benchmark for evaluating hierarchical reasoning capabilities of LLMs over general health time series. HEARTS integrates 16 real-world datasets across 12 health domains and 20 signal modalities, and defines a comprehensive taxonomy of 110 tasks grouped into four core capabilities: Perception, Inference, Generation, and Deduction. Evaluating 14 state-of-the-art LLMs on more than 20K test samples reveals intriguing findings. First, LLMs substantially underperform specialized models, and their performance is only weakly related to general reasoning scores. Moreover, LLMs often rely on simple heuristics and struggle with multi-step temporal reasoning. Finally, performance declines with increasing temporal complexity, with similar failure modes within model families, indicating that scaling alone is insufficient. By making these gaps measurable, HEARTS provides a standardized testbed and living benchmark for developing next-generation LLM agents capable of reasoning over diverse health signals.
• Abstract（参考訳）: 大規模言語モデル(LLM)の台頭は、時系列解析を狭義の分析から汎用的推論へとシフトしてきた。 しかし、既存のベンチマークでは、様々な領域と現実世界の生理的モデリングに固有の広範囲な時間的依存関係を反映せず、少数の健康時系列の修正とタスクしかカバーしていない。 これらのギャップを埋めるために、一般的な健康時系列よりもLLMの階層的推論能力を評価するための統一ベンチマークであるHEARTS(Health Reasoning over Time Series)を導入する。 HEARTSは12の健康ドメインと20のシグナルモダリティにわたる16の現実世界データセットを統合し、知覚、推論、生成、推論の4つのコア機能にグループ化された110のタスクの包括的な分類を定義している。 20K以上の試料で14個の最先端LCMを評価した結果,興味深い結果が得られた。 第一に、LSMは特に性能が劣り、それらの性能は一般的な推論スコアと弱い関係にある。 さらに、LLMは単純なヒューリスティックに頼り、多段階の時間的推論に苦慮することが多い。 最後に、時間的複雑さの増加とともにパフォーマンスが低下し、モデルファミリ内でも同様の障害モードがあり、スケーリングだけでは不十分であることを示している。 これらのギャップを計測可能にすることで、HEARTSは多様な健康信号の推論が可能な次世代のLSMエージェントを開発するための標準化されたテストベッドおよび生きたベンチマークを提供する。

関連論文リスト

• SciTS: Scientific Time Series Understanding and Generation with LLMs [53.35994674187729]
  SciTSは12の科学領域と43のタスクにまたがるベンチマークである。 テキストのみのLLM、マルチモーダルのLLM、統合時系列モデルを含む17のモデルをベンチマークする。 次に、時系列を理解して生成する能力を備えたLLMに対応するフレームワークであるTime Omniを紹介します。
  論文  参考訳（メタデータ） (2025-09-26T09:25:16Z)
• Enhancing LLM Reasoning for Time Series Classification by Tailored Thinking and Fused Decision [8.256998757769322]
  ReasonTSC は時系列分類のための LLM 推論を活用するために設計されたフレームワークである。 時系列データの本質的な特性について、モデルを熟考する。 これは、例えばドメイン固有の時系列モデルのようなプラグイン分類器からの予測と信頼スコアを、インコンテキストの例として統合する。
  論文  参考訳（メタデータ） (2025-06-01T03:15:54Z)
• General-Reasoner: Advancing LLM Reasoning Across All Domains [64.70599911897595]
  強化学習(RL)は近年,大規模言語モデル(LLM)の推論能力の向上に強い可能性を示している。 本稿では,多分野にわたるLSM推論能力の向上を目的とした,新たなトレーニングパラダイムであるGeneral-Reasonerを提案する。 私たちは一連のモデルをトレーニングし、物理学、化学、金融、電子工学など幅広い分野をカバーする幅広いデータセットでそれらを評価します。
  論文  参考訳（メタデータ） (2025-05-20T17:41:33Z)
• Benchmarking Spatiotemporal Reasoning in LLMs and Reasoning Models: Capabilities and Challenges [4.668749313973097]
  本稿では,Large Language Models (LLMs) とLarge Reasoning Models (LRMs) を3段階の推論複雑性で体系的に評価する。 モデルが直接、あるいはPython Code Interpreterによって応答する26の課題をキュレートします。 LRMは、様々な難易度を持つタスク間で堅牢なパフォーマンスを示し、しばしば従来の第一原理に基づく手法と競合する。
  論文  参考訳（メタデータ） (2025-05-16T18:32:35Z)
• Reasoning Capabilities and Invariability of Large Language Models [49.23570751696334]
  我々は,大規模言語モデルの推論能力に関する総合的な分析を行うことを目標としている。 我々は、浅い論理的推論を要求する一連の単純な推論質問を含む新しいベンチマークデータセットを導入する。 ゼロショットと少数ショットを含む実証分析では、70億以上のパラメータを持つLDMがゼロショット設定でより優れた性能を発揮する一方で、改善の余地がまだ大きいことが示されている。
  論文  参考訳（メタデータ） (2025-05-01T18:12:30Z)
• BRIDGE: Benchmarking Large Language Models for Understanding Real-world Clinical Practice Text [14.409097921305134]
  BRIDGEは、9言語にわたる実世界の臨床データソースから得られた87のタスクからなる包括的なベンチマークである。 8つの主要なタスクタイプを6つの臨床段階と20の代表的な応用でカバーしている。 本結果から, モデルサイズ, 言語, 自然言語処理タスク, 臨床専門分野において, かなりの性能変化が明らかとなった。
  論文  参考訳（メタデータ） (2025-04-28T04:13:18Z)
• Empowering Time Series Analysis with Large Language Models: A Survey [24.202539098675953]
  本稿では,大規模言語モデルを用いた時系列解析手法の体系的概要について述べる。 具体的には、まず、時系列の文脈で言語モデルを適用する際の課題とモチベーションについて述べる。 次に、既存のメソッドを異なるグループ(ダイレクトクエリ、トークン化、プロンプトデザイン、ファインチューン、モデル統合)に分類し、各グループにおける主要なアイデアを強調します。
  論文  参考訳（メタデータ） (2024-02-05T16:46:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。