論文の概要: Generalist vs Specialist Time Series Foundation Models: Investigating Potential Emergent Behaviors in Assessing Human Health Using PPG Signals

• arxiv url: http://arxiv.org/abs/2510.14254v1
• Date: Thu, 16 Oct 2025 03:13:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-17 21:15:14.696699
• Title: Generalist vs Specialist Time Series Foundation Models: Investigating Potential Emergent Behaviors in Assessing Human Health Using PPG Signals
• Title（参考訳）: 一般論対専門時系列基礎モデル:PSG信号を用いた人間の健康評価における潜在的創発的行動の調査
• Authors: Saurabh Kataria, Yi Wu, Zhaoliang Chen, Hyunjung Gloria Kwak, Yuhao Xu, Lovely Yeswanth Panchumarthi, Ran Xiao, Jiaying Lu, Ayca Ermis, Anni Zhao, Runze Yan, Alex Federov, Zewen Liu, Xu Wu, Wei Jin, Carl Yang, Jocelyn Grunwell, Stephanie R. Brown, Amit Shah, Craig Jabaley, Tim Buchman, Sivasubramanium V Bhavani, Randall J. Lee, Xiao Hu,
• Abstract要約: ファンデーションモデルは、大量のデータに基づいて事前訓練された大規模な機械学習モデルである。 MOMENTのような最近の研究は、汎用時系列基礎モデルを複数のドメインのデータで訓練している。 本稿では,ジェネラリストモデルとスペシャリストモデルのパフォーマンスを比較するため,総合的なベンチマーク研究を行うことを目的とする。
• 参考スコア（独自算出の注目度）: 22.364607686570384
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Foundation models are large-scale machine learning models that are pre-trained on massive amounts of data and can be adapted for various downstream tasks. They have been extensively applied to tasks in Natural Language Processing and Computer Vision with models such as GPT, BERT, and CLIP. They are now also increasingly gaining attention in time-series analysis, particularly for physiological sensing. However, most time series foundation models are specialist models - with data in pre-training and testing of the same type, such as Electrocardiogram, Electroencephalogram, and Photoplethysmogram (PPG). Recent works, such as MOMENT, train a generalist time series foundation model with data from multiple domains, such as weather, traffic, and electricity. This paper aims to conduct a comprehensive benchmarking study to compare the performance of generalist and specialist models, with a focus on PPG signals. Through an extensive suite of total 51 tasks covering cardiac state assessment, laboratory value estimation, and cross-modal inference, we comprehensively evaluate both models across seven dimensions, including win score, average performance, feature quality, tuning gain, performance variance, transferability, and scalability. These metrics jointly capture not only the models' capability but also their adaptability, robustness, and efficiency under different fine-tuning strategies, providing a holistic understanding of their strengths and limitations for diverse downstream scenarios. In a full-tuning scenario, we demonstrate that the specialist model achieves a 27% higher win score. Finally, we provide further analysis on generalization, fairness, attention visualizations, and the importance of training data choice.
• Abstract（参考訳）: ファンデーションモデルは、大量のデータに基づいて事前訓練された大規模な機械学習モデルであり、さまざまな下流タスクに適応することができる。 自然言語処理やコンピュータビジョンのタスクに広く応用されており、GPT、BERT、CLIPといったモデルがある。 また、時系列分析、特に生理学的センシングにも注目が集まっている。 しかし、ほとんどの時系列基礎モデルは専門的なモデルであり、心電図、脳電図、光胸腺図(PPG)のような同じタイプの事前トレーニングとテストのデータがある。 MOMENTのような最近の研究は、天気、交通、電気などの複数の領域のデータで一般時系列の基礎モデルを訓練している。 本稿では,一般モデルとスペシャリストモデルの性能を比較し,PSG信号に着目した総合的なベンチマーク研究を行うことを目的とする。 本研究は, 心拍数評価, 実験値推定, クロスモーダル推論を含む51のタスクを網羅し, 勝利点, 平均性能, 特徴量, チューニングゲイン, 性能分散, 伝達性, 拡張性を含む7次元のモデルについて総合的に評価する。 これらのメトリクスは、モデルの能力だけでなく、異なる微調整戦略の下での適応性、堅牢性、効率性を共同で捉え、様々な下流シナリオに対するその強みと制限の全体的理解を提供する。 フルチューニングのシナリオでは、スペシャリストモデルが27%高い勝利率を達成することを実証する。 最後に、一般化、公正性、注意の可視化、およびトレーニングデータ選択の重要性についてさらなる分析を行う。

関連論文リスト

• Analysis of Transferability Estimation Metrics for Surgical Phase Recognition [3.3285108719932555]
  微調整された事前学習モデルは現代の機械学習の基盤となり、限られたラベル付きデータで実践者がハイパフォーマンスを達成できるようになった。 専門的アノテーションが特に時間がかかり費用がかかる外科的ビデオ解析では、下流タスクに最適な事前学習モデルを特定することが重要かつ困難である。 我々は,2つの多様なデータセット上で,LogME,H-Score,TransRateの3つの代表的な指標の総合ベンチマークを行った。
  論文  参考訳（メタデータ） (2025-08-22T18:05:33Z)
• Benchmarking Foundation Models for Mitotic Figure Classification [0.37334049820361814]
  自己教師付き学習技術は、大規模なニューラルネットワークのトレーニングに大量のラベルのないデータを使用することを可能にした。 本研究では,ミオティックフィギュア分類における基礎モデルの利用について検討する。 我々は、すべてのモデルと、CNNとVision Transformerの両方のエンドツーエンドトレーニングベースラインを比較した。
  論文  参考訳（メタデータ） (2025-08-06T13:30:40Z)
• Prismatic Synthesis: Gradient-based Data Diversification Boosts Generalization in LLM Reasoning [77.120955854093]
  我々は,データ多様性が言語モデルにおける一般化の強力な予測因子であることを示す。 モデル誘起勾配のエントロピーを通して多様性を定量化する計量であるG-Vendiを導入する。 多様な合成データを生成するためのフレームワークであるPrismatic Synthesisを提案する。
  論文  参考訳（メタデータ） (2025-05-26T16:05:10Z)
• DICEPTION: A Generalist Diffusion Model for Visual Perceptual Tasks [61.16389024252561]
  計算資源と限られた訓練データとの制約下で複数のタスクに対処できる頑健な一般認識モデルを構築した。 我々は、何十億もの画像に事前訓練されたテキスト・画像拡散モデルを活用し、ビジュアル・ジェネラリスト・モデルであるDICEPTIONの導入に成功した。 DICEPTIONは、SOTAシングルタスクスペシャリストモデルに匹敵するパフォーマンスを達成しつつ、様々な知覚タスクに効果的に取り組むことを示す。
  論文  参考訳（メタデータ） (2025-02-24T13:51:06Z)
• SMPLest-X: Ultimate Scaling for Expressive Human Pose and Shape Estimation [81.36747103102459]
  表現的人間のポーズと形状推定(EHPS)は、身体、手、顔の動きを多数の応用で統合する。 現在の最先端の手法は、限定されたデータセット上で革新的なアーキテクチャ設計を訓練することに焦点を当てている。 本稿では,EHPSのスケールアップが一般基盤モデルのファミリに与える影響について検討する。
  論文  参考訳（メタデータ） (2025-01-16T18:59:46Z)
• PaPaGei: Open Foundation Models for Optical Physiological Signals [8.78925327256804]
  光胸腺撮影は生体信号と心臓血管の健康をモニタリングする主要な非侵襲的手法である。 PPG信号に基づいて訓練された機械学習モデルは、タスク固有であり、一般化に苦慮する傾向がある。 PPG信号のための最初のオープン基盤モデルPaPaGeiを提案する。
  論文  参考訳（メタデータ） (2024-10-27T18:18:06Z)
• Understanding the Role of Textual Prompts in LLM for Time Series Forecasting: an Adapter View [21.710722062737577]
  大規模言語モデル(LLM)の急成長する領域では、時系列予測にLLMを適用することへの関心が高まっている。 本研究の目的は,LLMへのテキストプロンプトの統合が時系列の予測精度を効果的に向上させる方法と理由を理解することである。
  論文  参考訳（メタデータ） (2023-11-24T16:32:47Z)
• One Fits All:Power General Time Series Analysis by Pretrained LM [23.292260325891032]
  自然言語や画像の事前学習モデルでは,すべてのメイン時系列解析タスクにおいて,同等あるいは最先端のパフォーマンスが得られることを示す。 この結果から,自然言語や画像を用いた事前学習モデルでは,すべての時系列解析タスクにおいて,同等あるいは最先端のパフォーマンスが得られることが示された。
  論文  参考訳（メタデータ） (2023-02-23T11:37:39Z)
• SANSformers: Self-Supervised Forecasting in Electronic Health Records with Attention-Free Models [48.07469930813923]
  本研究は,医療施設への患者訪問数を予測することにより,医療サービスの需要を予測することを目的とする。 SNSformerは、特定の帰納バイアスを設計し、EHRデータの特異な特徴を考慮に入れた、注意のない逐次モデルである。 本研究は, 各種患者集団を対象とした医療利用予測の修正における, 注意力のないモデルと自己指導型事前訓練の有望な可能性について考察した。
  論文  参考訳（メタデータ） (2021-08-31T08:23:56Z)
• Models, Pixels, and Rewards: Evaluating Design Trade-offs in Visual Model-Based Reinforcement Learning [109.74041512359476]
  視覚的MBRLアルゴリズムにおける予測モデルの設計決定について検討する。 潜在空間の使用など、しばしば重要と見なされる設計上の決定は、タスクのパフォーマンスにはほとんど影響しないことが分かりました。 我々は,この現象が探索とどのように関係しているか,および標準ベンチマークにおける下位スコーリングモデルのいくつかが,同じトレーニングデータでトレーニングされた場合のベストパフォーマンスモデルと同等の性能を発揮するかを示す。
  論文  参考訳（メタデータ） (2020-12-08T18:03:21Z)
• Improving QA Generalization by Concurrent Modeling of Multiple Biases [61.597362592536896]
  既存のNLPデータセットには、モデルが容易に活用できる様々なバイアスが含まれており、対応する評価セット上で高いパフォーマンスを達成することができる。 本稿では、トレーニングデータにおける複数のバイアスの同時モデリングにより、ドメイン内およびドメイン外両方のデータセットのパフォーマンスを改善するための一般的なフレームワークを提案する。 我々は,様々な領域の学習データと異なる強度の複数のバイアスを持つ抽出的質問応答の枠組みを広く評価した。
  論文  参考訳（メタデータ） (2020-10-07T11:18:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。