論文の概要: Is Self-Pretraining really useful to improve diagnosis in medical Time Series?

• arxiv url: http://arxiv.org/abs/2608.06122v1
• Date: Thu, 06 Aug 2026 14:53:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-07 17:43:06.778928
• Title: Is Self-Pretraining really useful to improve diagnosis in medical Time Series?
• Title（参考訳）: セルフトレーニングは医療時系列の診断を改善するのに本当に有用か?
• Abstract要約: SPT(Self-PreTraining)は、マスキング戦略、データセット、アーキテクチャに応じて、分類精度を0-6ポイント向上する。 SPTは、タスク固有のアーキテクチャ変更を必要とせずに、医療時系列タスクのトランスフォーマー性能を向上させる、シンプルで一般的な戦略である。
• 参考スコア（独自算出の注目度）: 15.692598361763055
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Inspired by recent evidence that transformer architectures benefit from Self-PreTraining (SPT) on long-context benchmarks, we investigate whether similar gains extend to multimodal, multivariate, and even simple univariate medical time series. Our objective is to assess the impact of SPT on the performance and scalability of transformer-based models across diverse medical applications, particularly under limited data conditions. We evaluate transformer architectures on three representative medical time-series tasks: rehabilitation robotics (Camargo dataset), stress detection (Non-EEG Stress), and Parkinson's disease detection (Gait Parkinson's Disease). Models are trained either from scratch or through SPT using four masking-based objectives designed to promote temporal and cross-modal representation learning, and we systematically vary model depth to examine how capacity interacts with pre-training benefits. Across datasets and configurations, SPT consistently improves classification accuracy by 0-6 percentage points depending on masking strategy, dataset and architecture, with gains observed not only in multivariate settings but also when models are restricted to simple univariate inputs. The improvements increase for deeper models that can better exploit the enriched temporal representations learned during pre-training. These findings indicate that SPT is a simple and general strategy that enhances transformer performance on medical time-series tasks without requiring task-specific architectural changes, supporting its potential to improve robustness and accuracy in data-limited clinical settings.
• Abstract（参考訳）: 長文ベンチマークにおける自己評価(SPT)によるトランスフォーマーアーキテクチャのメリットを示す最近の証拠に着想を得て,類似の利得がマルチモーダル,多変量,さらには単純な単変量医療時系列にまで拡張されるかどうかを検討した。 我々の目的は、様々な医療アプリケーション、特に限られたデータ条件下でのトランスフォーマーモデルの性能とスケーラビリティに対するSPTの影響を評価することである。 我々は、リハビリテーションロボティクス(Camargoデータセット)、ストレス検出(Non-EEGストレス)、パーキンソン病検出(Gait Parkinson's Disease)の3つの代表的な医療時系列タスクにおいて、トランスフォーマーアーキテクチャーを評価する。 モデルは,時間的・横断的な表現学習を促進するために設計された4つのマスキングに基づく目的を用いて,スクラッチからSPTを通して,あるいはSPTを通して訓練される。 データセットと構成全体にわたって、SPTはマスキング戦略、データセット、アーキテクチャによって、分類精度を0-6ポイント改善し、マルチ変数設定だけでなく、モデルが単純な単変量入力に制限された場合にも、ゲインが観察される。 事前トレーニングで学んだ豊富な時間表現をより活用できる、より深いモデルの改善が増加する。 これらの結果から, SPTは, タスク固有のアーキテクチャ変更を必要とせず, 医療時系列タスクのトランスフォーマー性能を向上させるための, 単純かつ汎用的な戦略であることが明らかとなった。

関連論文リスト

• Benchmarking Machine Learning Architectures for Antimicrobial Stewardship in Pediatric ICUs [1.113021697417606]
  小児集中治療器(PICU)における抗微生物スチュワードシップ(AMS)の意義 機械学習は、電子健康記録データから患者レベルの介入機会を特定するための有望なアプローチを提供する。 公開データセットと民間機関コホートを用いたPICUにおけるAMS介入予測の系統的ベンチマークを行った。
  論文  参考訳（メタデータ） (2026-05-21T15:26:58Z)
• Adaptive Test-Time Training for Predicting Need for Invasive Mechanical Ventilation in Multi-Center Cohorts [4.250825424649631]
  テストタイムトレーニング(TTT)は、このようなシフトを緩和するための有望なアプローチとして登場した。 In orderive Test-Time Training (AdaTTT) は、ITU設定におけるEMHベースのMV予測に適した拡張TTフレームワークである。
  論文  参考訳（メタデータ） (2025-12-07T04:27:40Z)
• impuTMAE: Multi-modal Transformer with Masked Pre-training for Missing Modalities Imputation in Cancer Survival Prediction [75.43342771863837]
  我々は,効率的なマルチモーダル事前学習戦略を備えた新しいトランスフォーマーに基づくエンドツーエンドアプローチである impuTMAE を紹介する。 マスクされたパッチを再構築することで、モダリティの欠如を同時に示唆しながら、モダリティ間の相互作用とモダリティ内相互作用を学習する。 本モデルは,TGA-GBM/LGGとBraTSデータセットを用いたグリオーマ生存予測のために,異種不完全データに基づいて事前訓練を行った。
  論文  参考訳（メタデータ） (2025-08-08T10:01:16Z)
• METHOD: Modular Efficient Transformer for Health Outcome Discovery [0.25112747242081457]
  本稿では,電子カルテにおける臨床シーケンスモデリングの課題に対処するために,新しいトランスフォーマーアーキテクチャである Method を紹介する。 1)効率的なバッチ処理を可能にしながら情報漏洩を防止する患者対応アテンション機構,(2)マルチスケールの時間的依存関係をキャプチャする適応型スライディングウィンドウアテンションスキーム,(3)動的スキップ接続を備えたU-Netインスピレーションアーキテクチャ。 MIMIC-IVデータベースにおける評価は、手法が最先端のETHOSモデルより一貫して優れていることを示した。
  論文  参考訳（メタデータ） (2025-05-16T15:52:56Z)
• Self-Supervised Pre-training Tasks for an fMRI Time-series Transformer in Autism Detection [3.665816629105171]
  自閉症スペクトラム障害(Autism Spectrum disorder、ASD)は、様々な症状や障害の程度を包含する神経発達障害である。 我々は,関数接続を計算せずに時系列fMRIデータを直接解析するトランスフォーマーベースの自己教師型フレームワークを開発した。 ランダムにROIをマスキングすると、トレーニング前のステップでランダムにマスキングする時間ポイントよりも、モデル性能が向上することを示す。
  論文  参考訳（メタデータ） (2024-09-18T20:29:23Z)
• PMT: Progressive Mean Teacher via Exploring Temporal Consistency for Semi-Supervised Medical Image Segmentation [51.509573838103854]
  医用画像セグメンテーションのための半教師付き学習フレームワークであるプログレッシブ平均教師(PMT)を提案する。 我々のPMTは、トレーニングプロセスにおいて、堅牢で多様な特徴を学習することで、高忠実な擬似ラベルを生成する。 CT と MRI の異なる2つのデータセットに対する実験結果から,本手法が最先端の医用画像分割法より優れていることが示された。
  論文  参考訳（メタデータ） (2024-09-08T15:02:25Z)
• MPRE: Multi-perspective Patient Representation Extractor for Disease Prediction [3.914545513460964]
  疾患予測のための多視点患者表現エクストラクタ(MPRE)を提案する。 具体的には、動的特徴の傾向と変動情報を抽出する周波数変換モジュール(FTM)を提案する。 2D Multi-Extraction Network (2D MEN) において、傾向と変動に基づいて2次元時間テンソルを形成する。 また,FODAM(First-Order difference Attention Mechanism)も提案する。
  論文  参考訳（メタデータ） (2024-01-01T13:52:05Z)
• TACTiS-2: Better, Faster, Simpler Attentional Copulas for Multivariate Time Series [57.4208255711412]
  パウラ理論に基づいて,最近導入されたトランスフォーマーに基づく注目パウラ(TACTiS)の簡易な目的を提案する。 結果から,実世界の予測タスクにまたがって,このモデルのトレーニング性能が大幅に向上し,最先端のパフォーマンスが達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-10-02T16:45:19Z)
• The effect of data augmentation and 3D-CNN depth on Alzheimer's Disease detection [51.697248252191265]
  この研究は、データハンドリング、実験設計、モデル評価に関するベストプラクティスを要約し、厳密に観察する。 我々は、アルツハイマー病(AD)の検出に焦点を当て、医療における課題のパラダイム的な例として機能する。 このフレームワークでは,3つの異なるデータ拡張戦略と5つの異なる3D CNNアーキテクチャを考慮し,予測15モデルを訓練する。
  論文  参考訳（メタデータ） (2023-09-13T10:40:41Z)
• Robust and Efficient Medical Imaging with Self-Supervision [80.62711706785834]
  医用画像AIの堅牢性とデータ効率を向上させるための統一表現学習戦略であるREMEDISを提案する。 様々な医療画像タスクを研究し, 振り返りデータを用いて3つの現実的な応用シナリオをシミュレートする。
  論文  参考訳（メタデータ） (2022-05-19T17:34:18Z)
• SANSformers: Self-Supervised Forecasting in Electronic Health Records with Attention-Free Models [48.07469930813923]
  本研究は,医療施設への患者訪問数を予測することにより,医療サービスの需要を予測することを目的とする。 SNSformerは、特定の帰納バイアスを設計し、EHRデータの特異な特徴を考慮に入れた、注意のない逐次モデルである。 本研究は, 各種患者集団を対象とした医療利用予測の修正における, 注意力のないモデルと自己指導型事前訓練の有望な可能性について考察した。
  論文  参考訳（メタデータ） (2021-08-31T08:23:56Z)
• Self-Training with Improved Regularization for Sample-Efficient Chest X-Ray Classification [80.00316465793702]
  挑戦的なシナリオで堅牢なモデリングを可能にするディープラーニングフレームワークを提案する。 その結果,85%のラベル付きデータを用いて,大規模データ設定で学習した分類器の性能に適合する予測モデルを構築することができた。
  論文  参考訳（メタデータ） (2020-05-03T02:36:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。