論文の概要: Sparseformer: a Transferable Transformer with Multi-granularity Token Sparsification for Medical Time Series Classification

• arxiv url: http://arxiv.org/abs/2503.15578v1
• Date: Wed, 19 Mar 2025 13:22:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-21 19:01:15.745770
• Title: Sparseformer: a Transferable Transformer with Multi-granularity Token Sparsification for Medical Time Series Classification
• Title（参考訳）: Sparseformer:医療時系列分類のための多粒度トークンスカラー化トランスフォーマ
• Authors: Jiexia Ye, Weiqi Zhang, Ziyue Li, Jia Li, Fugee Tsung,
• Abstract要約: MedTS分類用に特別に設計された変換器であるSparseformerを紹介する。 本稿では,大域的モデリングとトークン圧縮を実現するための,スパーストークンベースのデュアルアテンション機構を提案する。 我々のモデルは、教師あり学習下で7つの医療データセットで12のベースラインを上回ります。
• 参考スコア（独自算出の注目度）: 25.47662257105448
• License:
• Abstract: Medical time series (MedTS) classification is crucial for improved diagnosis in healthcare, and yet it is challenging due to the varying granularity of patterns, intricate inter-channel correlation, information redundancy, and label scarcity. While existing transformer-based models have shown promise in time series analysis, they mainly focus on forecasting and fail to fully exploit the distinctive characteristics of MedTS data. In this paper, we introduce Sparseformer, a transformer specifically designed for MedTS classification. We propose a sparse token-based dual-attention mechanism that enables global modeling and token compression, allowing dynamic focus on the most informative tokens while distilling redundant features. This mechanism is then applied to the multi-granularity, cross-channel encoding of medical signals, capturing intra- and inter-granularity correlations and inter-channel connections. The sparsification design allows our model to handle heterogeneous inputs of varying lengths and channels directly. Further, we introduce an adaptive label encoder to address label space misalignment across datasets, equipping our model with cross-dataset transferability to alleviate the medical label scarcity issue. Our model outperforms 12 baselines across seven medical datasets under supervised learning. In the few-shot learning experiments, our model also achieves superior average results. In addition, the in-domain and cross-domain experiments among three diagnostic scenarios demonstrate our model's zero-shot learning capability. Collectively, these findings underscore the robustness and transferability of our model in various medical applications.
• Abstract（参考訳）: MedTS分類は、医療における診断の改善に不可欠であるが、パターンの粒度、複雑なチャネル間相関、情報冗長性、ラベル不足などにより困難である。 既存のトランスフォーマーベースのモデルは時系列解析において有望であるが、主に予測に重点を置いており、MedTSデータの特徴を十分に活用できない。 本稿では,MedTS分類に特化して設計された変換器であるSparseformerを紹介する。 本稿では,グローバルなモデリングとトークン圧縮を実現し,冗長な特徴を蒸留しながら最も情報性の高いトークンに動的に焦点をあてる,スパーストークンベースのデュアルアテンション機構を提案する。 このメカニズムは、医療信号の多粒性、チャネル間符号化に適用され、粒内およびチャネル間相関とチャネル間接続をキャプチャする。 このスペーシフィケーション設計により、異なる長さとチャネルの異種入力を直接処理できる。 さらに,データセット間のラベル空間の不一致に対処する適応ラベルエンコーダを導入し,医療ラベルの不足を軽減すべく,データセット間転送性を備えたモデルを提案する。 我々のモデルは、教師あり学習下で7つの医療データセットで12のベースラインを上回ります。 数ショットの学習実験では,本モデルがより優れた平均結果を得る。 さらに、3つの診断シナリオにおけるドメイン内およびドメイン間実験は、モデルのゼロショット学習能力を実証する。 以上より, これらの知見は, 各種医療応用におけるモデルの堅牢性と伝達性を明らかにするものである。

関連論文リスト

• MVKTrans: Multi-View Knowledge Transfer for Robust Multiomics Classification [14.533025681231294]
  そこで本研究では,生物内および生物間知識を適応的に伝達する多視点知識伝達学習フレームワークを提案する。 具体的には、未ラベルデータに基づいて訓練されたグラフコントラストモジュールを設計し、基礎となるオミクス内パターンを教師付きタスクに効果的に学習し、転送する。 異なる疾患および/またはサンプルにおけるモダリティの識別能力の変化を考慮して, 適応型および双方向のクロスオミクス蒸留モジュールを導入する。
  論文  参考訳（メタデータ） (2024-11-13T15:45:46Z)
• UNICORN: A Deep Learning Model for Integrating Multi-Stain Data in Histopathology [2.9389205138207277]
  UNICORNは動脈硬化の重症度予測のための多段階組織学を処理できるマルチモーダルトランスフォーマーである。 このアーキテクチャは、2段階のエンドツーエンドのトレーニング可能なモデルと、トランスフォーマーの自己保持ブロックを利用する特殊なモジュールから構成される。 UNICORNは0.67の分類精度を達成し、他の最先端モデルを上回った。
  論文  参考訳（メタデータ） (2024-09-26T12:13:52Z)
• Medformer: A Multi-Granularity Patching Transformer for Medical Time-Series Classification [6.0233642055651115]
  我々は,MedTS分類に特化された多粒度パッチ変換器であるMedformerを紹介する。 本手法は,MedTSの特徴を生かした3つの新しいメカニズムを取り入れたものである。 我々は、主題に依存しない5つの公開データセットに対して、課題に依存しないセットアップと課題に依存しないセットアップの両方で広範な実験を行う。
  論文  参考訳（メタデータ） (2024-05-24T16:51:10Z)
• FORESEE: Multimodal and Multi-view Representation Learning for Robust Prediction of Cancer Survival [3.4686401890974197]
  マルチモーダル情報のマイニングにより患者生存を確実に予測する新しいエンドツーエンドフレームワークFOESEEを提案する。 クロスフュージョントランスフォーマーは、細胞レベル、組織レベル、腫瘍の不均一度レベルの特徴を効果的に利用し、予後を相関させる。 ハイブリットアテンションエンコーダ(HAE)は、コンテキストアテンションモジュールを用いて、コンテキスト関係の特徴を取得する。 また、モダリティ内の損失情報を再構成する非対称マスク型3重マスク型オートエンコーダを提案する。
  論文  参考訳（メタデータ） (2024-05-13T12:39:08Z)
• Improving Multiple Sclerosis Lesion Segmentation Across Clinical Sites: A Federated Learning Approach with Noise-Resilient Training [75.40980802817349]
  深層学習モデルは、自動的にMS病変を分節する約束を示しているが、正確な注釈付きデータの不足は、この分野の進歩を妨げている。 我々は,MS病変の不均衡分布とファジィ境界を考慮したDecoupled Hard Label Correction(DHLC)戦略を導入する。 また,集約型中央モデルを利用したCELC(Centrally Enhanced Label Correction)戦略も導入した。
  論文  参考訳（メタデータ） (2023-08-31T00:36:10Z)
• Differentiable Agent-based Epidemiology [71.81552021144589]
  GradABM(GradABM)は、エージェントベースのモデリングのためのスケーラブルで微分可能な設計で、勾配に基づく学習と自動微分が可能である。 GradABMは、コモディティハードウェア上で数秒で数百万の人口をシミュレートし、ディープニューラルネットワークと統合し、異種データソースを取り込みます。
  論文  参考訳（メタデータ） (2022-07-20T07:32:02Z)
• Many-to-One Distribution Learning and K-Nearest Neighbor Smoothing for Thoracic Disease Identification [83.6017225363714]
  ディープラーニングは、病気の識別性能を改善するための最も強力なコンピュータ支援診断技術となった。 胸部X線撮影では、大規模データの注釈付けには専門的なドメイン知識が必要で、時間を要する。 本論文では、単一モデルにおける疾患同定性能を改善するために、複数対1の分布学習(MODL)とK-nearest neighbor smoothing(KNNS)手法を提案する。
  論文  参考訳（メタデータ） (2021-02-26T02:29:30Z)
• G-MIND: An End-to-End Multimodal Imaging-Genetics Framework for Biomarker Identification and Disease Classification [49.53651166356737]
  診断によって誘導される画像データと遺伝データを統合し、解釈可能なバイオマーカーを提供する新しいディープニューラルネットワークアーキテクチャを提案する。 2つの機能的MRI(fMRI)パラダイムとSingle Nucleotide Polymorphism (SNP)データを含む統合失調症の集団研究で本モデルを評価した。
  論文  参考訳（メタデータ） (2021-01-27T19:28:04Z)
• Select-ProtoNet: Learning to Select for Few-Shot Disease Subtype Prediction [55.94378672172967]
  本研究は, 類似患者のサブグループを同定し, 数発の疾患のサブタイプ予測問題に焦点を当てた。 新しいモデルを開発するためにメタラーニング技術を導入し、関連する臨床課題から共通の経験や知識を抽出する。 我々の新しいモデルは、単純だが効果的なメタ学習マシンであるPrototypeal Networkと呼ばれる、慎重に設計されたメタラーナーに基づいて構築されている。
  論文  参考訳（メタデータ） (2020-09-02T02:50:30Z)
• Semi-supervised Medical Image Classification with Relation-driven Self-ensembling Model [71.80319052891817]
  医用画像分類のための関係駆動型半教師付きフレームワークを提案する。 これは、摂動下で与えられた入力の予測一貫性を促進することでラベルのないデータを利用する。 本手法は,シングルラベルおよびマルチラベル画像分類のシナリオにおいて,最先端の半教師付き学習手法よりも優れる。
  論文  参考訳（メタデータ） (2020-05-15T06:57:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。