論文の概要: Decentralized Attention Fails Centralized Signals: Rethinking Transformers for Medical Time Series

• arxiv url: http://arxiv.org/abs/2602.18473v1
• Date: Mon, 09 Feb 2026 04:39:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-02 07:21:25.598514
• Title: Decentralized Attention Fails Centralized Signals: Rethinking Transformers for Medical Time Series
• Title（参考訳）: 集中型注意:医療用変圧器の再検討
• Authors: Guoqi Yu, Juncheng Wang, Chen Yang, Jing Qin, Angelica I. Aviles-Rivero, Shujun Wang,
• Abstract要約: 脳波(EEG)や心電図(ECG)などの医療時系列データの正確な分析は、医療応用において重要な役割を担っている。 ディープラーニングの最近の進歩は、Transformerベースのモデルを利用して、時間的依存関係を効果的にキャプチャしている。 MedTS信号は本質的に集中しているが、Transformerの注意機構は分散化されている。 分散された注意を置き換えるための集中型モジュールであるCoTARを提案する。
• 参考スコア（独自算出の注目度）: 15.981619117274667
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Accurate analysis of medical time series (MedTS) data, such as electroencephalography (EEG) and electrocardiography (ECG), plays a pivotal role in healthcare applications, including the diagnosis of brain and heart diseases. MedTS data typically exhibit two critical patterns: temporal dependencies within individual channels and channel dependencies across multiple channels. While recent advances in deep learning have leveraged Transformer-based models to effectively capture temporal dependencies, they often struggle with modeling channel dependencies. This limitation stems from a structural mismatch: MedTS signals are inherently centralized, whereas the Transformer's attention mechanism is decentralized, making it less effective at capturing global synchronization and unified waveform patterns. To address this mismatch, we propose CoTAR (Core Token Aggregation-Redistribution), a centralized MLP-based module designed to replace decentralized attention. Instead of allowing all tokens to interact directly, as in standard attention, CoTAR introduces a global core token that serves as a proxy to facilitate inter-token interactions, thereby enforcing a centralized aggregation and redistribution strategy. This design not only better aligns with the centralized nature of MedTS signals but also reduces computational complexity from quadratic to linear. Experiments on five benchmarks validate the superiority of our method in both effectiveness and efficiency, achieving up to a 12.13% improvement on the APAVA dataset, while using only 33% of the memory and 20% of the inference time compared to the previous state of the art. Code and all training scripts are available at https://github.com/Levi-Ackman/TeCh.
• Abstract（参考訳）: 脳波(EEG)や心電図(ECG)などの医療時系列データ(MedTS)の正確な分析は、脳や心臓疾患の診断を含む医療応用において重要な役割を担っている。 MedTSデータは通常、個々のチャネル内の時間的依存関係と、複数のチャネルにまたがるチャネル依存性の2つの重要なパターンを示す。 ディープラーニングの最近の進歩は、Transformerベースのモデルを活用して、時間的依存関係を効果的にキャプチャする一方で、チャネル依存性のモデリングに苦労することが多い。 MedTS信号は本質的に中央集権的であるのに対して、Transformerのアテンションメカニズムは分散化されており、グローバル同期と統一波形パターンの取得に効果が低い。 このミスマッチに対処するために,集中型MLPベースのモジュールであるCoTAR(Core Token Aggregation-Redistribution)を提案する。 すべてのトークンが標準の注意を払って直接対話できるようにする代わりに、CoTARはグローバルコアトークンを導入している。 この設計は、MedTS信号の集中的な性質に適合するだけでなく、計算の複雑さを2次から線形に減少させる。 5つのベンチマーク実験により、APAVAデータセットの最大12.13%の改善を達成し、メモリの33%と予測時間の20%を前回の最先端と比較しながら、本手法の有効性と効率の両面での優位性を検証した。 コードとすべてのトレーニングスクリプトはhttps://github.com/Levi-Ackman/TeChで入手できる。

関連論文リスト

• Gated Differential Linear Attention: A Linear-Time Decoder for High-Fidelity Medical Segmentation [15.30336007288786]
  PVT-GDLAはデコーダ中心のトランスフォーマーで、線形時間でシャープで長距離の依存関係を復元する。 これは、CT、MRI、超音波、皮膚内視鏡のベンチマークで同等のトレーニング予算で最先端の精度を達成する。
  論文  参考訳（メタデータ） (2026-03-03T08:26:08Z)
• Comparative Analysis of Data Augmentation for Clinical ECG Classification with STAR [0.0]
  正弦波時間振幅サンプリング(Sinusoidal Time-Amplitude Resampling, STAR)は、連続するRピーク間で厳密に動作するビートワイド増幅である。 STARは実践的なパイプラインのために設計されており、 (i) ピークや間隔を損なうことなくトレーニングの多様性を拡大するモルフォロジー-忠実な変動、 (ii) ソースレジリエンスなトレーニング、 デバイス、サイト、コホート間の安定性をデータセット固有のチューニングなしで改善する、 (iv) ビートレベルの拡張によるレアクラスの学習の改善。
  論文  参考訳（メタデータ） (2025-10-15T14:18:03Z)
• Hierarchical Self-Supervised Representation Learning for Depression Detection from Speech [51.14752758616364]
  音声による抑うつ検出 (SDD) は、従来の臨床評価に代わる有望で非侵襲的な代替手段である。 HAREN-CTCは,マルチタスク学習フレームワーク内でのクロスアテンションを用いて,多層SSL機能を統合した新しいアーキテクチャである。 このモデルはDAIC-WOZで0.81、MODMAで0.82の最先端マクロF1スコアを達成し、両方の評価シナリオで先行手法より優れている。
  論文  参考訳（メタデータ） (2025-10-05T09:32:12Z)
• U-R-VEDA: Integrating UNET, Residual Links, Edge and Dual Attention, and Vision Transformer for Accurate Semantic Segmentation of CMRs [0.0]
  深層学習に基づく拡張UNetモデルU-R-Vedaを提案する。 このモデルは心臓磁気共鳴(CMR)画像のセマンティックセグメンテーションを著しく改善する。 その結果,U-R-Vedaの平均精度は95.2%であった。
  論文  参考訳（メタデータ） (2025-06-25T04:10:09Z)
• MedSpaformer: a Transferable Transformer with Multi-granularity Token Sparsification for Medical Time Series Classification [25.47662257105448]
  MedTS分類に適したトランスフォーマーベースのフレームワークであるMedSpaformerを紹介する。 グローバルなコンテキストモデリングとトークンスペーシングを可能にする、スパーストークンベースのデュアルアテンション機構が組み込まれている。 我々のモデルは、教師あり学習下で7つの医療データセットで13のベースラインを上回ります。
  論文  参考訳（メタデータ） (2025-03-19T13:22:42Z)
• QTSeg: A Query Token-Based Dual-Mix Attention Framework with Multi-Level Feature Distribution for Medical Image Segmentation [13.359001333361272]
  医用画像のセグメンテーションは、正確な診断と自動診断プロセスの実現を医療専門家に支援する上で重要な役割を担っている。 従来の畳み込みニューラルネットワーク(CNN)は、長い範囲の依存関係をキャプチャするのに苦労することが多い。 近年の取り組みはCNNとトランスフォーマーを組み合わせて性能と効率のバランスをとることに重点を置いているが、既存の手法は計算コストを低く抑えながら高いセグメンテーション精度を達成するという課題に直面している。 ローカルおよびグローバルな情報を効果的に統合する医療画像セグメンテーションのための新しいアーキテクチャであるQTSegを提案する。
  論文  参考訳（メタデータ） (2024-12-23T03:22:44Z)
• SOFTS: Efficient Multivariate Time Series Forecasting with Series-Core Fusion [59.96233305733875]
  時系列予測は、金融、交通管理、エネルギー、医療など様々な分野で重要な役割を果たしている。 いくつかの方法は、注意やミキサーのようなメカニズムを利用して、チャネル相関をキャプチャすることでこの問題に対処する。 本稿では,効率的なモデルであるSOFTS(Series-cOre Fused Time Series forecaster)を提案する。
  論文  参考訳（メタデータ） (2024-04-22T14:06:35Z)
• Improving Multiple Sclerosis Lesion Segmentation Across Clinical Sites: A Federated Learning Approach with Noise-Resilient Training [75.40980802817349]
  深層学習モデルは、自動的にMS病変を分節する約束を示しているが、正確な注釈付きデータの不足は、この分野の進歩を妨げている。 我々は,MS病変の不均衡分布とファジィ境界を考慮したDecoupled Hard Label Correction(DHLC)戦略を導入する。 また,集約型中央モデルを利用したCELC(Centrally Enhanced Label Correction)戦略も導入した。
  論文  参考訳（メタデータ） (2023-08-31T00:36:10Z)
• RelaySum for Decentralized Deep Learning on Heterogeneous Data [71.36228931225362]
  分散機械学習では、労働者はローカルデータのモデル更新を計算する。 労働者は中心的な調整なしに隣人とのみ通信するため、これらの更新はネットワーク上で徐々に伝播する。 このパラダイムは、全接続のないネットワーク上での分散トレーニングを可能にし、データのプライバシ保護と、データセンタでの分散トレーニングの通信コストの削減を支援する。
  論文  参考訳（メタデータ） (2021-10-08T14:55:32Z)
• Learning Inductive Attention Guidance for Partially Supervised Pancreatic Ductal Adenocarcinoma Prediction [73.96902906734522]
  膵管腺癌(PDAC)は、アメリカ合衆国で3番目に多いがん死の原因である。 本稿では,全てのトレーニングデータに対して安価な画像レベルのアノテーションが提供され,それらのサブセットに対してのみ,コストのかかるvoxelアノテーションが利用可能となる,部分教師付き設定について考察する。 Inductive Attention Guidance Network (IAG-Net) を提案し、通常の/PDAC分類のためのグローバル画像レベルの分類器と半教師付きPDAC分類のためのローカルボクセルレベルの分類器を共同で学習する。
  論文  参考訳（メタデータ） (2021-05-31T08:16:09Z)
• Cross-Modality Brain Tumor Segmentation via Bidirectional Global-to-Local Unsupervised Domain Adaptation [61.01704175938995]
  本論文では,UDAスキームに基づくBiGL(Bidirectional Global-to-Local)適応フレームワークを提案する。 具体的には、脳腫瘍をセグメント化するために、双方向画像合成およびセグメンテーションモジュールを提案する。 提案手法は, 最先端の非教師なし領域適応法を大きなマージンで上回っている。
  論文  参考訳（メタデータ） (2021-05-17T10:11:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。