論文の概要: On the role of the tokenizer in ECG transformer models
- arxiv url: http://arxiv.org/abs/2609.15433v1
- Date: Mon, 14 Sep 2026 11:57:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 07:15:06.304679
- Title: On the role of the tokenizer in ECG transformer models
- Title(参考訳): ECGトランスモデルにおけるトークン化器の役割について
- Abstract要約: トークン化は、ECG変換器に提示される生理的内容と、注意が動くシーケンスの両方を決定する。
Transformer, Informer, Reformer, FEDformerの8つのトークン化戦略を比較した。
トークンとECG形態を合わせることで、バックボーン容量を増大させることなく、予測性能とメモリ効率の両方を改善することができる。
- 参考スコア(独自算出の注目度): 17.2736152244082
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Tokenization determines both the physiological content presented to an ECG Transformer and the sequence over which attention operates. We compare eight tokenization strategies across Transformer, Informer, Reformer, and FEDformer on the nine-label CPSC2018 classification task. The input projection and principal backbone capacity are controlled to isolate the effect of token construction. Median-beat and HeartLang tokenization achieve mean macro-AUCs of 0.893 and 0.889 across the four backbones, compared with 0.822 and 0.824 for point-wise and patch-wise tokenization. Pooling the two physiology-aware representations yields an 8.2% relative improvement in macro-AUC. They also reduce mean sequence length from 1,250 to 158 tokens and mean peak training memory from 5.21 to 0.27 GB. The results show that aligning tokens with ECG morphology can improve both predictive performance and memory efficiency without increasing backbone capacity. The source code is available on https://github.com/LeeJarvis996/ecg_tokenizer.
- Abstract(参考訳): トークン化は、ECG変換器に提示される生理的内容と、注意が動くシーケンスの両方を決定する。
我々は,9ラベルのCPSC2018分類タスクにおいて,Transformer,Informer,Reformer,FEDformerの8つのトークン化戦略を比較した。
入力プロジェクションと主バックボーン容量は、トークン構成の影響を分離するために制御される。
メディアビートとハートラングのトークン化は、4つのバックボーンで0.893と0.889の平均マクロAUCを達成し、ポイントワイドおよびパッチワイドトークン化では0.822と0.824を達成した。
2つの生理的認識表現のプール化はマクロAUCの8.2%の相対的な改善をもたらす。
また、平均シーケンス長を1,250から158トークンに、ピークトレーニングメモリを5.21から0.27GBに短縮する。
その結果,トークンとECG形態を整合させることで,バックボーン容量を増大させることなく,予測性能とメモリ効率を向上できることがわかった。
ソースコードはhttps://github.com/LeeJarvis996/ecg_tokenizerで入手できる。
関連論文リスト
- Beat-Synchronous Tokenization for ECG Transformers [0.7699714865575188]
トランスフォーマーベースの心電図(ECG)モデルは、一般的に波形を固定時間パッチにトークン化する。
本研究では, ビート同期トークン化を生理的根拠のある代替手段として検討した。
論文 参考訳(メタデータ) (2026-08-31T07:25:12Z) - Post-Operative Glioma Segmentation via Loss Stabilization, Normalization and Subspace Attention [46.03321798937855]
ドメインシフトの際,GDL(Generalized Dice Loss)が不安定であることを示す。
本稿では,ボトルネック機能を再校正するサブスペース・アウェア・クラス・アテンション(SACA)モジュールを提案し,腫瘍の感度を8%向上させる。
論文 参考訳(メタデータ) (2026-07-23T09:59:30Z) - ECG-NAT: A Self-supervised Neighborhood Attention Transformer for Multi-lead Electrocardiogram Classification [4.904219291349455]
ECG信号は、きめ細かいビートレベルの形態とより広いリズムレベルの依存関係を同時にキャプチャするアーキテクチャを必要とする。
本稿では心電図近傍注意変換器(ECG-NAT)を提案する。
ECG-NATはベンチマークデータセット上で、1%のラベル付きデータを使用して88.1%の精度で堅牢なパフォーマンスを達成する。
論文 参考訳(メタデータ) (2026-05-13T08:50:00Z) - Differentiable latent structure discovery for interpretable forecasting in clinical time series [38.473526928012724]
連続時間多タスクガウス過程であるStructGPを導入し, 基本的不確かさを保ちながら, 相違構造学習と相違構造学習を組み合わせ, 相互依存の有向非巡回グラフ(DAG)を導出する。
LP-StructGPは,被験者特異的カップリングフィルタとソフトマックスゲーティング機構を用いて,患者間の進行パターンを捉えることで,StructGPを潜在経路に分割し,時間的に変化する軌跡を増大させる。
論文 参考訳(メタデータ) (2026-04-30T14:59:50Z) - BiGain: Unified Token Compression for Joint Generation and Classification [47.040577759493004]
BiGainは、高速拡散モデルにおける分類を改善しながら、生成品質を保ちながら、トレーニング不要でプラグアンドプレイのフレームワークである。
我々の重要な洞察は周波数分離であり、これは大域的な意味論から細部を解き、生成的忠実さと識別的有用性の両方を尊重する圧縮を可能にする。
本分析は,拡散モデルにおけるトークン圧縮のための信頼性の高い設計規則として,高頻度の細部と低周波数のセマンティクスを保存したスペクトル保持が重要であることを示す。
論文 参考訳(メタデータ) (2026-03-12T17:55:53Z) - SEER: Spectral Entropy Encoding of Roles for Context-Aware Attention-Based Design Pattern Detection [0.0]
本稿では,ソースコードからGang of Four(GoF)デザインパターンを検出するために,従来のContext Is All You Needのアップグレード版を提案する。
SEERはこれらの制限に、(i)各クラスの相互作用グラフのラプラシアンスペクトルからメンバーごとのロール埋め込みを導出するスペクトルエントロピーロールエンコーダ、(ii)メソッドカテゴリに経験的校正期間を割り当てる時間重呼出コンテキストの2つの原則で対処する。
PyDesignNet上のSEER(1,832ファイル、35,000のシーケンス、23のGoFパターン)を評価し、以前のシステムよりも一貫した利得を観察する。
論文 参考訳(メタデータ) (2026-01-19T19:13:40Z) - HCFT: Hierarchical Convolutional Fusion Transformer for EEG Decoding [9.572621097681646]
階層型脳核融合変換器(HCFT)という軽量な復号化フレームワークを提案する。
HCFTはマルチスケール表現のためにデュアルブランチエンコーダと階層トランスフォーマーブロックを組み合わせる。
その結果、HCFTは平均精度80.83%、BCI IV-2bではコーエンのカッパが0.6165であり、感度99.10%、時間当たり0.0236の偽陽性、CHB-MITでは98.82%であることがわかった。
論文 参考訳(メタデータ) (2026-01-18T06:36:30Z) - Efficient Token Compression for Vision Transformer with Spatial Information Preserved [59.79302182800274]
トーケン圧縮は、トランスモデルの計算およびメモリ要求の低減に不可欠である。
本稿では,Prune と Merge という,効率的なハードウェア互換のトークン圧縮手法を提案する。
論文 参考訳(メタデータ) (2025-03-30T14:23:18Z) - CwA-T: A Channelwise AutoEncoder with Transformer for EEG Abnormality Detection [0.4448543797168715]
CwA-Tは、チャネルワイズCNNベースのオートエンコーダと、効率的なEEG異常検出のためのシングルヘッドトランスフォーマー分類器を組み合わせた、新しいフレームワークである。
TUH異常脳波コーパスを用いて、提案モデルは85.0%の精度、76.2%の感度、91.2%の特異性を達成する。
この枠組みはチャネル設計を通じて解釈可能性を維持しており、神経科学研究や臨床実践における将来の応用の可能性を示している。
論文 参考訳(メタデータ) (2024-12-19T04:38:34Z) - Is Less More? Exploring Token Condensation as Training-free Test-time Adaptation [43.09801987385207]
対照的に、CLIP(Contrastive Language- Image Pretraining)は、一般化可能な画像表現の学習において優れているが、特定のデータセットのゼロショット推論では不足することが多い。
テスト時間適応(TTA)は、正規化レイヤやコンテキストプロンプトなどのコンポーネントを調整することでこの問題を軽減するが、通常は大きなバッチサイズと広範な拡張を必要とする。
本稿では,TCA(Token Condensation as Adaptation)を提案する。
論文 参考訳(メタデータ) (2024-10-16T07:13:35Z) - Accelerating Transformers with Spectrum-Preserving Token Merging [43.463808781808645]
PiToMeは、エネルギースコアと呼ばれる追加のメトリックを使用して、情報トークンの保存を優先する。
実験の結果,PiToMeはベースモデルの40~60%のFLOPから保存されていた。
論文 参考訳(メタデータ) (2024-05-25T09:37:01Z) - Multilabel 12-Lead Electrocardiogram Classification Using Gradient
Boosting Tree Ensemble [64.29529357862955]
我々は,心電図の診断を分類するために,形態や信号処理機能に適合した勾配強化木のアンサンブルを用いたアルゴリズムを構築した。
各リードについて、心拍変動、PQRSTテンプレート形状、全信号波形から特徴を導出する。
各クラスに属するECGインスタンスの確率を予測するため、全12項目の特徴と合わせて、勾配を増す決定ツリーの集合に適合する。
論文 参考訳(メタデータ) (2020-10-21T18:11:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。