論文の概要: Exploiting a Mixture-of-Layers in an Electrocardiography Foundation Model

• arxiv url: http://arxiv.org/abs/2509.00102v1
• Date: Wed, 27 Aug 2025 20:30:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-04 15:17:03.081838
• Title: Exploiting a Mixture-of-Layers in an Electrocardiography Foundation Model
• Title（参考訳）: 心電図基礎モデルにおける混合層爆発
• Authors: Phu X. Nguyen, Huy Phan, Hieu Pham, Christos Chatzichristos, Bert Vandenberk, Maarten De Vos,
• Abstract要約: 心電図のためのトランスフォーマーベース基礎モデル(ECG)は、近年、多くの下流アプリケーションで顕著な性能を達成している。 トレーニング済みのTransformerモデルの最終レイヤであるEmphdeファクト表現層は、下流タスクに最適なパフォーマンスを提供するだろうか? 本稿では,モデルレイヤの表現多様性を効果的に活用するための新しいアプローチを提案する。
• 参考スコア（独自算出の注目度）: 17.400439953606913
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transformer-based foundation models for Electrocardiograms (ECGs) have recently achieved impressive performance in many downstream applications. However, the internal representations of such models across layers have not been fully understood and exploited. An important question arises: Does the final layer of the pre-trained Transformer model, the \emph{de facto} representational layer, provide optimal performance for downstream tasks? Although our answer based on empirical and theoretical analyses for this question is negative, we propose a novel approach to leverage the representation diversity of the model's layers effectively. Specifically, we introduce a novel architecture called Post-pretraining Mixture-of-layers Aggregation (PMA), which enables a flexible combination of the layer-wise representations from the layer stack of a Transformer-based foundation model. We first pre-train the model from ECG signals using the 1-dimensional Vision Transformer (ViT) via masked modeling. In downstream applications, instead of relying solely on the last layer of the model, we employ a gating network to selectively fuse the representations from the pretrained model's layers, thereby enhancing representation power and improving performance of the downstream applications. In addition, we extend the proposed method to the pretraining stage by aggregating all representations through group-wise averaging before feeding them into the decoder-based Transformer.
• Abstract（参考訳）: 心電図のためのトランスフォーマーベース基礎モデル(ECG)は、近年、多くの下流アプリケーションで顕著な性能を達成している。 しかし、層をまたいだモデルの内部表現は完全には理解されておらず、活用されていない。 トレーニング済みの Transformer モデルの最終レイヤである \emph{de facto} 表現層は、下流タスクに最適なパフォーマンスを提供するか? この問題に対する経験的および理論的分析に基づく回答は否定的であるが、モデルの層表現の多様性を効果的に活用するための新しいアプローチを提案する。 具体的には,PMA(Post-pretraining Mixture-of-layer Aggregation)と呼ばれる新しいアーキテクチャを導入する。 まず1次元視覚変換器 (ViT) を用いて, マスクモデルを用いてECG信号からモデルを事前学習する。 下流アプリケーションでは、モデルの最後の層にのみ依存するのではなく、ゲーティングネットワークを用いて事前訓練されたモデルの層から表現を選択的に融合させ、表現力を高め、下流アプリケーションの性能を向上させる。 さらに,提案手法は,デコーダベースのトランスフォーマーに入力する前に,グループワイド平均化によってすべての表現を集約することにより,事前学習段階まで拡張する。

関連論文リスト

• ECG-MoE: Mixture-of-Expert Electrocardiogram Foundation Model [22.753790262338185]
  ECG-MoEは、マルチモデル時間的特徴と心臓周期を意識したエキスパートモジュールを統合するハイブリッドアーキテクチャである。 マルチタスクベースラインよりも40%高速な推論で最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2026-03-04T20:36:05Z)
• EnECG: Efficient Ensemble Learning for Electrocardiogram Multi-task Foundation Model [46.84040404474695]
  EnECGは、複数の特別な基礎モデルを統合するアンサンブルベースのフレームワークであり、それぞれECG解釈の異なる側面で優れている。 本稿では,基礎モデルの強力な表現力を維持しつつ,計算・メモリコストの削減に寄与することを示す。 このフレームワークは特徴抽出と予測性能を向上するだけでなく、実際の臨床応用に実用的な効率性も確保する。
  論文  参考訳（メタデータ） (2025-11-28T07:22:33Z)
• Simulator and Experience Enhanced Diffusion Model for Comprehensive ECG Generation [52.19347532840774]
  本稿では,心電図生成のための新しい生理シミュレータSE-Diffを提案する。 SE-Diffは、軽量常微分方程式(ODE)ベースのECGシミュレータをビートデコーダを介して拡散過程に統合する。 実世界のECGデータセットに対する大規模な実験により、SE-Diffは信号の忠実度とテキスト-ECGセマンティックアライメントの両方を改善している。
  論文  参考訳（メタデータ） (2025-11-13T02:57:10Z)
• UniECG: Understanding and Generating ECG in One Unified Model [26.641666246045133]
  我々は、エビデンスベースのECG解釈とテキスト条件のECG生成タスクを同時に行うことができるECGの最初の統一モデルUniECGを提案する。 UniECGは、ユーザ入力に基づいてECGを自動で解釈または生成することを選択し、現在のECGモデルの能力境界を大幅に拡張することができる。
  論文  参考訳（メタデータ） (2025-09-23T03:15:53Z)
• BenchECG and xECG: a benchmark and baseline for ECG foundation models [0.0]
  心電図(ECG)は安価で、広く使われ、ディープラーニングに適している。 我々は、公開ECGデータセットと汎用タスクの包括的なスイートからなる標準化されたベンチマークであるBenchECGを紹介する。 また,SimDINOv2自己教師型学習を用いて学習したxLSTMに基づくリカレントモデルであるxECGを提案する。
  論文  参考訳（メタデータ） (2025-09-12T11:27:17Z)
• Heartcare Suite: Multi-dimensional Understanding of ECG with Raw Multi-lead Signal Modeling [50.58126509704037]
  医療スイート(Heartcare Suite)は、微細心電図(ECG)の理解のためのフレームワークである。 Heartcare-220Kは高品質で構造化され、包括的なマルチモーダルECGデータセットである。 Heartcare-Benchは、ECGシナリオにおける医療マルチモーダル大言語モデル(Med-MLLM)の最適化を導くためのベンチマークである。
  論文  参考訳（メタデータ） (2025-06-06T07:56:41Z)
• anyECG-chat: A Generalist ECG-MLLM for Flexible ECG Input and Multi-Task Understanding [20.290531515033518]
  マルチモーダルな大言語モデル(MLLM)は、心電図(ECG)解析への関心を喚起している。 既存のECGにフォーカスしたMLLMは、レポート生成タスクに重点を置いており、多くの場合、単一の12リードの短いECG入力(10秒)に制限される。 動的長のECG入力と複数のECG入力をサポートする anyECG-chat モデルを提案する。
  論文  参考訳（メタデータ） (2025-06-01T10:17:13Z)
• TIDE : Temporal-Aware Sparse Autoencoders for Interpretable Diffusion Transformers in Image Generation [41.909091496502704]
  拡散トランスフォーマー(Diffusion Transformers, DiTs)は、強力なが未探索な生成モデルのクラスである。 解釈可能な拡散変換を行うためのTIDE-Temporal-aware sparse Autoencodersを提案する。
  論文  参考訳（メタデータ） (2025-03-10T08:35:51Z)
• GEM: Empowering MLLM for Grounded ECG Understanding with Time Series and Images [44.50428701650495]
  GEMは,第1回MLLM統合ECG時系列,第12回リードECG画像,地上および臨床のECG解釈のためのテキストである。 GEMは、3つのコアイノベーションを通じて機能的解析、エビデンス駆動推論、および臨床医のような診断プロセスを可能にする。 基礎心電図理解におけるMLLMの能力を評価するために,臨床動機付けのベンチマークであるグラウンドドECGタスクを提案する。
  論文  参考訳（メタデータ） (2025-03-08T05:48:53Z)
• Universal Pooling Method of Multi-layer Features from Pretrained Models for Speaker Verification [7.005068872406135]
  大規模事前学習ネットワークを活用した自動話者検証(ASV)研究の最近の進歩が達成されている。 ASVのための事前学習モデルの多層特性を利用するための新しい手法を提案する。 提案した層間処理が,事前学習モデルを利用する利点の最大化にどのように役立つかを示す。
  論文  参考訳（メタデータ） (2024-09-12T05:55:32Z)
• Spatio-Temporal Encoding of Brain Dynamics with Surface Masked Autoencoders [10.097983222759884]
  表面仮面オートエンコーダ(sMAE)と表面仮面オートエンコーダ(MAE) これらのモデルは、皮質発達と構造関数の強力な潜在表現を学習することにより、入力のマスクされたバージョンから皮質特徴写像を再構築するように訓練されている。 以上の結果から, (v)sMAE事前学習モデルでは, 複数のタスクにおける表現型予測性能が約26%向上し,スクラッチからトレーニングしたモデルに対してより高速な収束が得られた。
  論文  参考訳（メタデータ） (2023-08-10T10:01:56Z)
• ViT2EEG: Leveraging Hybrid Pretrained Vision Transformers for EEG Data [0.0]
  画像ネット上で事前学習したハイブリッドビジョントランスフォーマー(ViT)モデルの脳波回帰タスクへの応用を実演する。 このモデルは、ImageNetの重みなしでトレーニングされた同じアーキテクチャのViTなど、他のモデルと比較して、顕著なパフォーマンス向上を示している。
  論文  参考訳（メタデータ） (2023-08-01T11:10:33Z)
• Learning Joint Latent Space EBM Prior Model for Multi-layer Generator [44.4434704520236]
  多層ジェネレータモデルの学習における基礎的問題について検討する。 本稿では,全層にまたがる待ち行列空間上のエネルギーモデル (EBM) を提案する。 実験により、学習したモデルが高品質な画像を生成する際に表現できることが実証された。
  論文  参考訳（メタデータ） (2023-06-10T00:27:37Z)
• PulseNet: Deep Learning ECG-signal classification using random augmentation policy and continous wavelet transform for canines [46.09869227806991]
  犬心電図(ECG)の評価には熟練した獣医が必要である。 心電図の解釈と診断支援のための獣医師の現在の利用状況は限られている。 犬の心電図配列を正常または異常と分類するためのディープ畳み込みニューラルネットワーク(CNN)アプローチを実装した。
  論文  参考訳（メタデータ） (2023-05-17T09:06:39Z)
• STMT: A Spatial-Temporal Mesh Transformer for MoCap-Based Action Recognition [50.064502884594376]
  本研究では、モーションキャプチャー(MoCap)シーケンスを用いた人間の行動認識の問題点について検討する。 メッシュシーケンスを直接モデル化する新しい時空間メッシュ変換器(STMT)を提案する。 提案手法は,スケルトンベースモデルやポイントクラウドベースモデルと比較して,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2023-03-31T16:19:27Z)
• A new perspective on probabilistic image modeling [92.89846887298852]
  本稿では,密度推定,サンプリング,トラクタブル推論が可能な画像モデリングのための新しい確率論的手法を提案する。 DCGMMは、CNNのように、ランダムな初期条件からSGDによってエンドツーエンドに訓練することができる。 本研究は,近年のPCおよびSPNモデルと,推論,分類,サンプリングの観点から比較した。
  論文  参考訳（メタデータ） (2022-03-21T14:53:57Z)
• ViViT: A Video Vision Transformer [75.74690759089529]
  ビデオ分類にpure-transformerベースのモデルを提案する。 本モデルでは,入力ビデオから時間トークンを抽出し,一連のトランスフォーマー層で符号化する。 トレーニング中にモデルを効果的に正規化し、トレーニング済みの画像モデルを利用して比較的小さなデータセットでトレーニングできることを示します。
  論文  参考訳（メタデータ） (2021-03-29T15:27:17Z)
• ECG-DelNet: Delineation of Ambulatory Electrocardiograms with Mixed Quality Labeling Using Neural Networks [69.25956542388653]
  ディープラーニング(DL)アルゴリズムは、学術的、産業的にも重くなっている。 セグメンテーションフレームワークにECGの検出とデライン化を組み込むことにより、低解釈タスクにDLをうまく適用できることを実証する。 このモデルは、PhyloNetのQTデータベースを使用して、105個の増幅ECG記録から訓練された。
  論文  参考訳（メタデータ） (2020-05-11T16:29:12Z)
• Normalizing Flows with Multi-Scale Autoregressive Priors [131.895570212956]
  マルチスケール自己回帰前処理(mAR)を通した遅延空間におけるチャネルワイド依存性を導入する。 我々のmARは、分割結合フロー層(mAR-SCF)を持つモデルに先立って、複雑なマルチモーダルデータの依存関係をよりよく捉えます。 我々は,mAR-SCFにより画像生成品質が向上し,FIDとインセプションのスコアは最先端のフローベースモデルと比較して向上したことを示す。
  論文  参考訳（メタデータ） (2020-04-08T09:07:11Z)
• A Multi-Scale Tensor Network Architecture for Classification and Regression [0.0]
  テンソルネットワークを用いた教師あり学習のためのアルゴリズムを提案する。 我々はウェーブレット変換の連続を通して粗粒化によってデータを前処理するステップを採用する。 ネットワークを通しての細粒化がモデルの初期化にどのように利用されるかを示す。
  論文  参考訳（メタデータ） (2020-01-22T21:26:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。