論文の概要: ECG-Byte: A Tokenizer for End-to-End Generative Electrocardiogram Language Modeling

• arxiv url: http://arxiv.org/abs/2412.14373v2
• Date: Mon, 30 Jun 2025 21:12:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-02 17:57:15.527656
• Title: ECG-Byte: A Tokenizer for End-to-End Generative Electrocardiogram Language Modeling
• Title（参考訳）: ECG-Byte: エンド・ツー・エンド生成心電図言語モデリングのためのトケナイザ
• Authors: William Han, Chaojing Duan, Michael A. Rosenberg, Emerson Liu, Ding Zhao,
• Abstract要約: 大規模言語モデル(LLMs)は、心電図(ECGs)への応用を含む、ドメイン間での例外的な汎用性を実証している。 本稿では,ECGの自動回帰言語モデリングのための適応バイトペア符号化(BPE)トークン化パイプラインであるECG-Byteを提案する。 従来の2段階法で必要とされるデータの48%しか使用せず,3倍高速なトレーニングをしながら,競争力のあるNLG性能を実現する。
• 参考スコア（独自算出の注目度）: 20.484166589932702
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) have demonstrated exceptional versatility across domains, including applications to electrocardiograms (ECGs). A growing body of work focuses on generating text from multi-channeled ECG signals and corresponding textual prompts. Existing approaches often involve a two-stage process: pretraining an ECG-specific encoder with a self-supervised learning (SSL) objective, followed by finetuning an LLM for natural language generation (NLG) using encoder-derived features. However, these methods face two key limitations: inefficiency due to multi-stage training and challenges in interpreting encoder-generated features. To overcome these issues, we propose ECG-Byte, an adapted byte pair encoding (BPE) tokenizer pipeline for autoregressive language modeling of ECGs. ECG-Byte compresses and encodes ECG signals into tokens, enabling direct end-to-end LLM training by combining ECG and text tokens. This approach enhances interpretability, as ECG tokens can be directly mapped back to the original signals. Leveraging ECG-Byte, we achieve competitive NLG performance while training 3 times faster and using just 48\% of the data required by traditional two-stage methods.
• Abstract（参考訳）: 大規模言語モデル(LLMs)は、心電図(ECGs)への応用を含む、ドメイン間での例外的な汎用性を示している。 増え続ける研究は、マルチチャネルECG信号と対応するテキストプロンプトからテキストを生成することに焦点を当てている。 既存のアプローチには2段階のプロセスがある: 自己教師付き学習(SSL)目的のECG固有のエンコーダを事前訓練した後、エンコーダ由来の機能を使用して自然言語生成(NLG)のためのLLMを微調整する。 しかし、これらの手法は、マルチステージトレーニングによる非効率性と、エンコーダ生成した特徴を解釈する際の課題の2つの重要な制限に直面している。 これらの問題を克服するために、ECGの自動回帰言語モデリングのための適応バイトペア符号化(BPE)トークン化パイプラインであるECG-Byteを提案する。 ECG-ByteはECG信号をトークンに圧縮してエンコードし、ECGとテキストトークンを組み合わせることで、エンドツーエンドのLCMトレーニングを可能にする。 このアプローチは、ECGトークンを直接元の信号にマッピングできるため、解釈可能性を高める。 ECG-Byteを活用することで、従来の2段階法で必要とされるデータのわずか48倍の速度でトレーニングしながら、競争力のあるNLGパフォーマンスを実現します。

関連論文リスト

• GEM: Empowering MLLM for Grounded ECG Understanding with Time Series and Images [43.65650710265957]
  GEMは,第1回MLLM統合ECG時系列,第12回リードECG画像,地上および臨床のECG解釈のためのテキストである。 GEMは、3つのコアイノベーションを通じて機能的解析、エビデンス駆動推論、および臨床医のような診断プロセスを可能にする。 基礎心電図理解におけるMLLMの能力を評価するために,臨床動機付けのベンチマークであるグラウンドドECGタスクを提案する。
  論文  参考訳（メタデータ） (2025-03-08T05:48:53Z)
• Reading Your Heart: Learning ECG Words and Sentences via Pre-training ECG Language Model [25.131870247201636]
  我々は心電図信号の新たな視点を導入し、心拍を単語として扱い、リズムを文として扱う。 次に、ECG言語処理のための新しい自己教師型学習フレームワークHeartLangを提案する。 これまでで最大の心拍ベースの心電図語彙を構築し、心電図言語処理の開発をさらに進める。
  論文  参考訳（メタデータ） (2025-02-15T07:40:57Z)
• Learning General Representation of 12-Lead Electrocardiogram with a Joint-Embedding Predictive Architecture [0.0]
  本稿では,12誘導ECG分析のための自己教師型学習モデルECG-JEPAを紹介する。 隠れた潜在空間で予測することで、ECGデータのセマンティック表現を学習する。 ECG-JEPAは、ECG分類や特徴予測を含む様々な下流タスクで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-10-11T06:30:48Z)
• ECG Semantic Integrator (ESI): A Foundation ECG Model Pretrained with LLM-Enhanced Cardiological Text [14.06147507373525]
  本研究は,12誘導ECG信号の学習表現の品質とロバスト性の向上を目的とした,新しいマルチモーダルコントラスト保持フレームワークを提案する。 私たちのフレームワークは、Cardio Query Assistant(CQA)とECG Semantics Integrator(ESI)の2つの重要なコンポーネントで構成されています。
  論文  参考訳（メタデータ） (2024-05-26T06:45:39Z)
• Enhancing EEG-to-Text Decoding through Transferable Representations from Pre-trained Contrastive EEG-Text Masked Autoencoder [69.7813498468116]
  コントラスト型脳波テキストマスケード自動エンコーダ(CET-MAE)を提案する。 また、E2T-PTR(Pretrained Transferable Representationsを用いたEEG-to-Text decoding)と呼ばれるフレームワークを開発し、EEGシーケンスからテキストをデコードする。
  論文  参考訳（メタデータ） (2024-02-27T11:45:21Z)
• ETP: Learning Transferable ECG Representations via ECG-Text Pre-training [10.856365645831728]
  ECG-Text Pre-training (ETP)は、ECG信号とテキストレポートをリンクするクロスモーダル表現を学習するために設計された革新的なフレームワークである。 ETPはECGエンコーダと事前訓練された言語モデルを使用して、ECG信号を対応するテキストレポートと整合させる。
  論文  参考訳（メタデータ） (2023-09-06T19:19:26Z)
• Generalizing electrocardiogram delineation: training convolutional neural networks with synthetic data augmentation [63.51064808536065]
  ECGのデライン化のための既存のデータベースは小さく、サイズやそれらが表す病態の配列に不足している。 まず、原データベースから抽出した基本セグメントのプールを与えられたECGトレースを確率的に合成し、その整合性のある合成トレースに配置するための一連のルールを考案した。 第二に、2つの新しいセグメンテーションに基づく損失関数が開発され、これは、正確な数の独立構造の予測を強制し、サンプル数の削減に焦点をあてて、より密接なセグメンテーション境界を創出することを目的としている。
  論文  参考訳（メタデータ） (2021-11-25T10:11:41Z)
• Scheduled Sampling in Vision-Language Pretraining with Decoupled Encoder-Decoder Network [99.03895740754402]
  本稿では,2つの切り離されたクロスモーダルエンコーダとデコーダが関与するエンコーダ・デコーダ構造の2ストリーム分離設計を提案する。 その代替として,2パス方式でエンコーダデコーダを事前学習することで,そのような不一致を緩和する一次サンプリング戦略を提案する。
  論文  参考訳（メタデータ） (2021-01-27T17:36:57Z)
• Inductive Learning on Commonsense Knowledge Graph Completion [89.72388313527296]
  コモンセンス知識グラフ(英: Commonsense Knowledge graph、CKG)は、知識グラフ(英: knowledge graph、CKG)の一種。 本稿では,未確認のエンティティがテスト時に現れるCKG完了のための帰納学習環境について検討する。 InductivEは、ATOMICとConceptNetベンチマークの標準設定とインダクティブ設定の両方において、最先端のベースラインを大幅に上回っている。
  論文  参考訳（メタデータ） (2020-09-19T16:10:26Z)
• ECG-DelNet: Delineation of Ambulatory Electrocardiograms with Mixed Quality Labeling Using Neural Networks [69.25956542388653]
  ディープラーニング(DL)アルゴリズムは、学術的、産業的にも重くなっている。 セグメンテーションフレームワークにECGの検出とデライン化を組み込むことにより、低解釈タスクにDLをうまく適用できることを実証する。 このモデルは、PhyloNetのQTデータベースを使用して、105個の増幅ECG記録から訓練された。
  論文  参考訳（メタデータ） (2020-05-11T16:29:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。