論文の概要: ECG-Byte: A Tokenizer for End-to-End Generative Electrocardiogram Language Modeling

• arxiv url: http://arxiv.org/abs/2412.14373v1
• Date: Wed, 18 Dec 2024 22:13:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-20 13:30:39.823211
• Title: ECG-Byte: A Tokenizer for End-to-End Generative Electrocardiogram Language Modeling
• Title（参考訳）: ECG-Byte: エンド・ツー・エンド生成心電図言語モデリングのためのトケナイザ
• Authors: William Han, Chaojing Duan, Michael A. Rosenberg, Emerson Liu, Ding Zhao,
• Abstract要約: ECG-Byteは、ECGの自動回帰言語モデリングのためのトークン化パイプラインである。 ECG信号をトークンに圧縮してエンコードし、エンドツーエンドの大規模言語モデルのトレーニングを可能にする。 NLGタスクの競合性能は,2段階のアプローチで要求されるデータの半分と48%に過ぎません。
• 参考スコア（独自算出の注目度）: 20.484166589932702
• License:
• Abstract: Large Language Models (LLMs) have shown remarkable adaptability across domains beyond text, specifically electrocardiograms (ECGs). More specifically, there is a growing body of work exploring the task of generating text from a multi-channeled ECG and corresponding textual prompt. Current approaches typically involve pretraining an ECG-specific encoder with a self-supervised learning (SSL) objective and using the features output by the pretrained encoder to finetune a LLM for natural language generation (NLG). However, these methods are limited by 1) inefficiency from two-stage training and 2) interpretability challenges with encoder-generated features. To address these limitations, we introduce ECG-Byte, an adapted byte pair encoding (BPE) tokenizer pipeline for autoregressive language modeling of ECGs. This approach compresses and encodes ECG signals into tokens, enabling end-to-end LLM training by combining ECG and text tokens directly, while being much more interpretable since the ECG tokens can be directly mapped back to the original signal. Using ECG-Byte, we achieve competitive performance in NLG tasks in only half the time and ~48% of the data required by two-stage approaches.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、テキスト以外の領域、特に心電図(ECG)に顕著な適応性を示す。 より具体的には、マルチチャネルECGとそれに対応するテキストプロンプトからテキストを生成するタスクを探索する作業が増えている。 現在のアプローチでは、通常、自己教師付き学習(SSL)目的のECG固有のエンコーダを事前訓練し、事前訓練されたエンコーダによって出力される特徴を用いて自然言語生成(NLG)のためのLLMを微調整する。 しかし、これらの方法には制限がある。 1【二段階訓練の非効率性】 2)エンコーダ生成機能による解釈可能性の課題 これらの制約に対処するために、ECGの自動回帰言語モデリングのための適応バイトペア符号化(BPE)トークン化パイプラインであるECG-Byteを導入する。 このアプローチはECG信号をトークンに圧縮してエンコードし、ECGとテキストトークンを直接組み合わせることでエンドツーエンドのLCMトレーニングを可能にする。 ECG-Byte を用いて NLG タスクの競合性能を 2 段階のアプローチで要求されるデータの約48% の時間で達成する。

関連論文リスト

• Reading Your Heart: Learning ECG Words and Sentences via Pre-training ECG Language Model [25.131870247201636]
  我々は心電図信号の新たな視点を導入し、心拍を単語として扱い、リズムを文として扱う。 次に、ECG言語処理のための新しい自己教師型学習フレームワークHeartLangを提案する。 これまでで最大の心拍ベースの心電図語彙を構築し、心電図言語処理の開発をさらに進める。
  論文  参考訳（メタデータ） (2025-02-15T07:40:57Z)
• AnyECG: Foundational Models for Electrocardiogram Analysis [36.53693619144332]
  心電図(ECG)は急性心臓発作の検出に非常に敏感である。 本稿では,実世界のECGデータからロバストな表現を抽出するための基礎モデルであるAnyECGを紹介する。 異常検出,不整脈検出,不良鉛生成,超長期心電図信号解析などの実験結果から,AnyECGがデータから共通心電図の知識を学習し,各タスクにおける最先端手法を著しく上回ることを示す。
  論文  参考訳（メタデータ） (2024-11-17T17:32:58Z)
• Learning General Representation of 12-Lead Electrocardiogram with a Joint-Embedding Predictive Architecture [0.0]
  本稿では,12誘導ECG分析のための自己教師型学習モデルECG-JEPAを紹介する。 隠れた潜在空間で予測することで、ECGデータのセマンティック表現を学習する。 ECG-JEPAは、ECG分類や特徴予測を含む様々な下流タスクで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-10-11T06:30:48Z)
• ECG Semantic Integrator (ESI): A Foundation ECG Model Pretrained with LLM-Enhanced Cardiological Text [14.06147507373525]
  本研究は,12誘導ECG信号の学習表現の品質とロバスト性の向上を目的とした,新しいマルチモーダルコントラスト保持フレームワークを提案する。 私たちのフレームワークは、Cardio Query Assistant(CQA)とECG Semantics Integrator(ESI)の2つの重要なコンポーネントで構成されています。
  論文  参考訳（メタデータ） (2024-05-26T06:45:39Z)
• Enhancing EEG-to-Text Decoding through Transferable Representations from Pre-trained Contrastive EEG-Text Masked Autoencoder [69.7813498468116]
  コントラスト型脳波テキストマスケード自動エンコーダ(CET-MAE)を提案する。 また、E2T-PTR(Pretrained Transferable Representationsを用いたEEG-to-Text decoding)と呼ばれるフレームワークを開発し、EEGシーケンスからテキストをデコードする。
  論文  参考訳（メタデータ） (2024-02-27T11:45:21Z)
• ETP: Learning Transferable ECG Representations via ECG-Text Pre-training [10.856365645831728]
  ECG-Text Pre-training (ETP)は、ECG信号とテキストレポートをリンクするクロスモーダル表現を学習するために設計された革新的なフレームワークである。 ETPはECGエンコーダと事前訓練された言語モデルを使用して、ECG信号を対応するテキストレポートと整合させる。
  論文  参考訳（メタデータ） (2023-09-06T19:19:26Z)
• Supervision-Guided Codebooks for Masked Prediction in Speech Pre-training [102.14558233502514]
  自己教師型学習(SSL)における事前学習のマズード予測は,音声認識における顕著な進歩をみせている。 本稿では,自動音声認識(ASR)の性能向上のための2つの教師付きコードブック生成手法を提案する。
  論文  参考訳（メタデータ） (2022-06-21T06:08:30Z)
• Generalizing electrocardiogram delineation: training convolutional neural networks with synthetic data augmentation [63.51064808536065]
  ECGのデライン化のための既存のデータベースは小さく、サイズやそれらが表す病態の配列に不足している。 まず、原データベースから抽出した基本セグメントのプールを与えられたECGトレースを確率的に合成し、その整合性のある合成トレースに配置するための一連のルールを考案した。 第二に、2つの新しいセグメンテーションに基づく損失関数が開発され、これは、正確な数の独立構造の予測を強制し、サンプル数の削減に焦点をあてて、より密接なセグメンテーション境界を創出することを目的としている。
  論文  参考訳（メタデータ） (2021-11-25T10:11:41Z)
• Scheduled Sampling in Vision-Language Pretraining with Decoupled Encoder-Decoder Network [99.03895740754402]
  本稿では,2つの切り離されたクロスモーダルエンコーダとデコーダが関与するエンコーダ・デコーダ構造の2ストリーム分離設計を提案する。 その代替として,2パス方式でエンコーダデコーダを事前学習することで,そのような不一致を緩和する一次サンプリング戦略を提案する。
  論文  参考訳（メタデータ） (2021-01-27T17:36:57Z)
• Inductive Learning on Commonsense Knowledge Graph Completion [89.72388313527296]
  コモンセンス知識グラフ(英: Commonsense Knowledge graph、CKG)は、知識グラフ(英: knowledge graph、CKG)の一種。 本稿では,未確認のエンティティがテスト時に現れるCKG完了のための帰納学習環境について検討する。 InductivEは、ATOMICとConceptNetベンチマークの標準設定とインダクティブ設定の両方において、最先端のベースラインを大幅に上回っている。
  論文  参考訳（メタデータ） (2020-09-19T16:10:26Z)
• ECG-DelNet: Delineation of Ambulatory Electrocardiograms with Mixed Quality Labeling Using Neural Networks [69.25956542388653]
  ディープラーニング(DL)アルゴリズムは、学術的、産業的にも重くなっている。 セグメンテーションフレームワークにECGの検出とデライン化を組み込むことにより、低解釈タスクにDLをうまく適用できることを実証する。 このモデルは、PhyloNetのQTデータベースを使用して、105個の増幅ECG記録から訓練された。
  論文  参考訳（メタデータ） (2020-05-11T16:29:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。