論文の概要: Learning Fingerprints for Medical Time Series with Redundancy-Constrained Information Maximization

• arxiv url: http://arxiv.org/abs/2605.00130v1
• Date: Thu, 30 Apr 2026 18:33:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-04 17:43:28.711103
• Title: Learning Fingerprints for Medical Time Series with Redundancy-Constrained Information Maximization
• Title（参考訳）: 冗長制約情報最大化による医用時系列の学習
• Authors: Huayu Li, ZhengXiao He, Xiwen Chen, Jingjing Wang, Siyuan Tian, Jinghao Wen, Ao Li,
• Abstract要約: 可変長のMedTSを固定サイズの$k$潜在フィンガープリントトークンに圧縮する新しいフレームワークを提案する。 私たちのアーキテクチャでは、これらのトークンを生成するために、クロスアテンションボトルネックを使用し、二重目的関数でトレーニングされています。 このアプローチは低次元、解釈可能、サンプル効率の表現を生み出し、各トークンは変動の独立した要因を捉えることを奨励する。
• 参考スコア（独自算出の注目度）: 11.233142317726971
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Learning meaningful representations from medical time series (MedTS) such as ECG or EEG signals is a critical challenge. These signals are often high-dimensional, variable-length and rife with noise. Existing self-supervised approaches, such as Masked Autoencoders (MAEs) are highly effective for pre-training general-purpose encoders. However, they do not explicitly learn compact and semantically interpretable latent representations, typically relying on heuristic aggregation strategies such as global average pooling or a designated [CLS] token. We propose a novel framework that compresses a variable-length MedTS into a fixed-size set of $k$ latent Fingerprint Tokens. Our architecture employs a cross-attention bottleneck to generate these tokens and is trained with a dual-objective function. The first objective is a reconstruction loss, which ensures the tokens are \textit{sufficient statistics} for the original data. The second, a diversity penalty based on the Total Coding Rate (TCR), explicitly minimizes the redundancy between tokens, encouraging them to become statistically \textit{disentangled} representations. We present the theoretical justification for our method, framing it as a novel \textbf{Disentangled Rate-Distortion} problem. This approach produces a low-dimensional, interpretable, and sample-efficient representation, where each token is encouraged to capture an independent factor of variation, paving the way for more robust digital biomarkers.
• Abstract（参考訳）: ECGやEEG信号などの医療時系列(MedTS)から有意義な表現を学ぶことは重要な課題である。 これらの信号は、しばしば高次元、可変長、ノイズを伴う波動である。 Masked Autoencoders (MAE) のような既存の自己教師型アプローチは、事前訓練された汎用エンコーダに非常に効果的である。 しかし、大域平均プーリングや指定された[CLS]トークンのようなヒューリスティックアグリゲーション戦略に頼って、コンパクトで意味論的に解釈可能な潜在表現を明示的に学習するわけではない。 可変長のMedTSを固定サイズの$k$潜在フィンガープリントトークンに圧縮する新しいフレームワークを提案する。 私たちのアーキテクチャでは、これらのトークンを生成するために、クロスアテンションボトルネックを使用し、二重目的関数でトレーニングされています。 最初の目的は再構築損失であり、トークンが元のデータに対して \textit{sufficient statistics} であることを保証する。 2つ目は、トータル・コーディング・レート(TCR)に基づく多様性のペナルティであり、トークン間の冗長性を明示的に最小化し、統計的に \textit{disentangled} 表現になるよう促している。 本稿では,本手法の理論的正当性について,新しい「textbf{Disentangled Rate-Distortion}」問題として考察する。 このアプローチは低次元、解釈可能、サンプル効率の表現を生み出し、それぞれのトークンは独立した変動要因を捉え、より堅牢なデジタルバイオマーカーの道を開く。

関連論文リスト

• RCP: Representation Consistency Pruner for Mitigating Distribution Shift in Large Vision-Language Models [24.3914653184824]
  LVLM(Large Vision-Language Models)は、言語デコーダによって処理される膨大な数の視覚トークンによって、推論の禁止コストに悩まされる。 既存のプルーニング法は、視覚トークンの可逆的な除去が、事前訓練されたフルトケン状態から逸脱した隠れ状態の分布シフトを引き起こすため、大きな性能劣化を引き起こすことが多い。 本稿では,累積的視覚トークンプルーニングと遅延修復機構を統合した一貫性表現プルーナを提案する。
  論文  参考訳（メタデータ） (2026-04-04T13:31:45Z)
• Learning Representations from Incomplete EHR Data with Dual-Masked Autoencoding [3.6883644193065117]
  不完全時系列から直接学習するAID-MAE(Augmented-Intrinsic Dual-Masked Autoencoder)を提案する。 AID-MAEプロセスは、トークンの未マッピングサブセットのみを処理し、強いベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2026-02-16T19:58:44Z)
• Medical Referring Image Segmentation via Next-Token Mask Prediction [40.827152909794336]
  医療参照画像(Medical Referring Image: MRIS)は、自然言語の記述に基づいて、医療画像のターゲット領域を分割する。 NTP-MRISegは,トークン化画像,テキスト,マスク表現を統一したマルチモーダルシーケンス上で,MRISを自己回帰的次トーケン予測タスクとして再構成する新しいフレームワークである。
  論文  参考訳（メタデータ） (2025-11-07T07:29:19Z)
• Knowledge-Informed Neural Network for Complex-Valued SAR Image Recognition [51.03674130115878]
  本稿では,新しい「圧縮集約圧縮」アーキテクチャ上に構築された軽量なフレームワークであるKnowledge-Informed Neural Network(KINN)を紹介する。 KINNはパラメータ効率の認識における最先端を確立し、データスカースとアウト・オブ・ディストリビューションのシナリオにおいて例外的な一般化を提供する。
  論文  参考訳（メタデータ） (2025-10-23T07:12:26Z)
• Exploiting Discriminative Codebook Prior for Autoregressive Image Generation [54.14166700058777]
  トークンベースの自己回帰画像生成システムは、まずトークンインデックスのシーケンスをコードブックでトークン化し、次にこれらのシーケンスを自己回帰パラダイムでモデル化する。 自己回帰生成モデルはインデックス値のみに基づいて訓練されるが、豊富なトークン類似性情報を含むコードブックにエンコードされた前者は利用されない。 近年の研究では、トークン上に単純なk平均クラスタリングを行い、コードブックを減らした生成モデルのトレーニングを容易にすることで、これを先に組み込もうとしている。 k-meansの代替として、差別的コードブック先駆者(DCPE)を提案する。
  論文  参考訳（メタデータ） (2025-08-14T15:00:00Z)
• Bridging Continuous and Discrete Tokens for Autoregressive Visual Generation [85.82112629564942]
  本稿では,離散トークンのモデリングをシンプルに保ちながら,連続トークンの強力な表現能力を維持するTokenBridgeを提案する。 本稿では,各特徴次元を独立に離散化し,軽量な自己回帰予測機構と組み合わせた次元ワイド量子化戦略を提案する。 提案手法は,標準的なカテゴリー予測を用いて,連続的手法と同等に再現および生成品質を実現する。
  論文  参考訳（メタデータ） (2025-03-20T17:59:59Z)
• MedSpaformer: a Transferable Transformer with Multi-granularity Token Sparsification for Medical Time Series Classification [25.47662257105448]
  MedTS分類に適したトランスフォーマーベースのフレームワークであるMedSpaformerを紹介する。 グローバルなコンテキストモデリングとトークンスペーシングを可能にする、スパーストークンベースのデュアルアテンション機構が組み込まれている。 我々のモデルは、教師あり学習下で7つの医療データセットで13のベースラインを上回ります。
  論文  参考訳（メタデータ） (2025-03-19T13:22:42Z)
• Semantic Equitable Clustering: A Simple and Effective Strategy for Clustering Vision Tokens [57.37893387775829]
  我々はSemantic Equitable Clustering(SEC)という,高速かつバランスの取れたクラスタリング手法を導入する。 SECは、グローバルなセマンティックな関連性に基づいてトークンを効率的かつ直接的な方法でクラスタ化する。 視覚言語コネクタとして機能する汎用視覚バックボーンであるSECViTを提案する。
  論文  参考訳（メタデータ） (2024-05-22T04:49:00Z)
• LeMeViT: Efficient Vision Transformer with Learnable Meta Tokens for Remote Sensing Image Interpretation [37.72775203647514]
  本稿では,学習可能なメタトークンを用いてスパーストークンを定式化し,キー情報を効果的に学習し,推論速度を向上させることを提案する。 視覚トークンが密集した早期にデュアル・クロス・アテンション(DCA)を用いることで,様々な大きさの階層型アーキテクチャLeMeViTが得られる。 分類と密接な予測タスクの実験結果は、LeMeViTがベースラインモデルと比較して1.7倍のスピードアップ、少ないパラメータ、競争性能を持っていることを示している。
  論文  参考訳（メタデータ） (2024-05-16T03:26:06Z)
• UGMAE: A Unified Framework for Graph Masked Autoencoders [67.75493040186859]
  グラフマスク付きオートエンコーダのための統一フレームワークであるUGMAEを提案する。 まず,ノードの特異性を考慮した適応型特徴マスク生成器を開発した。 次に,階層型構造再構成と特徴再構成を併用し,総合的なグラフ情報を取得する。
  論文  参考訳（メタデータ） (2024-02-12T19:39:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。