論文の概要: Next-Token Prediction Learns Generalisable Representations of Sleep Physiology

• arxiv url: http://arxiv.org/abs/2606.09605v1
• Date: Mon, 08 Jun 2026 15:13:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-09 14:42:07.374204
• Title: Next-Token Prediction Learns Generalisable Representations of Sleep Physiology
• Title（参考訳）: 睡眠生理学の一般表現を学習する次世代予測
• Authors: Jonathan F. Carter, Lionel Tarassenko,
• Abstract要約: 我々は8つの異なる感覚モードを用いて訓練された睡眠基盤モデルであるHypnosを開発した。 残差ベクトル量子化を用いて各モダリティを離散トークンのストリームにトークン化する。 大規模自動回帰RQ-Transformerをトレーニングし、並列な全モードにわたって次のトークンを共同で予測する。
• 参考スコア（独自算出の注目度）: 3.80147466733132
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Foundation models offer a promising route to compress multi-modal physiological signals into compact representations of human health, with broad applications across sleep medicine, cardiology, neurology and other healthcare domains. Existing models have typically been trained with masked-reconstruction or contrastive objectives. However, masked reconstruction may be poorly suited to the stochastic nature of these signals, while contrastive approaches rely on positive-pair definitions despite the semantic invariances of physiological signals being poorly understood. In this work, we show that next-token prediction is a simple and scalable alternative. We develop Hypnos, a multi-modal sleep foundation model trained using eight different sensing modalities (e.g. EEG, ECG, respiratory signals) drawn from over 20,000 overnight polysomnography recordings. We tokenize each modality into streams of discrete tokens using residual vector quantization, then train a large auto-regressive RQ-Transformer to jointly predict the next token across all modalities in parallel. After training, Hypnos can be applied to continuous streams of sensor data from any subset of supported modalities, generating embeddings for downstream tasks. Across a range of benchmarks, Hypnos significantly outperforms existing foundation models. In sleep stage classification, we match the performance of strong supervised baselines on held-out test sets whilst using \(100\times\) less labelled data. Hypnos even generalises to daytime physiology, surpassing a dedicated ECG foundation model at detecting atrial fibrillation. Our results demonstrate that next-token prediction is a strong self-supervised objective for representation learning from multi-modal physiological signals.
• Abstract（参考訳）: ファンデーションモデルは、睡眠医学、心臓医学、神経学、その他の医療分野に広く応用されている、人間の健康のコンパクトな表現にマルチモーダルな生理的シグナルを圧縮する有望なルートを提供する。 既存のモデルは、通常、マスクされた再構築または対照的な目的で訓練されている。 しかしながら、マスクによる再構成はこれらの信号の確率的性質にはあまり適していないが、対照的なアプローチは、生理学的信号の意味的不変性が不十分であるにもかかわらず、正対の定義に依存している。 本研究では,次世代の予測がシンプルでスケーラブルな代替手段であることを示す。 我々は,2万以上の夜間ポリソムノグラフィー記録から抽出した8種類の感覚モーダル(脳波,心電図,呼吸信号など)を用いて訓練した多モード睡眠基盤モデルであるHypnosを開発した。 残差ベクトル量子化を用いて各モダリティを離散トークンのストリームにトークン化し、次に大きな自己回帰型RQ変換器を訓練し、すべてのモダリティを並列に次のトークンを予測する。 トレーニング後、Hypnosはサポート対象の任意の部分集合からのセンサデータの連続的なストリームに適用でき、下流タスクへの埋め込みを生成する。 さまざまなベンチマークにおいて、Hypnosは既存の基盤モデルよりも大幅に優れています。 睡眠段階分類では,有意な教師付きベースラインの性能を保留試験セットで比較し,低ラベルデータを用いた。 ヒプノスは日中の生理学を一般化し、心房細動を検出するための専用の心電図の基礎モデルを超えた。 本研究は,マルチモーダルな生理的信号からの表現学習において,次世代の予測が強力な自己指導的目的であることを示す。

関連論文リスト

• Pretraining on Sleep Data Improves non-Sleep Biosignal Tasks [5.729701207077404]
  睡眠基盤モデルは、最近、ドメイン内ポリソノグラフィータスクで強い性能を示した。 本研究は,睡眠のバイオシグナーが,睡眠を超えて移動する学習表現に有効な事前学習分布として機能するかどうかを考察する。
  論文  参考訳（メタデータ） (2026-05-04T11:51:54Z)
• Deep Learning for Metabolic Rate Estimation from Biosignals: A Comparative Study of Architectures and Signal Selection [7.2462186877798755]
  エネルギー支出の推定は、心拍数、呼吸量、加速度計データなどの生理的信号からヒトの代謝率を推定することを目的としている。 本研究では,信号選択とニューラルアーキテクチャの役割を系統的に評価する。 以上の結果から, 極端根平均二乗誤差(RMSE)を0.87W/kgとする変圧器モデルにより, 微小換気が最も予測可能な個人信号であることが示唆された。
  論文  参考訳（メタデータ） (2025-11-12T12:44:27Z)
• NAP: Attention-Based Late Fusion for Automatic Sleep Staging [0.0]
  NAPは、時間的、空間的、および予測的レベルの依存関係をキャプチャする3軸アテンションメカニズムを用いて、複数の予測ストリームを組み合わせることを学ぶアテンションベースモデルである。 NAPは個々の予測器と単純なアンサンブルを一貫して上回り、複数のデータセットで最先端のゼロショットの一般化を実現している。
  論文  参考訳（メタデータ） (2025-11-05T14:15:58Z)
• impuTMAE: Multi-modal Transformer with Masked Pre-training for Missing Modalities Imputation in Cancer Survival Prediction [75.43342771863837]
  我々は,効率的なマルチモーダル事前学習戦略を備えた新しいトランスフォーマーに基づくエンドツーエンドアプローチである impuTMAE を紹介する。 マスクされたパッチを再構築することで、モダリティの欠如を同時に示唆しながら、モダリティ間の相互作用とモダリティ内相互作用を学習する。 本モデルは,TGA-GBM/LGGとBraTSデータセットを用いたグリオーマ生存予測のために,異種不完全データに基づいて事前訓練を行った。
  論文  参考訳（メタデータ） (2025-08-08T10:01:16Z)
• Towards Robust Multimodal Physiological Foundation Models: Handling Arbitrary Missing Modalities [9.785262633953794]
  生理オムニ (Phylo Omni) は、マルチモーダルな生理的信号解析の基礎モデルである。 分離されたマルチモーダル・トークンーザを訓練し、マスクされた信号の事前訓練を可能にする。 最先端のパフォーマンスを達成しつつ、モダリティの欠如に対して強い堅牢性を維持します。
  論文  参考訳（メタデータ） (2025-04-28T09:00:04Z)
• TokenUnify: Scaling Up Autoregressive Pretraining for Neuron Segmentation [65.65530016765615]
  本稿では,3つの相補的な学習目標を通じて,大規模依存関係をキャプチャする階層型予測コーディングフレームワークを提案する。 TokenUnifyは、ランダムトークン予測、次のトークン予測、およびすべてのトークン予測を統合して、包括的な表現空間を作成する。 また,120億個の注釈付きボクセルを付加した大規模EMデータセットを導入し,空間連続性を持つ理想的な長周期視覚データを提供する。
  論文  参考訳（メタデータ） (2024-05-27T05:45:51Z)
• Continuous time recurrent neural networks: overview and application to forecasting blood glucose in the intensive care unit [56.801856519460465]
  連続時間自己回帰リカレントニューラルネットワーク(Continuous Time Autoregressive Recurrent Neural Network, CTRNN)は、不規則な観測を考慮に入れたディープラーニングモデルである。 重篤なケア環境下での血糖値の確率予測へのこれらのモデルの適用を実証する。
  論文  参考訳（メタデータ） (2023-04-14T09:39:06Z)
• Ensemble of Convolution Neural Networks on Heterogeneous Signals for Sleep Stage Scoring [63.30661835412352]
  本稿では,脳波以外の追加信号の利用の利便性について検討し,比較する。 最も優れたモデルである深部分離畳み込みニューラルネットワークのアンサンブルは86.06%の精度を達成した。
  論文  参考訳（メタデータ） (2021-07-23T06:37:38Z)
• Convolutional Neural Networks for Sleep Stage Scoring on a Two-Channel EEG Signal [63.18666008322476]
  睡眠障害は、世界中の主要な病気の1つです。 専門家が使用する基本的なツールはPolysomnogramで、睡眠中に記録された様々な信号の集合である。 専門家は、標準的なガイドラインの1つに従って異なる信号を採点する必要があります。
  論文  参考訳（メタデータ） (2021-03-30T09:59:56Z)
• MSED: a multi-modal sleep event detection model for clinical sleep analysis [62.997667081978825]
  ポリソムノグラムで睡眠イベントを共同検出する,単一のディープニューラルネットワークアーキテクチャを設計した。 モデルの性能は,F1,精度,リコールスコア,および指標値と臨床値との相関で定量化した。
  論文  参考訳（メタデータ） (2021-01-07T13:08:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。