論文の概要: Rethinking Random Transformers as Adaptive Sequence Smoothers for Sleep Staging

• arxiv url: http://arxiv.org/abs/2605.09905v1
• Date: Mon, 11 May 2026 02:48:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-12 23:28:50.481248
• Title: Rethinking Random Transformers as Adaptive Sequence Smoothers for Sleep Staging
• Title（参考訳）: ランダムトランスを適応的シーケンススモーザーとして再考して
• Authors: Guisong Liu, Xin Gao, Martin Dresler, Jiansong Zhang, Pengfei Wei,
• Abstract要約: ランダムにカーネル変換器をトレーニングすることなく、スリープステージ性能を大幅に向上させることを示す。 この効果をRAPK (Random Attention Prior) を用いて定式化し、ランダムな自己注意が適応的スムースに作用することを示す。
• 参考スコア（独自算出の注目度）: 17.920922817772624
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Automatic sleep staging commonly adopts Transformers under the assumption that they learn complex long-range dependencies. We challenge this view by revealing a neglected property of sleep sequences: strong local temporal continuity. We show that a randomly initialized Transformer, without any training, substantially improves sleep staging performance and consistently outperforms heuristic smoothing. We formalize this effect via a Random Attention Prior Kernel (RAPK), showing that random self-attention acts as an adaptive smoother by balancing global averaging and content-based similarity while preserving stage transitions. Using two metrics, the Local Smoothness Influence Index (LSII) and the Weighted Transition Entropy (WTE), we provide evidence that most performance gains in Transformer-based sleep staging arise from architectural inductive bias rather than parameter learning. Our results suggest that sleep staging can be effectively addressed with structure-driven smoothing mechanisms rather than complex dependency modeling, enabling more efficient and edge-deployable healthcare systems for large-scale physiological monitoring.
• Abstract（参考訳）: 自動睡眠ステージングは、複雑な長距離依存関係を学ぶという前提のもと、トランスフォーマーを採用するのが一般的である。 我々は、睡眠シーケンスの無視された性質、強い局所的時間的連続性を明らかにすることで、この見解に挑戦する。 ランダムに初期化したトランスフォーマーは、トレーニングなしで、睡眠ステージング性能を大幅に向上し、ヒューリスティックスムースティングを一貫して上回ることを示す。 この効果をRAPK (Random Attention Prior Kernel) を用いて定式化し, ステージ遷移を保ちながら, 世界平均とコンテンツに基づく類似性のバランスをとることにより, ランダムな自己意図が適応スムースに作用することを示した。 局所平滑性影響指数 (LSII) と重み付き遷移エントロピー (WTE) の2つの指標を用いて、トランスフォーマーベースの睡眠ステージにおけるほとんどのパフォーマンス向上は、パラメータ学習よりもアーキテクチャ的帰納バイアスによるものであることを示す。 以上の結果から,睡眠ステージングは複雑な依存モデルではなく構造駆動型スムースティング機構によって効果的に対処できることが示唆された。

関連論文リスト

• TEFormer: Structured Bidirectional Temporal Enhancement Modeling in Spiking Transformers [21.44931228642047]
  スパイキングニューラルネットワーク(Sss)は、エネルギー効率のよいシーケンスモデリングのための有望なアーキテクチャとして登場し、目覚ましい進歩を遂げた。 TENNは,コアコンポーネント間の時間的モデリングを分離する最初のスパイキングトランスフォーマーフレームワークである。
  論文  参考訳（メタデータ） (2026-01-26T08:58:36Z)
• Sleep-Based Homeostatic Regularization for Stabilizing Spike-Timing-Dependent Plasticity in Recurrent Spiking Neural Networks [14.487258585834374]
  スパイク刺激依存性可塑性(STDP)は、スパイクニューラルネットワーク(SNN)のための生物学的に証明可能な学習メカニズムを提供する 本稿では, シナプス性ホメオスタシス仮説に着想を得たニューロモルフィック正規化手法を提案する。
  論文  参考訳（メタデータ） (2026-01-13T11:17:30Z)
• Parallel BiLSTM-Transformer networks for forecasting chaotic dynamics [24.960864709838436]
  本研究では,Transformer と Bidirectional Long Short-Term Memory Network を統合した並列予測フレームワークを提案する。 提案したハイブリッドモデルはデュアルブランチアーキテクチャを採用しており、Transformerブランチは主に長距離依存関係をキャプチャする。 結果は、提案されたハイブリッドフレームワークがタスク間でシングルブランチアーキテクチャの両方より優れていることを一貫して示している。
  論文  参考訳（メタデータ） (2025-10-27T16:17:10Z)
• PRformer: Pyramidal Recurrent Transformer for Multivariate Time Series Forecasting [82.03373838627606]
  Transformerアーキテクチャにおける自己保持機構は、時系列予測において時間順序を符号化するために位置埋め込みを必要とする。 この位置埋め込みへの依存は、トランスフォーマーの時間的シーケンスを効果的に表現する能力を制限している、と我々は主張する。 本稿では,Prepreを標準的なTransformerエンコーダと統合し,様々な実世界のデータセット上での最先端性能を示す。
  論文  参考訳（メタデータ） (2024-08-20T01:56:07Z)
• A Poisson-Gamma Dynamic Factor Model with Time-Varying Transition Dynamics [51.147876395589925]
  非定常PGDSは、基礎となる遷移行列が時間とともに進化できるように提案されている。 後続シミュレーションを行うために, 完全共役かつ効率的なギブスサンプリング装置を開発した。 実験により,提案した非定常PGDSは,関連するモデルと比較して予測性能が向上することを示した。
  論文  参考訳（メタデータ） (2024-02-26T04:39:01Z)
• The Lighter The Better: Rethinking Transformers in Medical Image Segmentation Through Adaptive Pruning [26.405243756778606]
  本稿では,医療画像セグメンテーションのための変換器に適応型プルーニングを適用し,軽量ネットワークAPFormerを提案する。 私たちの知る限りでは、医療画像解析タスクのためのトランスフォーマープルーニングに関する最初の研究である。 我々は,アダプティブプルーニングが他のハイブリッド/トランスフォーマー方式の性能向上のためのプラグイン-n-playモジュールとして機能することを,アブレーション研究を通じて証明した。
  論文  参考訳（メタデータ） (2022-06-29T05:49:36Z)
• SleepTransformer: Automatic Sleep Staging with Interpretability and Uncertainty Quantification [19.51641720686276]
  ブラックボックス懐疑論は、深層学習に基づく自動睡眠スコアが臨床環境で使用されることを妨げる主要な障害の1つである。 本研究は、シーケンシャル・ツー・シークエンス・スリープ・ステーティング・モデル、すなわちSleepTransformerを提案する。 これは、自己アテンションスコアが、エポックとシークエンスの両方のレベルでモデルの決定の解釈可能性を提供するトランスフォーマーバックボーンに基づいている。
  論文  参考訳（メタデータ） (2021-05-23T23:30:58Z)
• Finetuning Pretrained Transformers into RNNs [81.72974646901136]
  トランスフォーマーは自然言語生成においてリカレントニューラルネットワーク(RNN)を上回っている。 線形複雑リカレント変種は自己回帰生成に適していることが証明されている。 この研究は、事前訓練された変換器を効率の良い再帰変換器に変換することを目的としている。
  論文  参考訳（メタデータ） (2021-03-24T10:50:43Z)
• Trans-SVNet: Accurate Phase Recognition from Surgical Videos via Hybrid Embedding Aggregation Transformer [57.18185972461453]
  本稿では,手術ワークフロー解析トランスフォーマーを初めて導入し,正確な位相認識のための時間的特徴と時間的特徴の無視された補完効果を再考する。 我々のフレームワークは軽量であり、高い推論速度を達成するためにハイブリッド埋め込みを並列に処理します。
  論文  参考訳（メタデータ） (2021-03-17T15:12:55Z)
• Applying the Transformer to Character-level Transduction [68.91664610425114]
  この変換器は、様々な単語レベルのNLPタスクにおいて、繰り返しニューラルネットワークに基づくシーケンス・ツー・シーケンスモデルより優れていることが示されている。 十分なバッチサイズで、トランスフォーマーは文字レベルタスクの繰り返しモデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-05-20T17:25:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。