Fugu-MT 論文翻訳(概要): S-CEReBrO: Breaking the Memory Barrier in Continuous EEG Monitoring

論文の概要: S-CEReBrO: Breaking the Memory Barrier in Continuous EEG Monitoring

arxiv url: http://arxiv.org/abs/2607.27913v1
Date: Thu, 30 Jul 2026 09:27:06 GMT
ステータス: 翻訳完了
システム内更新日: 2026-07-31 21:37:00.486272
Title: S-CEReBrO: Breaking the Memory Barrier in Continuous EEG Monitoring
Title（参考訳）: S-CEReBrO:連続脳波モニタリングにおけるメモリバリアの破壊
Abstract要約: ウィンドウ化された交互注意は、完全な自己注意よりも100倍長い信号を処理することができる。 S-CEReBrOは11の下流タスクのうち7つで最先端のパフォーマンスを達成する。
参考スコア（独自算出の注目度）: 15.731581400142488
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Foundation models offer a promising paradigm for Electroencephalography (EEG) analysis, leveraging generalizable representations from vast unlabeled datasets. Yet, Transformer-based architectures face a critical bottleneck: global attention mechanisms couple the attention memory state to the signal duration, causing memory overflow during continuous monitoring. To address this, we introduce S-CEReBrO (Streaming CEReBrO), an evolution of the CEReBrO architecture designed for continuous monitoring. Our novel Windowed Alternating Attention mechanism factorizes attention computation into fixed-size spatiotemporal windows, guaranteeing constant KV cache memory as only the active window requires resident attention maps. Empirical scaling analysis confirms that windowed alternating attention can process signals 100X longer than full self-attention and 3X longer than low-rank linear attention. Compared to low-rank linear attention on long contexts, windowed alternating attention requires 55% of the memory while increasing inference throughput by 2.1X. Pre-trained on >25,000 hours of recordings from >12,000 subjects, S-CEReBrO achieves state-of-the-art performance on 7 of 11 downstream tasks, with up to 60% fewer parameters. This work represents a significant step toward the realization of efficient, generalizable, and continuous EEG monitoring. An accompanying code repository is available.
Abstract（参考訳）: 基礎モデルは、巨大なラベルなしデータセットからの一般化可能な表現を活用する、脳波解析(EEG)のための有望なパラダイムを提供する。しかし、Transformerベースのアーキテクチャは重要なボトルネックに直面している。グローバルアテンション機構は、アテンションメモリ状態を信号持続時間に結合し、継続的な監視中にメモリオーバーフローを引き起こす。そこで本研究では,連続監視用に設計されたCEReBrOアーキテクチャの進化であるS-CEReBrO(Streaming CEReBrO)を紹介する。我々の新しいウィンドウ交換注意機構は、アテンション計算を固定サイズの時空間ウィンドウに分解し、アクティブウィンドウのみを必要とするため、一定のKVキャッシュメモリを保証する。実験的スケーリング分析により、窓の交互注意により、完全な自己注意よりも100倍、低ランク線形注意より3倍長い信号が処理できることが確認された。長いコンテキストにおける低ランクの線形アテンションと比較して、ウィンドウの交互アテンションには55%のメモリが必要であり、推論のスループットは2.1倍に増加する。 S-CEReBrOは12,000人以上の被験者から25,000時間以上の録音を事前訓練し、11の下流タスクのうち7つのタスクで最先端のパフォーマンスを達成し、最大60%のパラメーターを減らした。この研究は、効率的で、一般化可能で、継続的な脳波モニタリングを実現するための重要なステップである。付随するコードリポジトリが利用可能だ。

関連論文リスト

CateKV: On Sequential Consistency for Long-Context LLM Inference Acceleration [67.17709877327232]
ケイトKVは、一貫したヘッドに対して重要なトークン情報のみを保持するハイブリッドKVキャッシュ方式である。 Cate KV はメモリ使用量を最大$2.72 times$に減らし、シングルサンプル入力で$2.18times$に減らした。
論文参考訳（メタデータ） (2026-08-31T06:02:37Z)
Memory-Augmented LSTM Autoencoder for Unsupervised Activity Recognition with IMU Sensor Fusion [0.0]
メモリ拡張オートエンコーダを用いた完全教師なし機能融合フレームワークを提案する。短時間の時間的マルチセンサーデータによるアクティビティ表現を強化し、リアルタイムアプリケーションを可能にする。本手法は,時間窓が短いにもかかわらず,特徴分離性を最大9%改善する。
論文参考訳（メタデータ） (2026-06-19T06:28:20Z)
Persistent Visual Memory: Sustaining Perception for Deep Generation in LVLMs [66.15429821530503]
Persistent Visual Memoryは、ビジュアルエビデンスへの持続的でオンデマンドアクセスを強化するために設計された、軽量の学習可能なモジュールである。 Qwen3-VLモデルの実験は、PVMが無視可能なパラメータオーバーヘッドで顕著な改善をもたらすことを示した。詳細な分析により、PVMはより長い世代で堅牢性が向上し、内部予測収束が加速することが明らかとなった。
論文参考訳（メタデータ） (2026-05-01T17:54:37Z)
LASER: An Efficient Target-Aware Segmented Attention Framework for End-to-End Long Sequence Modeling [20.507605423606282]
我々はXiaohongshu(RedNote)で開発・デプロイされたフルスタック最適化フレームワークLASERを紹介する。システムの効率性: 長いユーザ履歴のための統合スキーマ対応サービスインフラストラクチャであるSeqVaultを紹介します。アルゴリズム効率: 計算オーバーヘッドに対処するためのSTA(Segmented Target Attention)機構を提案する。
論文参考訳（メタデータ） (2026-02-12T04:33:37Z)
Rethinking Multi-Condition DiTs: Eliminating Redundant Attention via Position-Alignment and Keyword-Scoping [61.459927600301654]
マルチコンディション制御は従来のコンカデント・アンド・アットエンドの戦略によってボトルネックとなる。分析の結果,これらの相互作用の多くは空間的にも意味的にも冗長であることがわかった。本稿では,これらの冗長性を解消するための高効率なフレームワークであるPKAを提案する。
論文参考訳（メタデータ） (2026-02-06T16:39:10Z)
RetroInfer: A Vector-Storage Approach for Scalable Long-Context LLM Inference [27.69137902678418]
RetroInferは、長文推論を加速するために固有の注意空間を利用する新しいシステムである。 KVキャッシュがCPUメモリに拡張された場合、GPUメモリリミット内では4.5倍のスピードアップと、スムーズなアテンションベースライン上で最大10.5倍のスピードアップを示します。
論文参考訳（メタデータ） (2025-05-05T18:01:17Z)
AttentionPredictor: Temporal Patterns Matter for KV Cache Compression [64.75459635661562]
我々は,KVキャッシュ圧縮とクリティカルトークン識別のための注意パターンを直接予測する,学習に基づく最初の手法であるAttentionPredictorを提案する。 AttentionPredictorは、注意スコアを正確に予測し、無視可能なメモリを消費する統一予測モデルを共有する。注意情報の大半を保持することで、AttentionPredictorは、キャッシュオフロードシナリオで13$times$KVキャッシュ圧縮と5.6$times$スピードアップを達成する。
論文参考訳（メタデータ） (2025-02-06T13:41:46Z)
CLEAR: Conv-Like Linearization Revs Pre-Trained Diffusion Transformers Up [64.38715211969516]
CLEARと呼ばれる畳み込み型ローカルアテンション戦略を導入し,各クエリトークンの周囲のローカルウィンドウに特徴的インタラクションを限定する。実験により,10K反復で10Kの自己生成サンプルに注意層を微調整することにより,事前学習したDiTから線形複雑度のある学生モデルへの知識伝達を効果的に行うことができた。
論文参考訳（メタデータ） (2024-12-20T17:57:09Z)
RetrievalAttention: Accelerating Long-Context LLM Inference via Vector Retrieval [24.472784635757016]
RetrievalAttentionは、注意計算を高速化し、GPUメモリ消費を減らすためのトレーニング不要のアプローチである。 RetrievalAttentionは1-3%のデータのみを必要としながら、ほぼ全注意精度を達成できることを示す。
論文参考訳（メタデータ） (2024-09-16T17:59:52Z)
Bifurcated Attention: Accelerating Massively Parallel Decoding with Shared Prefixes in LLMs [39.16152482491236]
Bifurcated attentionは、共有コンテキストバッチデコードシナリオにおける言語モデル推論を強化するために設計された手法である。提案手法は,高バッチサイズおよび拡張コンテキスト長のレイテンシに寄与する重要な要因である冗長メモリIOコストの課題に対処する。
論文参考訳（メタデータ） (2024-03-13T16:30:57Z)
Simple linear attention language models balance the recall-throughput tradeoff [60.06020449520365]
線形およびすべり窓の注意を結合したシンプルなアーキテクチャであるBASEDを提案する。我々は、最大1.3bパラメータの言語モデルをトレーニングし、BASEDがパープレキシティにおいて最強のサブクワッドラティックモデルと一致し、実世界のリコール集約タスクにおいて6.22の精度ポイントでそれらのモデルを上回っていることを示す。
論文参考訳（メタデータ） (2024-02-28T19:28:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。