論文の概要: MambaCSP: Hybrid-Attention State Space Models for Hardware-Efficient Channel State Prediction
- arxiv url: http://arxiv.org/abs/2604.21957v1
- Date: Thu, 23 Apr 2026 10:05:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-27 15:36:26.217339
- Title: MambaCSP: Hybrid-Attention State Space Models for Hardware-Efficient Channel State Prediction
- Title(参考訳): MambaCSP:ハードウェア効率の良いチャネル状態予測のためのハイブリッドアテンション状態空間モデル
- Authors: Aladin Djuhera, Haris Gacanin, Holger Boche,
- Abstract要約: 本研究では,LLMに基づく予測バックボーンを線形時間モデルに置き換えるハイブリッドアテンションSSMアーキテクチャであるMambaCSPを提案する。
MambaCSPは、最大3.0倍のスループット、2.6倍のVRAM使用率、2.9倍の高速推論を提供しながら、LCMベースのアプローチよりも予測精度を9-12%向上させる。
- 参考スコア(独自算出の注目度): 37.23142541350246
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent works have demonstrated that attention-based transformer and large language model (LLM) architectures can achieve strong channel state prediction (CSP) performance by capturing long-range temporal dependencies across channel state information (CSI) sequences. However, these models suffer from quadratic scaling in sequence length, leading to substantial computational cost, memory consumption, and inference latency, which limits their applicability in real-time and resource-constrained wireless deployments. In this paper, we investigate whether selective state space models (SSMs) can serve as a hardware-efficient alternative for CSI prediction. We propose MambaCSP, a hybrid-attention SSM architecture that replaces LLM-based prediction backbones with a linear-time Mamba model. To overcome the local-only dependencies of pure SSMs, we introduce lightweight patch-mixer attention layers that periodically inject cross-token attentions, helping with long-context CSI prediction. Extensive MISO-OFDM simulations show that MambaCSP improves prediction accuracy over LLM-based approaches by 9-12%, while delivering up to 3.0x higher throughput, 2.6x lower VRAM usage, and 2.9x faster inference. Our results demonstrate that hybrid state space architectures provide a promising direction for scalable and hardware-efficient AI-native CSI prediction in future wireless networks.
- Abstract(参考訳): 最近の研究は、注意に基づくトランスフォーマーと大規模言語モデル(LLM)アーキテクチャが、チャネル状態情報(CSI)シーケンス間の長距離時間依存性をキャプチャすることで、強いチャネル状態予測(CSP)性能を実現することを実証している。
しかし、これらのモデルはシーケンス長の2次スケーリングに悩まされ、計算コスト、メモリ消費、推論レイテンシが大幅に増加し、リアルタイムおよびリソース制約の無線デプロイメントにおける適用性が制限される。
本稿では,選択状態空間モデル(SSM)がCSI予測のハードウェア効率の良い代替手段となるかどうかを検討する。
本研究では,LLMに基づく予測バックボーンを線形時間モデルに置き換えるハイブリッドアテンションSSMアーキテクチャであるMambaCSPを提案する。
純粋なSSMの局所的依存を克服するために、我々は、定期的に横断的な注意を注入し、長いコンテキストCSI予測を支援する軽量なパッチミキサーアテンション層を導入する。
大規模なMISO-OFDMシミュレーションにより、MambaCSPはLLMベースのアプローチよりも予測精度を9-12%向上し、スループットは最大3.0倍、VRAMは2.6倍、推論は2.9倍向上した。
この結果から、ハイブリッドな状態空間アーキテクチャは、将来の無線ネットワークにおいて、スケーラブルでハードウェア効率の良いAIネイティブなCSI予測に有望な方向を提供することが示された。
関連論文リスト
- FaST: Efficient and Effective Long-Horizon Forecasting for Large-Scale Spatial-Temporal Graphs via Mixture-of-Experts [49.9321870703948]
既存のモデルは、主に短期水平予測に焦点を当てており、悪名高い計算コストとメモリ消費に悩まされている。
本稿では,長期・大規模STG予測のためのMixture-of-Experts(MoEs)に基づく,効率的かつ効率的なフレームワークであるFaSTを提案する。
まず、計算負担を軽減するための適応型グラフエージェントアテンション機構を提案する。
第2に,従来のフィードフォワードネットワークを Gated Linear Units (GLUs) に置き換えた新しい並列MoEモジュールを提案する。
論文 参考訳(メタデータ) (2026-01-08T18:00:58Z) - SpikySpace: A Spiking State Space Model for Energy-Efficient Time Series Forecasting [9.976522013586244]
SpikySpaceは、注意ブロックの二次コストを選択的スキャンによって線形時間に削減する、スパイク状態空間モデルである。
指数関数や除算などの複雑な演算は、ニューロモルフィックチップ上でコストがかかるため、SiLUとSoftplusの簡易近似を導入する。
一致する環境では、SpkySpaceは2つの最先端トランスフォーマーベースのアプローチと比較して、推定エネルギー消費を98.73%、96.24%削減する。
論文 参考訳(メタデータ) (2026-01-02T13:10:53Z) - SCA-LLM: Spectral-Attentive Channel Prediction with Large Language Models in MIMO-OFDM [63.80082983068669]
アダプタは、チャネル状態情報(CSI)データと大規模言語モデル(LLM)の間の領域ギャップを埋めるように設計されている。
マルチインプット多重出力周波数分割多重化(MIMO-OFDM)システムにおけるチャネル予測のためのスペクトル減衰フレームワークSCA-LLMを提案する。
論文 参考訳(メタデータ) (2025-09-09T20:43:12Z) - Trajectory-aware Shifted State Space Models for Online Video Super-Resolution [57.87099307245989]
本稿では、トラジェクトリ対応シフトSSM(TS-Mamba)に基づく新しいオンラインVSR手法を提案する。
TS-Mambaは、最初にビデオ内の軌跡を構築し、以前のフレームから最もよく似たトークンを選択する。
私たちのTS-Mambaは、ほとんどのケースで最先端のパフォーマンスを実現し、22.7%以上の削減複雑性(MAC)を実現しています。
論文 参考訳(メタデータ) (2025-08-14T08:42:15Z) - Systolic Array-based Accelerator for Structured State-Space Models [1.137896937254823]
State-Space Models (SSM) は非常に長いデータシーケンスをリカレントやトランスフォーマーベースのモデルよりも効率的に処理する。
本稿では,SSMの高速化を目的としたハードウェアアクセラレータEpochCoreを紹介する。
EpochCoreは、GPUと比較してLRAデータセットの平均2000倍のパフォーマンス向上を実現している。
論文 参考訳(メタデータ) (2025-07-29T00:01:57Z) - STNMamba: Mamba-based Spatial-Temporal Normality Learning for Video Anomaly Detection [48.997518615379995]
ビデオ異常検出(VAD)は、インテリジェントなビデオシステムの可能性から広く研究されている。
CNNやトランスフォーマーをベースとした既存の手法の多くは、依然としてかなりの計算負荷に悩まされている。
空間的時間的正規性の学習を促進するために,STNMambaという軽量で効果的なネットワークを提案する。
論文 参考訳(メタデータ) (2024-12-28T08:49:23Z) - UmambaTSF: A U-shaped Multi-Scale Long-Term Time Series Forecasting Method Using Mamba [7.594115034632109]
本稿では,新しい時系列予測フレームワークであるUmambaTSFを提案する。
U字型エンコーダ・デコーダ多層パーセプトロン(MLP)のマルチスケール特徴抽出機能とMambaのロングシーケンス表現を統合する。
UmambaTSFは、広く使用されているベンチマークデータセットで最先端のパフォーマンスと優れた汎用性を達成する。
論文 参考訳(メタデータ) (2024-10-15T04:56:43Z) - Cross-Scan Mamba with Masked Training for Robust Spectral Imaging [51.557804095896174]
本研究では,空間スペクトルSSMを用いたクロススキャンマンバ(CS-Mamba)を提案する。
実験の結果, CS-Mambaは最先端の性能を達成し, マスク付きトレーニング手法によりスムーズな特徴を再構築し, 視覚的品質を向上させることができた。
論文 参考訳(メタデータ) (2024-08-01T15:14:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。