論文の概要: Lightweight PCGAE-Net: Parallel CrossGate Attention and Bottleneck AutoEncoder for Efficient 5G Channel Prediction
- arxiv url: http://arxiv.org/abs/2606.25401v1
- Date: Wed, 24 Jun 2026 04:55:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-25 17:05:30.227017
- Title: Lightweight PCGAE-Net: Parallel CrossGate Attention and Bottleneck AutoEncoder for Efficient 5G Channel Prediction
- Title(参考訳): 軽量PCGAE-Net:効率的な5Gチャネル予測のための並列クロスゲートアテンションとブートネックオートエンコーダ
- Abstract要約: 本稿では,ポストホック圧縮による効率問題に対処する軽量PCGAE-Netを提案する。
CS3T-UNetベースラインよりも58%少ない8.54,Mパラメータのモデルを生成する。
最大3.26,dBを5km/h、6.0,dBを9km/hで上回る。
- 参考スコア(独自算出の注目度): 1.1083289076967893
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Accurate channel state information (CSI) prediction is essential for proactive beamforming and resource management in 5G massive MIMO systems, yet the deployment of high-accuracy transformer-based predictors on base-station hardware remains challenging because the most capable models carry upwards of 30\,M parameters. This paper introduces Lightweight PCGAE-Net, which addresses the efficiency problem not by post-hoc compression but by correcting two architectural flaws in the current state of the art. The first is a sequential attention ordering bias: in CS3T-UNet, group-wise temporal attention (GTA) always operates on features that have already been transformed by cross-shaped spatial attention (CSA), distorting what temporal information GTA can capture. We remove this dependency by routing both attention modules to the same layer-normalized input and combining their independent outputs through a learned per-channel sigmoid CrossGate. The second flaw is an uncompressed bottleneck: applying full self-attention at the deepest encoder stage, where channel depth reaches $4C$, is quadratically expensive and carries redundant features. A Bottleneck AutoEncoder (BAE) with $1\times1$ convolutions halves this depth and uses an auxiliary reconstruction loss to prevent information collapse. Wrapping these components inside a shallower encoder-decoder with frequency-domain dimensionality reduction ($N_f\!=\!32$, $C\!=\!48$) produces a model with just 8.54\,M parameters -- 58\% fewer than the CS3T-UNet baseline -- that outperforms it by up to 3.26\,dB at 5\,km/h and 6.0\,dB at 9\,km/h in single-step prediction on QuaDriGa dataset.
- Abstract(参考訳): 5Gの大容量MIMOシステムにおいて, 高精度チャネル状態情報(CSI)予測は, プロアクティブビームフォーミングおよび資源管理に不可欠であるが, 高精度トランスフォーマーベースの予測器のベースステーションハードウェアへの展開は, 最も有能なモデルが30万以上のパラメータを持つため, 依然として困難である。
本稿では,ポストホック圧縮ではなく,現状技術における2つのアーキテクチャ上の欠陥を修正することで,効率性の問題に対処する軽量PCGAE-Netを提案する。
CS3T-UNetでは、グループワイド時間的注意(GTA)は、常にクロスフォーム空間的注意(CSA)によって既に変換された特徴に基づいており、時間的情報GTAが捉え得るものを歪めている。
我々は、両方のアテンションモジュールを同一層正規化入力にルーティングし、学習したチャネルごとのシグモイドCrossGateを介してそれらの独立した出力を組み合わせることにより、この依存関係を除去する。
2つめの欠陥は、圧縮されないボトルネックである。最も深いエンコーダの段階で完全な自己注意を適用すれば、チャネル深さが4ドルに達する。
$1\times1$ convolutions を持つ Bottleneck AutoEncoder (BAE) はこの深さを埋め、情報の崩壊を防ぐために補助的な再構築損失を使用する。
これらのコンポーネントを、周波数領域次元を縮小したより浅いエンコーダデコーダ(N_f\!
=\!
32ドル、$C!
=\!
48$)はたった8.54\,Mパラメータ -- CS3T-UNetベースラインよりも58\%低い -- でモデルを生成し、QuaDriGaデータセットの1ステップ予測では5\,km/hで最大3.26\,dB、9\,km/hで6.0\,dBを上回ります。
関連論文リスト
- KV Cache Compression Through the Lens of Transform Coding [9.884224071643606]
本稿では,アテンション・アウェア・トランスフォーメーション・コーディング(AATC)を紹介し,アテンション・アウェア・トランスフォーメーションの歪みを最小限に抑えるために,キャリブレーション・セット上のビットを割り当てる。
提案手法は, ほぼロスレスの精度を約5.8倍の圧縮で達成する一方, 各ベースラインは少なくともいくつかの設定で劣化する。
論文 参考訳(メタデータ) (2026-08-14T11:08:01Z) - Kaleido: Algorithm-Hardware Co-Design for Video Diffusion Transformers by Exploiting Latent Space Correlations [47.69636045010864]
ビデオ拡散変換器(vDiT)は高品質なビデオを生成するが、計算コストは非常に高い。
既存のアクセラレーションアプローチは、ユニークなビデオデータを考えるのに失敗するスパースモデルから注意を引いている。
本稿では,遅延空間におけるチャネルの時間的相関を利用して,vDiTの全ての操作を高速化するアルゴリズムハードウェア符号Kale Kaleを提案する。
3つの主流のvDiTモデルによる評価は、カール・カールが5.9倍のスピードアップと16.0倍の省エネを達成したことを示している。
論文 参考訳(メタデータ) (2026-07-15T12:31:19Z) - HEPTv2: End-to-End Efficient Point Transformer for Charged Particle Reconstruction [9.951462226612865]
HEPTv2はエンド・ツー・エンドのポイント・トランスフォーマーアーキテクチャで、1つのトレーニング可能なパイプラインで検出器ヒットからトラックを再構築する。
TrackMLでは、HEPTv2は98.6%の追尾効率を0.8%の偽レートで達成している。
これらの結果から, HL-LHCにおけるリアルタイム粒子再構成に必要な精度と効率を, エンド・ツー・エンド変圧器で実現できることが示唆された。
論文 参考訳(メタデータ) (2026-06-18T16:18:10Z) - DYNA-PRUNER: Input-Adaptive Data-Model Co-Pruning for Efficient and Scalable Spatio-Temporal Media Prediction [24.16400471463046]
Dyna-Prunerは、データとモデル構造を入力依存で共存するエンドツーエンドのフレームワークである。
共有重要同期機構は、冗長領域をプルーする結合マスクを生成する。
WeatherBench、SEVIR、TaxiBJの実験では、CNN、RNN、Transformerのバックボーンとシームレスに統合されている。
論文 参考訳(メタデータ) (2026-06-13T15:14:05Z) - Scaling Parallel Sequence Models to Foundation-Scale Vision Encoders [123.58723804218151]
ビジョンファウンデーションモデルは、自己注意の二次的なコストによってボトルネックとなる。
2次元空間伝搬伝搬に基づくC-GSPNを提案する。
論文 参考訳(メタデータ) (2026-05-30T14:29:43Z) - Linearizing Vision Transformer with Test-Time Training [54.52616866374482]
事前訓練されたトランスフォーマーからウェイトを継承することは、魅力的なショートカットを提供するが、ソフトマックスと線形アテンションの基本的な表現的ギャップは、効果的なウェイト転送を妨げている。
テスト時間トレーニング(TTT)は2層動的定式化がSoftmaxの注意と構造的に一致している線形複雑アーキテクチャである。
安定拡散3.5を線形化して、SD3.5-T$5$(Transformer to Test Time Training)を導入することで、我々のアプローチを検証する。
論文 参考訳(メタデータ) (2026-05-04T16:16:26Z) - BWTA: Accurate and Efficient Binarized Transformer by Algorithm-Hardware Co-design [71.97035034203275]
バイナライゼーションにおけるゼロ点歪みを解析し,BWTA量子化方式を提案する。
本稿では,Smooth Multi-Stage Quantizationを提案し,レベルワイド・デグラデーション・ストラテジーとMagnitude Alignment Projection Factorを組み合わせた。
実験の結果、BWTAはTransformerベースのモデルに対して、GLUEでは平均3.5%、タスクでは2%未満の精度でフル精度のパフォーマンスにアプローチしていることがわかった。
論文 参考訳(メタデータ) (2026-04-05T04:25:07Z) - Scaling Attention via Feature Sparsity [50.64995497733461]
超長期のコンテキストにトランスフォーマーをスケールすることは、自己注意のコスト$O(n2 d)$コストによってボトルネックとなる。
本稿では,高次元表現性を維持するために,クエリとキーを$k$sparseコードとして表現するスパース特徴注意法を提案する。
GPT-2とQwen3の事前トレーニングで、SFAは密度の高いベースラインにマッチし、最高2.5タイムのスピードを向上し、FLOPとKVキャッシュを50%近く削減した。
論文 参考訳(メタデータ) (2026-03-17T08:41:50Z) - Quantized Visual Geometry Grounded Transformer [67.15451442018258]
本稿では,VGGTの最初の量子化フレームワーク,すなわちQuantVGGTを提案する。
球状前アダマール回転と局所流路平滑化を統合したDual-Smoothed Fine-Grained Quantizationを導入する。
また、重層統計量を用いて外周をフィルタするノイズフィルタディバースサンプリングを設計する。
論文 参考訳(メタデータ) (2025-09-25T15:17:11Z) - Head-Free Lightweight Semantic Segmentation with Linear Transformer [21.38163906180886]
本稿では,適応周波数変換器(Adaptive Frequency Transformer)というセマンティックセグメンテーションのためのヘッドフリー軽量アーキテクチャを提案する。
並列アーキテクチャを採用して、デコーダを置き換える特定の学習可能なローカル記述としてプロトタイプ表現を活用する。
デコーダの除去は計算の大部分を圧縮するが、並列構造の精度は依然として低い計算資源によって制限されている。
論文 参考訳(メタデータ) (2023-01-11T18:59:46Z) - TCCT: Tightly-Coupled Convolutional Transformer on Time Series
Forecasting [6.393659160890665]
本稿では, 密結合型畳み込み変換器(TCCT)と3つのTCCTアーキテクチャを提案する。
実世界のデータセットに対する我々の実験は、我々のTCCTアーキテクチャが既存の最先端トランスフォーマーモデルの性能を大幅に改善できることを示している。
論文 参考訳(メタデータ) (2021-08-29T08:49:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。