論文の概要: Hybrid Mamba-Transformer Decoder for Error-Correcting Codes
- arxiv url: http://arxiv.org/abs/2505.17834v1
- Date: Fri, 23 May 2025 12:48:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-26 18:08:34.076911
- Title: Hybrid Mamba-Transformer Decoder for Error-Correcting Codes
- Title（参考訳）: 誤り訂正符号に対するハイブリッド・マンバ変換器デコーダ
- Authors: Shy-el Cohen, Yoni Choukroun, Eliya Nachmani,
- Abstract要約: 本稿では,トランスフォーマー層で拡張されたMambaアーキテクチャに基づく誤り訂正符号の復号化のための新しいディープラーニング手法を提案する。
提案手法は,トランスフォーマーのグローバルコンテキスト能力を維持しつつ,Mambaの効率的なシーケンシャルモデリングを活用するハイブリッドデコーダである。
- 参考スコア（独自算出の注目度）: 19.80986586580175
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce a novel deep learning method for decoding error correction codes based on the Mamba architecture, enhanced with Transformer layers. Our approach proposes a hybrid decoder that leverages Mamba's efficient sequential modeling while maintaining the global context capabilities of Transformers. To further improve performance, we design a novel layer-wise masking strategy applied to each Mamba layer, allowing selective attention to relevant code features at different depths. Additionally, we introduce a progressive layer-wise loss, supervising the network at intermediate stages and promoting robust feature extraction throughout the decoding process. Comprehensive experiments across a range of linear codes demonstrate that our method significantly outperforms Transformer-only decoders and standard Mamba models.
- Abstract（参考訳）: 本稿では,トランスフォーマー層で拡張されたMambaアーキテクチャに基づく誤り訂正符号の復号化のための新しいディープラーニング手法を提案する。
提案手法は,トランスフォーマーのグローバルコンテキスト能力を維持しつつ,Mambaの効率的なシーケンシャルモデリングを活用するハイブリッドデコーダである。
性能向上のために,各Mamba層に適用した新しいレイヤワイドマスキング戦略を設計し,異なる深さで関連するコード特徴に選択的に注目する。
さらに,中間段階のネットワークを監視し,デコードプロセスを通じてロバストな特徴抽出を促進するプログレッシブ・レイヤワイズ・ロスを導入する。
本手法はトランスフォーマーのみのデコーダや標準Mambaモデルよりも優れていることを示す。
関連論文リスト
- TransMamba: Flexibly Switching between Transformer and Mamba [43.20757187382281]
本稿ではTransformerとMambaを統合するフレームワークであるTransMambaを提案する。
本研究では,TransMambaがベースラインよりも優れたトレーニング効率と性能を実現することを示す。
論文 参考訳（メタデータ） (2025-03-31T13:26:24Z) - TransMamba: Fast Universal Architecture Adaption from Transformers to Mamba [88.31117598044725]
本稿では,既存のTransformerモデルの知識を,TransMambaと呼ばれる代替アーキテクチャのMambaに伝達するクロスアーキテクチャトレーニングについて検討する。
提案手法では,新しいマンバモデルの訓練を高速化し,ユニモーダルタスクおよびクロスモーダルタスクにおける有効性を確保するための2段階戦略を採用している。
クロスモーダル学習のために,言語認識をMambaの視覚的特徴に統合し,Mambaアーキテクチャのクロスモーダルインタラクション能力を向上するクロスマンバモジュールを提案する。
論文 参考訳（メタデータ） (2025-02-21T01:22:01Z) - MatIR: A Hybrid Mamba-Transformer Image Restoration Model [95.17418386046054]
そこで我々は,MatIRと呼ばれるMamba-Transformerハイブリッド画像復元モデルを提案する。
MatIRはTransformer層とMamba層のブロックをクロスサイクルして特徴を抽出する。
Mambaモジュールでは、4つのスキャンパスに沿って横断するImage Inpainting State Space (IRSS)モジュールを導入する。
論文 参考訳（メタデータ） (2025-01-30T14:55:40Z) - Deformable Mamba for Wide Field of View Segmentation [27.340067787116297]
Mambaアーキテクチャは、2次複雑さに苦しむトランスフォーマーアーキテクチャに代わる有望な選択肢である。
マンバデコーダは、特に歪みが発生しやすい高密度予測タスクに対して、未探索である。
本稿では,効率の良い歪み認識デコーダであるデフォルマブル・マンバデコーダを提案する。
我々のデコーダは、広く使われているデコーダヘッドと比較して、72%のパラメータと97%のFLOPを削減しつつ、360deg Stanford2D3Dセグメンテーションベンチマークで+2.5%の性能改善を実現している。
論文 参考訳（メタデータ） (2024-11-25T15:21:48Z) - MaskMamba: A Hybrid Mamba-Transformer Model for Masked Image Generation [63.73137438677585]
MaskMambaは、MambaとTransformerアーキテクチャを組み合わせた新しいハイブリッドモデルである。
トランスフォーマーよりも2048時間2048ドルという解像度で、推論速度が54.44%向上した。
論文 参考訳（メタデータ） (2024-09-30T04:28:55Z) - A Hybrid Transformer-Mamba Network for Single Image Deraining [70.64069487982916]
既存のデラリング変換器では、固定レンジウィンドウやチャネル次元に沿って自己アテンション機構を採用している。
本稿では,多分岐型トランスフォーマー・マンバネットワーク(Transformer-Mamba Network,TransMamba Network,Transformer-Mamba Network)を提案する。
論文 参考訳（メタデータ） (2024-08-31T10:03:19Z) - Decision Mamba Architectures [1.4255659581428335]
決定マンバアーキテクチャは、様々なタスク領域でトランスフォーマーより優れていることが示されている。
決定マンバ(DM)と階層決定マンバ(HDM)の2つの新しい手法を紹介する。
我々は,ほとんどのタスクにおいて,TransformerモデルよりもMambaモデルの方が優れていることを示す。
論文 参考訳（メタデータ） (2024-05-13T17:18:08Z) - Error Correction Code Transformer [92.10654749898927]
本稿では,トランスフォーマーアーキテクチャを任意のブロック長で線形符号のソフトデコードに拡張することを提案する。
我々は,各チャネルの出力次元を高次元に符号化し,個別に処理すべきビット情報のより良い表現を行う。
提案手法は、トランスフォーマーの極端なパワーと柔軟性を示し、既存の最先端のニューラルデコーダを、その時間的複雑さのごく一部で大きなマージンで上回る。
論文 参考訳（メタデータ） (2022-03-27T15:25:58Z) - Multi-Stream Transformers [10.633944207679274]
トランスフォーマーベースのエンコーダデコーダモデルは、各エンコーダ層の後、融合トークン単位の表現を生成する。
本稿では,エンコーダが符号化プロセスの最後に組み合わされた代替仮説の保存と探索を可能にする効果について検討する。
論文 参考訳（メタデータ） (2021-07-21T20:16:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。