論文の概要: Accelerating Error Correction Code Transformers
- arxiv url: http://arxiv.org/abs/2410.05911v1
- Date: Tue, 8 Oct 2024 11:07:55 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-01 12:10:29.779982
- Title: Accelerating Error Correction Code Transformers
- Title（参考訳）: 誤り訂正符号変換器の高速化
- Authors: Matan Levy, Yoni Choukroun, Lior Wolf,
- Abstract要約: 本稿では,トランスを用いたデコーダの高速化手法を提案する。
最新のハードウェアでは、90%の圧縮比を実現し、算術演算エネルギー消費を少なくとも224倍削減する。
- 参考スコア（独自算出の注目度）: 56.75773430667148
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Error correction codes (ECC) are crucial for ensuring reliable information transmission in communication systems. Choukroun & Wolf (2022b) recently introduced the Error Correction Code Transformer (ECCT), which has demonstrated promising performance across various transmission channels and families of codes. However, its high computational and memory demands limit its practical applications compared to traditional decoding algorithms. Achieving effective quantization of the ECCT presents significant challenges due to its inherently small architecture, since existing, very low-precision quantization techniques often lead to performance degradation in compact neural networks. In this paper, we introduce a novel acceleration method for transformer-based decoders. We first propose a ternary weight quantization method specifically designed for the ECCT, inducing a decoder with multiplication-free linear layers. We present an optimized self-attention mechanism to reduce computational complexity via codeaware multi-heads processing. Finally, we provide positional encoding via the Tanner graph eigendecomposition, enabling a richer representation of the graph connectivity. The approach not only matches or surpasses ECCT's performance but also significantly reduces energy consumption, memory footprint, and computational complexity. Our method brings transformer-based error correction closer to practical implementation in resource-constrained environments, achieving a 90% compression ratio and reducing arithmetic operation energy consumption by at least 224 times on modern hardware.
- Abstract（参考訳）: 誤り訂正符号(ECC)は通信システムにおいて信頼性の高い情報伝送を保証するために重要である。
Choukroun & Wolf (2022b) は先日 Error Correction Code Transformer (ECCT) を導入した。
しかし、その高い計算とメモリ要求は、従来の復号アルゴリズムと比較して実用的応用を制限している。
既存の非常に高精度な量子化技術は、しばしばコンパクトニューラルネットワークの性能劣化を引き起こすため、ECCTの効果的な量子化を実現することは、本質的には小さなアーキテクチャであるため、重大な課題となる。
本稿では,トランスを用いたデコーダの高速化手法を提案する。
本稿ではまず,ECCTに特化して設計された3次重み量子化法を提案する。
コーダウェアマルチヘッド処理による計算複雑性を低減するために,最適化された自己認識機構を提案する。
最後に、タンナーグラフ固有分解による位置符号化を行い、グラフ接続性のよりリッチな表現を可能にする。
このアプローチはECCTの性能にマッチまたは超えるだけでなく、エネルギー消費、メモリフットプリント、計算複雑性を大幅に削減する。
提案手法は, 資源制約のある環境において, 変圧器による誤り訂正を実用化し, 90%の圧縮率を実現し, 演算エネルギー消費量を224倍に削減する。
関連論文リスト
- Incrementally-Computable Neural Networks: Efficient Inference for
Dynamic Inputs [75.40636935415601]
ディープラーニングは、センサーデータやユーザ入力などの動的入力を効率的に処理するという課題に直面していることが多い。
インクリメンタルな計算アプローチを採用し、入力の変化に応じて計算を再利用する。
本稿では,この手法をトランスフォーマーアーキテクチャに適用し,修正入力の分数に比例した複雑性を持つ効率的なインクリメンタル推論アルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-07-27T16:30:27Z) - A Cryogenic Memristive Neural Decoder for Fault-tolerant Quantum Error Correction [0.0]
インメモリ・クロスバー(IMC)アーキテクチャに基づくニューラルデコーダの設計と解析を行う。
ハードウェアを意識したリトレーニング手法を開発し、フィデリティ損失を軽減する。
この研究は、フォールトトレラントQECの統合のためのスケーラブルで高速で低消費電力のMCCハードウェアへの経路を提供する。
論文 参考訳（メタデータ） (2023-07-18T17:46:33Z) - Joint Hierarchical Priors and Adaptive Spatial Resolution for Efficient
Neural Image Compression [11.25130799452367]
ニューラル画像圧縮(NIC)のための絶対画像圧縮変換器(ICT)を提案する。
ICTは、潜在表現からグローバルコンテキストとローカルコンテキストの両方をキャプチャし、量子化された潜在表現の分布をパラメータ化する。
我々のフレームワークは、多目的ビデオ符号化(VVC)参照符号化(VTM-18.0)とニューラルスウィンT-ChARMに対する符号化効率とデコーダ複雑性のトレードオフを大幅に改善する。
論文 参考訳（メタデータ） (2023-07-05T13:17:14Z) - A Novel Implementation Methodology for Error Correction Codes on a
Neuromorphic Architecture [0.8021197489470758]
本稿では,ニューロモルフィックアーキテクチャ上にデコーダアルゴリズムのハード・決定クラスをマッピングする手法を提案する。
本稿では,Xilinx Zynq ZCU102 MPSoC上でエミュレートされたTrueNorthにインスパイアされたアーキテクチャ上でのGalager Bデコーディングアルゴリズムの実装について述べる。
論文 参考訳（メタデータ） (2023-06-06T20:49:10Z) - Deep Quantum Error Correction [73.54643419792453]
量子誤り訂正符号(QECC)は、量子コンピューティングのポテンシャルを実現するための鍵となる要素である。
本研究では,新しいエンペンド・ツー・エンドの量子誤りデコーダを効率的に訓練する。
提案手法は,最先端の精度を実現することにより,QECCのニューラルデコーダのパワーを実証する。
論文 参考訳（メタデータ） (2023-01-27T08:16:26Z) - Error Correction Code Transformer [92.10654749898927]
本稿では,トランスフォーマーアーキテクチャを任意のブロック長で線形符号のソフトデコードに拡張することを提案する。
我々は,各チャネルの出力次元を高次元に符号化し,個別に処理すべきビット情報のより良い表現を行う。
提案手法は、トランスフォーマーの極端なパワーと柔軟性を示し、既存の最先端のニューラルデコーダを、その時間的複雑さのごく一部で大きなマージンで上回る。
論文 参考訳（メタデータ） (2022-03-27T15:25:58Z) - Improved decoding of circuit noise and fragile boundaries of tailored
surface codes [61.411482146110984]
高速かつ高精度なデコーダを導入し、幅広い種類の量子誤り訂正符号で使用することができる。
我々のデコーダは、信仰マッチングと信念フィンドと呼ばれ、すべてのノイズ情報を活用し、QECの高精度なデモを解き放つ。
このデコーダは, 標準の正方形曲面符号に対して, 整形曲面符号において, より高いしきい値と低い量子ビットオーバーヘッドをもたらすことがわかった。
論文 参考訳（メタデータ） (2022-03-09T18:48:54Z) - Quantized Neural Networks via {-1, +1} Encoding Decomposition and
Acceleration [83.84684675841167]
本稿では,量子化されたニューラルネットワーク(QNN)をマルチブランチバイナリネットワークに分解するために,-1,+1を用いた新しい符号化方式を提案する。
本稿では,大規模画像分類,オブジェクト検出,セマンティックセグメンテーションにおける提案手法の有効性を検証する。
論文 参考訳（メタデータ） (2021-06-18T03:11:15Z) - Scalable Neural Decoder for Topological Surface Codes [0.0]
本稿では,雑音およびシンドローム測定誤差を考慮に入れた安定化符号群に対するニューラルネットワークに基づくデコーダを提案する。
重要なイノベーションは、エラーシンドロームを小さなスケールで自動デコードすることである。
このような前処理によって,実用アプリケーションにおいて最大2桁の誤差率を効果的に削減できることを示す。
論文 参考訳（メタデータ） (2021-01-18T19:02:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。