論文の概要: CrossMPT: Cross-attention Message-Passing Transformer for Error Correcting Codes
- arxiv url: http://arxiv.org/abs/2405.01033v2
- Date: Fri, 11 Oct 2024 04:42:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-14 13:27:52.711647
- Title: CrossMPT: Cross-attention Message-Passing Transformer for Error Correcting Codes
- Title(参考訳): CrossMPT: エラー訂正のためのクロスアテンションメッセージパージングトランス
- Authors: Seong-Joon Park, Hee-Youl Kwak, Sang-Hyo Kim, Yongjune Kim, Jong-Seon No,
- Abstract要約: クロスアテンションメッセージパージングトランス(CrossMPT)を提案する。
また、CrossMPTは、既存のニューラルネットワークベースのデコーダを、様々なコードクラスで大幅に上回っていることを示す。
特に、CrossMPTは、メモリ使用量、複雑性、推論時間、トレーニング時間を著しく削減しながら、このデコードパフォーマンスの改善を実現している。
- 参考スコア(独自算出の注目度): 14.631435001491514
- License:
- Abstract: Error correcting codes (ECCs) are indispensable for reliable transmission in communication systems. The recent advancements in deep learning have catalyzed the exploration of ECC decoders based on neural networks. Among these, transformer-based neural decoders have achieved state-of-the-art decoding performance. In this paper, we propose a novel Cross-attention Message-Passing Transformer (CrossMPT), which shares key operational principles with conventional message-passing decoders. While conventional transformer-based decoders employ self-attention mechanism without distinguishing between the types of input vectors (i.e., magnitude and syndrome vectors), CrossMPT updates the two types of input vectors separately and iteratively using two masked cross-attention blocks. The mask matrices are determined by the code's parity-check matrix, which explicitly captures the irrelevant relationship between two input vectors. Our experimental results show that CrossMPT significantly outperforms existing neural network-based decoders for various code classes. Notably, CrossMPT achieves this decoding performance improvement, while significantly reducing the memory usage, complexity, inference time, and training time.
- Abstract(参考訳): エラー訂正符号(ECC)は通信システムにおいて信頼性の高い伝送には不可欠である。
ディープラーニングの最近の進歩は、ニューラルネットワークに基づくECCデコーダの探索を触媒している。
これらのうち、トランスをベースとしたニューラルデコーダは最先端のデコード性能を達成した。
本稿では,従来のメッセージパッシングデコーダと鍵となる運用原理を共有するクロスアテンションメッセージパージングトランス(CrossMPT)を提案する。
従来のトランスフォーマーベースのデコーダでは、入力ベクトルのタイプ(等級とシンドロームベクトル)を区別することなく自己アテンション機構を採用しているが、CrossMPTは2種類の入力ベクトルを別々に更新し、2つのマスク付きクロスアテンションブロックを用いて反復的に更新する。
マスク行列は符号のパリティチェック行列によって決定され、2つの入力ベクトル間の無関係な関係を明示的にキャプチャする。
実験の結果,CrossMPTは様々なコードクラスに対して,既存のニューラルネットワークベースのデコーダを著しく上回っていることがわかった。
特に、CrossMPTは、メモリ使用量、複雑性、推論時間、トレーニング時間を著しく削減しながら、このデコードパフォーマンスの改善を実現している。
関連論文リスト
- Progressive-Proximity Bit-Flipping for Decoding Surface Codes [9.801253635315636]
トリックやサーフェスコードのようなトポロジカル量子コードは、ハードウェア実装の優れた候補である。
既存のデコーダは、計算複雑性の低いような要求を満たすのに不足することが多い。
トリックおよび表面符号に適した新しいビットフリップ(BF)デコーダを提案する。
論文 参考訳(メタデータ) (2024-02-24T22:38:05Z) - Transformer-QEC: Quantum Error Correction Code Decoding with
Transferable Transformers [18.116657629047253]
本稿では,変圧器を用いた量子誤り訂正(QEC)デコーダを提案する。
全ての入力症候群にまたがるグローバルな受容野を達成するために、自己認識を用いる。
これは、局所的な物理的エラーとグローバルなパリティラベルの損失を組み合わせた混合損失トレーニングアプローチを取り入れている。
論文 参考訳(メタデータ) (2023-11-27T18:52:25Z) - How to Mask in Error Correction Code Transformer: Systematic and Double
Masking [16.90917067964835]
通信やストレージシステムでは、エラー訂正符号(ECC)がデータの信頼性を確保する上で重要である。
Error Correction Code Transformer (ECCT)は最先端のパフォーマンスを達成し、他の手法よりも大きなマージンで優れている。
本稿では,ECCTのための新しいマスキング行列を提案する。
論文 参考訳(メタデータ) (2023-08-16T03:35:52Z) - A Cryogenic Memristive Neural Decoder for Fault-tolerant Quantum Error
Correction [0.0]
本稿では,インメモリコンピューティングアーキテクチャに基づくニューラルデコーダ推論アクセラレータの設計と性能解析について報告する。
ハードウェアを意識したトレーニング手法が開発され、精度の低下が軽減される。
この研究は、QECを統合するためのスケーラブルで高速で低消費電力のMCCハードウェアへの経路を提供する。
論文 参考訳(メタデータ) (2023-07-18T17:46:33Z) - Efficient Nearest Neighbor Search for Cross-Encoder Models using Matrix
Factorization [60.91600465922932]
本稿では,クロスエンコーダのみに頼って,二重エンコーダによる検索を回避する手法を提案する。
我々のアプローチは、現在の広く使われている方法よりも優れたテスト時間リコール-vs計算コストトレードオフを提供する。
論文 参考訳(メタデータ) (2022-10-23T00:32:04Z) - Error Correction Code Transformer [92.10654749898927]
本稿では,トランスフォーマーアーキテクチャを任意のブロック長で線形符号のソフトデコードに拡張することを提案する。
我々は,各チャネルの出力次元を高次元に符号化し,個別に処理すべきビット情報のより良い表現を行う。
提案手法は、トランスフォーマーの極端なパワーと柔軟性を示し、既存の最先端のニューラルデコーダを、その時間的複雑さのごく一部で大きなマージンで上回る。
論文 参考訳(メタデータ) (2022-03-27T15:25:58Z) - TransCMD: Cross-Modal Decoder Equipped with Transformer for RGB-D
Salient Object Detection [86.94578023985677]
本研究では,グローバルな情報アライメントと変革の観点から,この課題を再考する。
具体的には、トランスCMD(TransCMD)は、複数のクロスモーダル統合ユニットをカスケードして、トップダウントランスフォーマーベースの情報伝達経路を構築する。
7つのRGB-D SODベンチマークデータセットの実験結果から、単純な2ストリームエンコーダデコーダフレームワークが、最先端のCNNベースの手法を超越できることが示されている。
論文 参考訳(メタデータ) (2021-12-04T15:45:34Z) - Swin-Unet: Unet-like Pure Transformer for Medical Image Segmentation [63.46694853953092]
Swin-Unetは、医用画像セグメンテーション用のUnetライクなトランスフォーマーである。
トークン化されたイメージパッチは、TransformerベースのU字型デコーダデコーダアーキテクチャに供給される。
論文 参考訳(メタデータ) (2021-05-12T09:30:26Z) - Transformers Solve the Limited Receptive Field for Monocular Depth
Prediction [82.90445525977904]
畳み込みニューラルネットワークとトランスの両方の恩恵を受けるアーキテクチャであるTransDepthを提案します。
連続ラベルを含む画素単位での予測問題にトランスフォーマーを適用する最初の論文である。
論文 参考訳(メタデータ) (2021-03-22T18:00:13Z) - Rethinking Semantic Segmentation from a Sequence-to-Sequence Perspective
with Transformers [149.78470371525754]
セマンティックセグメンテーションをシーケンスからシーケンスへの予測タスクとして扱う。
具体的には、イメージをパッチのシーケンスとしてエンコードするために純粋なトランスをデプロイします。
トランスのすべての層でモデル化されたグローバルコンテキストにより、このエンコーダは、SETR(SEgmentation TRansformer)と呼ばれる強力なセグメンテーションモデルを提供するための単純なデコーダと組み合わせることができる。
SETRはADE20K(50.28% mIoU)、Pascal Context(55.83% mIoU)、およびCityscapesの競争力のある結果に関する最新技術を達成している。
論文 参考訳(メタデータ) (2020-12-31T18:55:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。