論文の概要: CrossMPT: Cross-attention Message-Passing Transformer for Error Correcting Codes

• arxiv url: http://arxiv.org/abs/2405.01033v1
• Date: Thu, 2 May 2024 06:30:52 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-03 17:33:31.636231
• Title: CrossMPT: Cross-attention Message-Passing Transformer for Error Correcting Codes
• Title（参考訳）: CrossMPT: エラー訂正のためのクロスアテンションメッセージパージングトランス
• Authors: Seong-Joon Park, Hee-Youl Kwak, Sang-Hyo Kim, Yongjune Kim, Jong-Seon No,
• Abstract要約: クロスアテンションメッセージパージングトランス(CrossMPT)を提案する。 実験の結果、CrossMPTは既存のニューラルネットワークベースのデコーダよりも大幅に優れていた。
• 参考スコア（独自算出の注目度）: 14.631435001491514
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Error correcting codes~(ECCs) are indispensable for reliable transmission in communication systems. The recent advancements in deep learning have catalyzed the exploration of ECC decoders based on neural networks. Among these, transformer-based neural decoders have achieved state-of-the-art decoding performance. In this paper, we propose a novel Cross-attention Message-Passing Transformer~(CrossMPT). CrossMPT iteratively updates two types of input vectors (i.e., magnitude and syndrome vectors) using two masked cross-attention blocks. The mask matrices in these cross-attention blocks are determined by the code's parity-check matrix that delineates the relationship between magnitude and syndrome vectors. Our experimental results show that CrossMPT significantly outperforms existing neural network-based decoders, particularly in decoding low-density parity-check codes. Notably, CrossMPT also achieves a significant reduction in computational complexity, achieving over a 50\% decrease in its attention layers compared to the original transformer-based decoder, while retaining the computational complexity of the remaining layers.
• Abstract（参考訳）: 誤り訂正符号~(ECC)は通信システムにおける信頼できる伝送には不可欠である。 ディープラーニングの最近の進歩は、ニューラルネットワークに基づくECCデコーダの探索を触媒している。 これらのうち、トランスをベースとしたニューラルデコーダは最先端のデコード性能を達成した。 本稿では,クロスアテンション型メッセージパージングトランス~(CrossMPT)を提案する。 CrossMPTは、2つのマスク付きクロスアテンションブロックを用いて2種類の入力ベクトル(等級ベクトルとシンドロームベクトル)を反復的に更新する。 これらのクロスアテンションブロックのマスク行列は、大きさとシンドロームベクトルの関係を記述したコードのパリティチェック行列によって決定される。 実験の結果、CrossMPTは、特に低密度パリティチェック符号のデコードにおいて、既存のニューラルネットワークベースのデコーダよりも大幅に優れていた。 特に、CrossMPTは計算複雑性の大幅な低減を実現し、残りのレイヤの計算複雑性を維持しながら、元のトランスフォーマーベースのデコーダに比べて注意層が50%以上減少する。

関連論文リスト

• Progressive-Proximity Bit-Flipping for Decoding Surface Codes [9.801253635315636]
  トリックやサーフェスコードのようなトポロジカル量子コードは、ハードウェア実装の優れた候補である。 既存のデコーダは、計算複雑性の低いような要求を満たすのに不足することが多い。 トリックおよび表面符号に適した新しいビットフリップ(BF)デコーダを提案する。
  論文  参考訳（メタデータ） (2024-02-24T22:38:05Z)
• Transformer-QEC: Quantum Error Correction Code Decoding with Transferable Transformers [18.116657629047253]
  本稿では,変圧器を用いた量子誤り訂正(QEC)デコーダを提案する。 全ての入力症候群にまたがるグローバルな受容野を達成するために、自己認識を用いる。 これは、局所的な物理的エラーとグローバルなパリティラベルの損失を組み合わせた混合損失トレーニングアプローチを取り入れている。
  論文  参考訳（メタデータ） (2023-11-27T18:52:25Z)
• How to Mask in Error Correction Code Transformer: Systematic and Double Masking [16.90917067964835]
  通信やストレージシステムでは、エラー訂正符号(ECC)がデータの信頼性を確保する上で重要である。 Error Correction Code Transformer (ECCT)は最先端のパフォーマンスを達成し、他の手法よりも大きなマージンで優れている。 本稿では,ECCTのための新しいマスキング行列を提案する。
  論文  参考訳（メタデータ） (2023-08-16T03:35:52Z)
• A Cryogenic Memristive Neural Decoder for Fault-tolerant Quantum Error Correction [0.0]
  本稿では,インメモリコンピューティングアーキテクチャに基づくニューラルデコーダ推論アクセラレータの設計と性能解析について報告する。 ハードウェアを意識したトレーニング手法が開発され、精度の低下が軽減される。 この研究は、QECを統合するためのスケーラブルで高速で低消費電力のMCCハードウェアへの経路を提供する。
  論文  参考訳（メタデータ） (2023-07-18T17:46:33Z)
• Efficient Nearest Neighbor Search for Cross-Encoder Models using Matrix Factorization [60.91600465922932]
  本稿では,クロスエンコーダのみに頼って,二重エンコーダによる検索を回避する手法を提案する。 我々のアプローチは、現在の広く使われている方法よりも優れたテスト時間リコール-vs計算コストトレードオフを提供する。
  論文  参考訳（メタデータ） (2022-10-23T00:32:04Z)
• Error Correction Code Transformer [92.10654749898927]
  本稿では,トランスフォーマーアーキテクチャを任意のブロック長で線形符号のソフトデコードに拡張することを提案する。 我々は,各チャネルの出力次元を高次元に符号化し,個別に処理すべきビット情報のより良い表現を行う。 提案手法は、トランスフォーマーの極端なパワーと柔軟性を示し、既存の最先端のニューラルデコーダを、その時間的複雑さのごく一部で大きなマージンで上回る。
  論文  参考訳（メタデータ） (2022-03-27T15:25:58Z)
• TransCMD: Cross-Modal Decoder Equipped with Transformer for RGB-D Salient Object Detection [86.94578023985677]
  本研究では,グローバルな情報アライメントと変革の観点から,この課題を再考する。 具体的には、トランスCMD(TransCMD)は、複数のクロスモーダル統合ユニットをカスケードして、トップダウントランスフォーマーベースの情報伝達経路を構築する。 7つのRGB-D SODベンチマークデータセットの実験結果から、単純な2ストリームエンコーダデコーダフレームワークが、最先端のCNNベースの手法を超越できることが示されている。
  論文  参考訳（メタデータ） (2021-12-04T15:45:34Z)
• Swin-Unet: Unet-like Pure Transformer for Medical Image Segmentation [63.46694853953092]
  Swin-Unetは、医用画像セグメンテーション用のUnetライクなトランスフォーマーである。 トークン化されたイメージパッチは、TransformerベースのU字型デコーダデコーダアーキテクチャに供給される。
  論文  参考訳（メタデータ） (2021-05-12T09:30:26Z)
• Transformers Solve the Limited Receptive Field for Monocular Depth Prediction [82.90445525977904]
  畳み込みニューラルネットワークとトランスの両方の恩恵を受けるアーキテクチャであるTransDepthを提案します。 連続ラベルを含む画素単位での予測問題にトランスフォーマーを適用する最初の論文である。
  論文  参考訳（メタデータ） (2021-03-22T18:00:13Z)
• Rethinking Semantic Segmentation from a Sequence-to-Sequence Perspective with Transformers [149.78470371525754]
  セマンティックセグメンテーションをシーケンスからシーケンスへの予測タスクとして扱う。 具体的には、イメージをパッチのシーケンスとしてエンコードするために純粋なトランスをデプロイします。 トランスのすべての層でモデル化されたグローバルコンテキストにより、このエンコーダは、SETR(SEgmentation TRansformer)と呼ばれる強力なセグメンテーションモデルを提供するための単純なデコーダと組み合わせることができる。 SETRはADE20K(50.28% mIoU)、Pascal Context(55.83% mIoU)、およびCityscapesの競争力のある結果に関する最新技術を達成している。
  論文  参考訳（メタデータ） (2020-12-31T18:55:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。