論文の概要: CrossMPT: Cross-attention Message-Passing Transformer for Error Correcting Codes

• arxiv url: http://arxiv.org/abs/2405.01033v1
• Date: Thu, 2 May 2024 06:30:52 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-03 17:33:31.636231
• Title: CrossMPT: Cross-attention Message-Passing Transformer for Error Correcting Codes
• Title（参考訳）: CrossMPT: エラー訂正のためのクロスアテンションメッセージパージングトランス
• Authors: Seong-Joon Park, Hee-Youl Kwak, Sang-Hyo Kim, Yongjune Kim, Jong-Seon No,
• Abstract要約: クロスアテンションメッセージパージングトランス(CrossMPT)を提案する。 実験の結果、CrossMPTは既存のニューラルネットワークベースのデコーダよりも大幅に優れていた。
• 参考スコア（独自算出の注目度）: 14.631435001491514
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Error correcting codes~(ECCs) are indispensable for reliable transmission in communication systems. The recent advancements in deep learning have catalyzed the exploration of ECC decoders based on neural networks. Among these, transformer-based neural decoders have achieved state-of-the-art decoding performance. In this paper, we propose a novel Cross-attention Message-Passing Transformer~(CrossMPT). CrossMPT iteratively updates two types of input vectors (i.e., magnitude and syndrome vectors) using two masked cross-attention blocks. The mask matrices in these cross-attention blocks are determined by the code's parity-check matrix that delineates the relationship between magnitude and syndrome vectors. Our experimental results show that CrossMPT significantly outperforms existing neural network-based decoders, particularly in decoding low-density parity-check codes. Notably, CrossMPT also achieves a significant reduction in computational complexity, achieving over a 50\% decrease in its attention layers compared to the original transformer-based decoder, while retaining the computational complexity of the remaining layers.
• Abstract（参考訳）: 誤り訂正符号~(ECC)は通信システムにおける信頼できる伝送には不可欠である。 ディープラーニングの最近の進歩は、ニューラルネットワークに基づくECCデコーダの探索を触媒している。 これらのうち、トランスをベースとしたニューラルデコーダは最先端のデコード性能を達成した。 本稿では,クロスアテンション型メッセージパージングトランス~(CrossMPT)を提案する。 CrossMPTは、2つのマスク付きクロスアテンションブロックを用いて2種類の入力ベクトル(等級ベクトルとシンドロームベクトル)を反復的に更新する。 これらのクロスアテンションブロックのマスク行列は、大きさとシンドロームベクトルの関係を記述したコードのパリティチェック行列によって決定される。 実験の結果、CrossMPTは、特に低密度パリティチェック符号のデコードにおいて、既存のニューラルネットワークベースのデコーダよりも大幅に優れていた。 特に、CrossMPTは計算複雑性の大幅な低減を実現し、残りのレイヤの計算複雑性を維持しながら、元のトランスフォーマーベースのデコーダに比べて注意層が50%以上減少する。

関連論文リスト

• On the Design and Performance of Machine Learning Based Error Correcting Decoders [3.8289109929360245]
  まず, 単一ラベル型ニューラルネットワーク (SLNN) とマルチラベル型ニューラルネットワーク (MLNN) のデコーダについて検討した。 次に、エラー訂正符号変換器(ECCT)とクロスアテンションメッセージパッシング変換器(CrossMPT)という、2つのトランスフォーマーベースのデコーダに注目します。
  論文  参考訳（メタデータ） (2024-10-21T11:23:23Z)
• Accelerating Error Correction Code Transformers [56.75773430667148]
  本稿では,トランスを用いたデコーダの高速化手法を提案する。 最新のハードウェアでは、90%の圧縮比を実現し、算術演算エネルギー消費を少なくとも224倍削減する。
  論文  参考訳（メタデータ） (2024-10-08T11:07:55Z)
• Learning Linear Block Error Correction Codes [62.25533750469467]
  本稿では,バイナリ線形ブロック符号の統一エンコーダデコーダトレーニングを初めて提案する。 また,コード勾配の効率的なバックプロパゲーションのために,自己注意マスキングを行うトランスフォーマーモデルを提案する。
  論文  参考訳（メタデータ） (2024-05-07T06:47:12Z)
• How to Mask in Error Correction Code Transformer: Systematic and Double Masking [16.90917067964835]
  通信やストレージシステムでは、エラー訂正符号(ECC)がデータの信頼性を確保する上で重要である。 Error Correction Code Transformer (ECCT)は最先端のパフォーマンスを達成し、他の手法よりも大きなマージンで優れている。 本稿では,ECCTのための新しいマスキング行列を提案する。
  論文  参考訳（メタデータ） (2023-08-16T03:35:52Z)
• DeMT: Deformable Mixer Transformer for Multi-Task Learning of Dense Prediction [40.447092963041236]
  変形可能なCNNとクエリベースのTransformerの利点を組み合わせた新しいMTLモデルを提案する。 提案手法は, 単純かつ効率的なエンコーダ・デコーダアーキテクチャに基づいている。 我々のモデルはGFLOPを少なくし、現在のTransformerやCNNベースの競合モデルよりも大幅に優れています。
  論文  参考訳（メタデータ） (2023-01-09T16:00:15Z)
• Efficient Nearest Neighbor Search for Cross-Encoder Models using Matrix Factorization [60.91600465922932]
  本稿では,クロスエンコーダのみに頼って,二重エンコーダによる検索を回避する手法を提案する。 我々のアプローチは、現在の広く使われている方法よりも優れたテスト時間リコール-vs計算コストトレードオフを提供する。
  論文  参考訳（メタデータ） (2022-10-23T00:32:04Z)
• Error Correction Code Transformer [92.10654749898927]
  本稿では,トランスフォーマーアーキテクチャを任意のブロック長で線形符号のソフトデコードに拡張することを提案する。 我々は,各チャネルの出力次元を高次元に符号化し,個別に処理すべきビット情報のより良い表現を行う。 提案手法は、トランスフォーマーの極端なパワーと柔軟性を示し、既存の最先端のニューラルデコーダを、その時間的複雑さのごく一部で大きなマージンで上回る。
  論文  参考訳（メタデータ） (2022-03-27T15:25:58Z)
• Fast-MD: Fast Multi-Decoder End-to-End Speech Translation with Non-Autoregressive Hidden Intermediates [59.678108707409606]
  我々は、接続性時間分類(CTC)出力に基づいて非自己回帰デコードによりHIを生成する高速MDモデルであるFast-MDを提案し、続いてASRデコーダを提案する。 高速MDは、GPUとCPUの「単純なMDモデル」よりも2倍、4倍高速なデコード速度を実現した。
  論文  参考訳（メタデータ） (2021-09-27T05:21:30Z)
• Swin-Unet: Unet-like Pure Transformer for Medical Image Segmentation [63.46694853953092]
  Swin-Unetは、医用画像セグメンテーション用のUnetライクなトランスフォーマーである。 トークン化されたイメージパッチは、TransformerベースのU字型デコーダデコーダアーキテクチャに供給される。
  論文  参考訳（メタデータ） (2021-05-12T09:30:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。