論文の概要: CrossMPT: Cross-attention Message-Passing Transformer for Error Correcting Codes

• arxiv url: http://arxiv.org/abs/2405.01033v2
• Date: Fri, 11 Oct 2024 04:42:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-14 13:27:52.711647
• Title: CrossMPT: Cross-attention Message-Passing Transformer for Error Correcting Codes
• Title（参考訳）: CrossMPT: エラー訂正のためのクロスアテンションメッセージパージングトランス
• Authors: Seong-Joon Park, Hee-Youl Kwak, Sang-Hyo Kim, Yongjune Kim, Jong-Seon No,
• Abstract要約: クロスアテンションメッセージパージングトランス(CrossMPT)を提案する。 また、CrossMPTは、既存のニューラルネットワークベースのデコーダを、様々なコードクラスで大幅に上回っていることを示す。 特に、CrossMPTは、メモリ使用量、複雑性、推論時間、トレーニング時間を著しく削減しながら、このデコードパフォーマンスの改善を実現している。
• 参考スコア（独自算出の注目度）: 14.631435001491514
• License:
• Abstract: Error correcting codes (ECCs) are indispensable for reliable transmission in communication systems. The recent advancements in deep learning have catalyzed the exploration of ECC decoders based on neural networks. Among these, transformer-based neural decoders have achieved state-of-the-art decoding performance. In this paper, we propose a novel Cross-attention Message-Passing Transformer (CrossMPT), which shares key operational principles with conventional message-passing decoders. While conventional transformer-based decoders employ self-attention mechanism without distinguishing between the types of input vectors (i.e., magnitude and syndrome vectors), CrossMPT updates the two types of input vectors separately and iteratively using two masked cross-attention blocks. The mask matrices are determined by the code's parity-check matrix, which explicitly captures the irrelevant relationship between two input vectors. Our experimental results show that CrossMPT significantly outperforms existing neural network-based decoders for various code classes. Notably, CrossMPT achieves this decoding performance improvement, while significantly reducing the memory usage, complexity, inference time, and training time.
• Abstract（参考訳）: エラー訂正符号(ECC)は通信システムにおいて信頼性の高い伝送には不可欠である。 ディープラーニングの最近の進歩は、ニューラルネットワークに基づくECCデコーダの探索を触媒している。 これらのうち、トランスをベースとしたニューラルデコーダは最先端のデコード性能を達成した。 本稿では,従来のメッセージパッシングデコーダと鍵となる運用原理を共有するクロスアテンションメッセージパージングトランス(CrossMPT)を提案する。 従来のトランスフォーマーベースのデコーダでは、入力ベクトルのタイプ(等級とシンドロームベクトル)を区別することなく自己アテンション機構を採用しているが、CrossMPTは2種類の入力ベクトルを別々に更新し、2つのマスク付きクロスアテンションブロックを用いて反復的に更新する。 マスク行列は符号のパリティチェック行列によって決定され、2つの入力ベクトル間の無関係な関係を明示的にキャプチャする。 実験の結果,CrossMPTは様々なコードクラスに対して,既存のニューラルネットワークベースのデコーダを著しく上回っていることがわかった。 特に、CrossMPTは、メモリ使用量、複雑性、推論時間、トレーニング時間を著しく削減しながら、このデコードパフォーマンスの改善を実現している。

関連論文リスト

• On the Design and Performance of Machine Learning Based Error Correcting Decoders [3.8289109929360245]
  まず, 単一ラベル型ニューラルネットワーク (SLNN) とマルチラベル型ニューラルネットワーク (MLNN) のデコーダについて検討した。 次に、エラー訂正符号変換器(ECCT)とクロスアテンションメッセージパッシング変換器(CrossMPT)という、2つのトランスフォーマーベースのデコーダに注目します。
  論文  参考訳（メタデータ） (2024-10-21T11:23:23Z)
• Accelerating Error Correction Code Transformers [56.75773430667148]
  本稿では,トランスを用いたデコーダの高速化手法を提案する。 最新のハードウェアでは、90%の圧縮比を実現し、算術演算エネルギー消費を少なくとも224倍削減する。
  論文  参考訳（メタデータ） (2024-10-08T11:07:55Z)
• Learning Linear Block Error Correction Codes [62.25533750469467]
  本稿では,バイナリ線形ブロック符号の統一エンコーダデコーダトレーニングを初めて提案する。 また,コード勾配の効率的なバックプロパゲーションのために,自己注意マスキングを行うトランスフォーマーモデルを提案する。
  論文  参考訳（メタデータ） (2024-05-07T06:47:12Z)
• How to Mask in Error Correction Code Transformer: Systematic and Double Masking [16.90917067964835]
  通信やストレージシステムでは、エラー訂正符号(ECC)がデータの信頼性を確保する上で重要である。 Error Correction Code Transformer (ECCT)は最先端のパフォーマンスを達成し、他の手法よりも大きなマージンで優れている。 本稿では,ECCTのための新しいマスキング行列を提案する。
  論文  参考訳（メタデータ） (2023-08-16T03:35:52Z)
• DeMT: Deformable Mixer Transformer for Multi-Task Learning of Dense Prediction [40.447092963041236]
  変形可能なCNNとクエリベースのTransformerの利点を組み合わせた新しいMTLモデルを提案する。 提案手法は, 単純かつ効率的なエンコーダ・デコーダアーキテクチャに基づいている。 我々のモデルはGFLOPを少なくし、現在のTransformerやCNNベースの競合モデルよりも大幅に優れています。
  論文  参考訳（メタデータ） (2023-01-09T16:00:15Z)
• Efficient Nearest Neighbor Search for Cross-Encoder Models using Matrix Factorization [60.91600465922932]
  本稿では,クロスエンコーダのみに頼って,二重エンコーダによる検索を回避する手法を提案する。 我々のアプローチは、現在の広く使われている方法よりも優れたテスト時間リコール-vs計算コストトレードオフを提供する。
  論文  参考訳（メタデータ） (2022-10-23T00:32:04Z)
• Error Correction Code Transformer [92.10654749898927]
  本稿では,トランスフォーマーアーキテクチャを任意のブロック長で線形符号のソフトデコードに拡張することを提案する。 我々は,各チャネルの出力次元を高次元に符号化し,個別に処理すべきビット情報のより良い表現を行う。 提案手法は、トランスフォーマーの極端なパワーと柔軟性を示し、既存の最先端のニューラルデコーダを、その時間的複雑さのごく一部で大きなマージンで上回る。
  論文  参考訳（メタデータ） (2022-03-27T15:25:58Z)
• Fast-MD: Fast Multi-Decoder End-to-End Speech Translation with Non-Autoregressive Hidden Intermediates [59.678108707409606]
  我々は、接続性時間分類(CTC)出力に基づいて非自己回帰デコードによりHIを生成する高速MDモデルであるFast-MDを提案し、続いてASRデコーダを提案する。 高速MDは、GPUとCPUの「単純なMDモデル」よりも2倍、4倍高速なデコード速度を実現した。
  論文  参考訳（メタデータ） (2021-09-27T05:21:30Z)
• Swin-Unet: Unet-like Pure Transformer for Medical Image Segmentation [63.46694853953092]
  Swin-Unetは、医用画像セグメンテーション用のUnetライクなトランスフォーマーである。 トークン化されたイメージパッチは、TransformerベースのU字型デコーダデコーダアーキテクチャに供給される。
  論文  参考訳（メタデータ） (2021-05-12T09:30:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。