論文の概要: Error Correction Code Transformer

• arxiv url: http://arxiv.org/abs/2203.14966v1
• Date: Sun, 27 Mar 2022 15:25:58 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-30 13:36:39.671582
• Title: Error Correction Code Transformer
• Title（参考訳）: 誤り訂正符号変換器
• Authors: Yoni Choukroun, Lior Wolf
• Abstract要約: 本稿では,トランスフォーマーアーキテクチャを任意のブロック長で線形符号のソフトデコードに拡張することを提案する。 我々は,各チャネルの出力次元を高次元に符号化し,個別に処理すべきビット情報のより良い表現を行う。 提案手法は、トランスフォーマーの極端なパワーと柔軟性を示し、既存の最先端のニューラルデコーダを、その時間的複雑さのごく一部で大きなマージンで上回る。
• 参考スコア（独自算出の注目度）: 92.10654749898927
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Error correction code is a major part of the communication physical layer, ensuring the reliable transfer of data over noisy channels. Recently, neural decoders were shown to outperform classical decoding techniques. However, the existing neural approaches present strong overfitting due to the exponential training complexity, or a restrictive inductive bias due to reliance on Belief Propagation. Recently, Transformers have become methods of choice in many applications thanks to their ability to represent complex interactions between elements. In this work, we propose to extend for the first time the Transformer architecture to the soft decoding of linear codes at arbitrary block lengths. We encode each channel's output dimension to high dimension for better representation of the bits information to be processed separately. The element-wise processing allows the analysis of the channel output reliability, while the algebraic code and the interaction between the bits are inserted into the model via an adapted masked self-attention module. The proposed approach demonstrates the extreme power and flexibility of Transformers and outperforms existing state-of-the-art neural decoders by large margins at a fraction of their time complexity.
• Abstract（参考訳）: エラー訂正コードは通信物理層の主要な部分であり、ノイズの多いチャネル上でデータの信頼できる転送を保証する。 近年、ニューラルデコーダは古典的デコーダよりも優れていた。 しかし、既存のニューラルアプローチは、指数的トレーニングの複雑さや、信念の伝播への依存による制限的な帰納バイアスにより、強い過適合を示す。 近年、トランスフォーマーは、要素間の複雑な相互作用を表現する能力のおかげで、多くのアプリケーションで選択の方法となっている。 本研究では,任意のブロック長の線形符号のソフトデコードにトランスフォーマアーキテクチャを初めて拡張することを提案する。 各チャンネルの出力次元を高次元に符号化し、個別に処理すべきビット情報の表現を改善する。 要素ワイズ処理はチャネル出力の信頼性を解析し、代数コードとビット間の相互作用を適応されたマスク付き自己保持モジュールを介してモデルに挿入する。 提案手法はトランスフォーマーの極端なパワーと柔軟性を示し、既存の最先端のニューラルデコーダを時間的複雑さのごく一部で大きなマージンで上回る。

関連論文リスト

• Accelerating Error Correction Code Transformers [56.75773430667148]
  本稿では,トランスを用いたデコーダの高速化手法を提案する。 最新のハードウェアでは、90%の圧縮比を実現し、算術演算エネルギー消費を少なくとも224倍削減する。
  論文  参考訳（メタデータ） (2024-10-08T11:07:55Z)
• Error Correction Code Transformer: From Non-Unified to Unified [20.902351179839282]
  従来のデコーダは、特定のデコードアルゴリズムに適した固定ハードウェア回路として設計されていた。 本稿では、複数の線形ブロックコードを扱うことができる、コードに依存しないトランスフォーマーベースのデコードアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2024-10-04T12:30:42Z)
• Learning Linear Block Error Correction Codes [62.25533750469467]
  本稿では,バイナリ線形ブロック符号の統一エンコーダデコーダトレーニングを初めて提案する。 また,コード勾配の効率的なバックプロパゲーションのために,自己注意マスキングを行うトランスフォーマーモデルを提案する。
  論文  参考訳（メタデータ） (2024-05-07T06:47:12Z)
• CrossMPT: Cross-attention Message-Passing Transformer for Error Correcting Codes [14.631435001491514]
  クロスアテンションメッセージパージングトランス(CrossMPT)を提案する。 また、CrossMPTは、既存のニューラルネットワークベースのデコーダを、様々なコードクラスで大幅に上回っていることを示す。 特に、CrossMPTは、メモリ使用量、複雑性、推論時間、トレーニング時間を著しく削減しながら、このデコードパフォーマンスの改善を実現している。
  論文  参考訳（メタデータ） (2024-05-02T06:30:52Z)
• ParaTransCNN: Parallelized TransCNN Encoder for Medical Image Segmentation [7.955518153976858]
  本稿では,畳み込みニューラルネットワークとトランスフォーマーアーキテクチャを組み合わせた2次元特徴抽出手法を提案する。 特に小臓器では, セグメンテーションの精度が向上した。
  論文  参考訳（メタデータ） (2024-01-27T05:58:36Z)
• Deep Transformers without Shortcuts: Modifying Self-attention for Faithful Signal Propagation [105.22961467028234]
  ディープニューラルネットワーク(DNN)のトレーニングにおいて,スキップ接続と正規化レイヤはユビキタスである Deep Kernel Shapingのような最近のアプローチは、それらへの依存を減らすために進歩しました。 しかし、これらのアプローチは変換器に存在する自己注意層とは相容れない。
  論文  参考訳（メタデータ） (2023-02-20T21:26:25Z)
• Denoising Diffusion Error Correction Codes [92.10654749898927]
  近年、ニューラルデコーダは古典的デコーダ技術に対する優位性を実証している。 最近の最先端のニューラルデコーダは複雑で、多くのレガシデコーダの重要な反復的スキームが欠如している。 本稿では,任意のブロック長の線形符号のソフトデコードにデノナイズ拡散モデルを適用することを提案する。
  論文  参考訳（メタデータ） (2022-09-16T11:00:50Z)
• Transformers Solve the Limited Receptive Field for Monocular Depth Prediction [82.90445525977904]
  畳み込みニューラルネットワークとトランスの両方の恩恵を受けるアーキテクチャであるTransDepthを提案します。 連続ラベルを含む画素単位での予測問題にトランスフォーマーを適用する最初の論文である。
  論文  参考訳（メタデータ） (2021-03-22T18:00:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。