論文の概要: How to Mask in Error Correction Code Transformer: Systematic and Double Masking

• arxiv url: http://arxiv.org/abs/2308.08128v2
• Date: Fri, 25 Aug 2023 04:53:19 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-28 16:41:13.421189
• Title: How to Mask in Error Correction Code Transformer: Systematic and Double Masking
• Title（参考訳）: 誤り訂正符号変換器のマスキング方法:体系的および二重マスキング
• Authors: Seong-Joon Park, Hee-Youl Kwak, Sang-Hyo Kim, Sunghwan Kim, Yongjune Kim, Jong-Seon No
• Abstract要約: 通信やストレージシステムでは、エラー訂正符号(ECC)がデータの信頼性を確保する上で重要である。 Error Correction Code Transformer (ECCT)は最先端のパフォーマンスを達成し、他の手法よりも大きなマージンで優れている。 本稿では,ECCTのための新しいマスキング行列を提案する。
• 参考スコア（独自算出の注目度）: 16.90917067964835
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In communication and storage systems, error correction codes (ECCs) are pivotal in ensuring data reliability. As deep learning's applicability has broadened across diverse domains, there is a growing research focus on neural network-based decoders that outperform traditional decoding algorithms. Among these neural decoders, Error Correction Code Transformer (ECCT) has achieved the state-of-the-art performance, outperforming other methods by large margins. To further enhance the performance of ECCT, we propose two novel methods. First, leveraging the systematic encoding technique of ECCs, we introduce a new masking matrix for ECCT, aiming to improve the performance and reduce the computational complexity. Second, we propose a novel transformer architecture of ECCT called a double-masked ECCT. This architecture employs two different mask matrices in a parallel manner to learn more diverse features of the relationship between codeword bits in the masked self-attention blocks. Extensive simulation results show that the proposed double-masked ECCT outperforms the conventional ECCT, achieving the state-of-the-art decoding performance with significant margins.
• Abstract（参考訳）: 通信やストレージシステムでは、エラー訂正符号(ECC)がデータの信頼性を確保する上で重要である。 ディープラーニングの適用範囲がさまざまな領域に広がるにつれて、従来のデコードアルゴリズムを上回るニューラルネットワークベースのデコーダに関する研究が増えている。 これらのニューラルデコーダのうち、誤り訂正符号変換器(ECCT)は最先端のパフォーマンスを達成し、他の手法よりも大きなマージンで性能を上げた。 ecctの性能をさらに高めるために,2つの新しい手法を提案する。 まず,ECCの体系的符号化技術を活用し,ECCTのための新しいマスキング行列を導入し,性能の向上と計算複雑性の低減を図る。 第2に、二重マスクECCTと呼ばれる新しいECCTトランスフォーマーアーキテクチャを提案する。 このアーキテクチャは、2つの異なるマスク行列を並列に使い、マスク付き自己保持ブロックにおけるコードワードビット間の関係のより多様な特徴を学習する。 シミュレーションの結果,提案した二重マス化ECCTは従来のECCTよりも優れており,最先端の復号化性能を高いマージンで達成していることがわかった。

関連論文リスト

• Accelerating Error Correction Code Transformers [56.75773430667148]
  本稿では,トランスを用いたデコーダの高速化手法を提案する。 最新のハードウェアでは、90%の圧縮比を実現し、算術演算エネルギー消費を少なくとも224倍削減する。
  論文  参考訳（メタデータ） (2024-10-08T11:07:55Z)
• Prototype Learning Guided Hybrid Network for Breast Tumor Segmentation in DCE-MRI [58.809276442508256]
  本稿では,畳み込みニューラルネットワーク(CNN)とトランスフォーマー層を組み合わせたハイブリッドネットワークを提案する。 プライベートおよびパブリックなDCE-MRIデータセットの実験結果から,提案したハイブリッドネットワークは最先端の手法よりも優れた性能を示した。
  論文  参考訳（メタデータ） (2024-08-11T15:46:00Z)
• Bringing Masked Autoencoders Explicit Contrastive Properties for Point Cloud Self-Supervised Learning [116.75939193785143]
  画像領域における視覚変換器(ViT)のコントラスト学習(CL)は、従来の畳み込みバックボーンのCLに匹敵する性能を達成した。 ViTで事前訓練した3Dポイントクラウドでは、マスク付きオートエンコーダ(MAE)モデリングが主流である。
  論文  参考訳（メタデータ） (2024-07-08T12:28:56Z)
• CrossMPT: Cross-attention Message-Passing Transformer for Error Correcting Codes [14.631435001491514]
  クロスアテンションメッセージパージングトランス(CrossMPT)を提案する。 また、CrossMPTは、既存のニューラルネットワークベースのデコーダを、様々なコードクラスで大幅に上回っていることを示す。 特に、CrossMPTは、メモリ使用量、複雑性、推論時間、トレーニング時間を著しく削減しながら、このデコードパフォーマンスの改善を実現している。
  論文  参考訳（メタデータ） (2024-05-02T06:30:52Z)
• EEGEncoder: Advancing BCI with Transformer-Based Motor Imagery Classification [11.687193535939798]
  脳-コンピュータインタフェース(BCI)は、脳波信号を用いてデバイスを直接神経制御する。 脳波に基づく運動画像(MI)分類のための従来の機械学習手法は、手動の特徴抽出やノイズに対する感受性といった課題に遭遇する。 本稿では,これらの制限を克服するために改良型トランスフォーマーとTCNを用いたディープラーニングフレームワークであるEEGEncoderを紹介する。
  論文  参考訳（メタデータ） (2024-04-23T09:51:24Z)
• Understanding Masked Autoencoders From a Local Contrastive Perspective [80.57196495601826]
  Masked AutoEncoder (MAE)は、シンプルだが効果的なマスキングと再構築戦略によって、自己指導型学習の分野に革命をもたらした。 そこで我々は,MaEの再構成的側面とコントラスト的側面の両方を解析するために,ローカルコントラストMAEと呼ばれる新しい経験的枠組みを導入する。
  論文  参考訳（メタデータ） (2023-10-03T12:08:15Z)
• Joint Hierarchical Priors and Adaptive Spatial Resolution for Efficient Neural Image Compression [11.25130799452367]
  ニューラル画像圧縮(NIC)のための絶対画像圧縮変換器(ICT)を提案する。 ICTは、潜在表現からグローバルコンテキストとローカルコンテキストの両方をキャプチャし、量子化された潜在表現の分布をパラメータ化する。 我々のフレームワークは、多目的ビデオ符号化(VVC)参照符号化(VTM-18.0)とニューラルスウィンT-ChARMに対する符号化効率とデコーダ複雑性のトレードオフを大幅に改善する。
  論文  参考訳（メタデータ） (2023-07-05T13:17:14Z)
• Improving EEG Decoding via Clustering-based Multi-task Feature Learning [27.318646122939537]
  機械学習は、EEGパターンをより良い復号精度に最適化する有望な技術を提供します。 既存のアルゴリズムは、真のEEGサンプル分布を捕捉する基礎となるデータ構造を効果的に探索しない。 クラスタリングに基づく脳波パターン復号のためのマルチタスク機能学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-12-12T13:31:53Z)
• Improved Mask-CTC for Non-Autoregressive End-to-End ASR [49.192579824582694]
  マスク予測とコネクショナリズム時間分類(CTC)に基づく最近提案されたエンドツーエンドASRシステム 我々は、最近提案されたConformerアーキテクチャを用いて、ネットワークアーキテクチャを強化することを提案する。 次に、部分的ターゲットシーケンスの長さを予測する補助的目的を導入することによって、新しいトレーニングと復号化手法を提案する。
  論文  参考訳（メタデータ） (2020-10-26T01:22:35Z)
• EfficientFCN: Holistically-guided Decoding for Semantic Segmentation [49.27021844132522]
  最先端セマンティックセマンティックセグメンテーションアルゴリズムは主に拡張されたFully Convolutional Networks (DilatedFCN)に基づいている 本稿では,拡張畳み込みのないイメージネット事前学習ネットワークをバックボーンとする,効率的なFCNを提案する。 このようなフレームワークは、計算コストの1/3しか持たない最先端の手法に比べて、同等またはそれ以上の性能を達成する。
  論文  参考訳（メタデータ） (2020-08-24T14:48:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。