論文の概要: How to Mask in Error Correction Code Transformer: Systematic and Double
Masking
- arxiv url: http://arxiv.org/abs/2308.08128v1
- Date: Wed, 16 Aug 2023 03:35:52 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-17 15:03:55.301044
- Title: How to Mask in Error Correction Code Transformer: Systematic and Double
Masking
- Title(参考訳): 誤り訂正符号変換器のマスキング方法:体系的および二重マスキング
- Authors: Seong-Joon Park, Hee-Youl Kwak, Sang-Hyo Kim, Sunghwan Kim, Yongjune
Kim, Jong-Seon No
- Abstract要約: 通信やストレージシステムでは、エラー訂正符号(ECC)がデータの信頼性を確保する上で重要である。
Error Correction Code Transformer (ECCT)は最先端のパフォーマンスを達成し、他の手法よりも大きなマージンで優れている。
本稿では,ECCTのための新しいマスキング行列を提案する。
- 参考スコア(独自算出の注目度): 16.90917067964835
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In communication and storage systems, error correction codes (ECCs) are
pivotal in ensuring data reliability. As deep learning's applicability has
broadened across diverse domains, there is a growing research focus on neural
network-based decoders that outperform traditional decoding algorithms. Among
these neural decoders, Error Correction Code Transformer (ECCT) has achieved
the state-of-the-art performance, outperforming other methods by large margins.
To further enhance the performance of ECCT, we propose two novel methods.
First, leveraging the systematic encoding technique of ECCs, we introduce a new
masking matrix for ECCT, aiming to improve the performance and reduce the
computational complexity. Second, we propose a novel transformer architecture
of ECCT called a double-masked ECCT. This architecture employs two different
mask matrices in a parallel manner to learn more diverse features of the
relationship between codeword bits in the masked self-attention blocks.
Extensive simulation results show that the proposed double-masked ECCT
outperforms the conventional ECCT, achieving the state-of-the-art decoding
performance with significant margins.
- Abstract(参考訳): 通信やストレージシステムでは、エラー訂正符号(ECC)がデータの信頼性を確保する上で重要である。
ディープラーニングの適用範囲がさまざまな領域に広がるにつれて、従来のデコードアルゴリズムを上回るニューラルネットワークベースのデコーダに関する研究が増えている。
これらのニューラルデコーダのうち、誤り訂正符号変換器(ECCT)は最先端のパフォーマンスを達成し、他の手法よりも大きなマージンで性能を上げた。
ecctの性能をさらに高めるために,2つの新しい手法を提案する。
まず,ECCの体系的符号化技術を活用し,ECCTのための新しいマスキング行列を導入し,性能の向上と計算複雑性の低減を図る。
第2に、二重マスクECCTと呼ばれる新しいECCTトランスフォーマーアーキテクチャを提案する。
このアーキテクチャは、2つの異なるマスク行列を並列に使い、マスク付き自己保持ブロックにおけるコードワードビット間の関係のより多様な特徴を学習する。
シミュレーションの結果,提案した二重マス化ECCTは従来のECCTよりも優れており,最先端の復号化性能を高いマージンで達成していることがわかった。
関連論文リスト
- CrossMPT: Cross-attention Message-Passing Transformer for Error Correcting Codes [14.631435001491514]
クロスアテンションメッセージパージングトランス(CrossMPT)を提案する。
実験の結果、CrossMPTは既存のニューラルネットワークベースのデコーダよりも大幅に優れていた。
論文 参考訳(メタデータ) (2024-05-02T06:30:52Z) - EEGEncoder: Advancing BCI with Transformer-Based Motor Imagery Classification [0.0]
本稿では,変圧器モデルを用いて制限を克服するディープラーニングフレームワークであるEEGEncoderを紹介する。
我々の革新的なマルチスケール融合アーキテクチャは、即時的特徴と拡張時的特徴の両方をキャプチャし、MIタスクの分類精度を向上させる。
BCIコンペティションIVデータセット2aでテストしたところ、我々のモデルは最先端のパフォーマンスで新しいベンチマークを確立しました。
論文 参考訳(メタデータ) (2024-04-23T09:51:24Z) - TCCT-Net: Two-Stream Network Architecture for Fast and Efficient Engagement Estimation via Behavioral Feature Signals [58.865901821451295]
本稿では,新しい2ストリーム機能融合 "Tensor-Convolution and Convolution-Transformer Network" (TCCT-Net) アーキテクチャを提案する。
時間空間領域における意味のあるパターンをよりよく学習するために、ハイブリッド畳み込み変換器を統合する「CT」ストリームを設計する。
並行して、時間周波数領域からリッチなパターンを効率的に抽出するために、連続ウェーブレット変換(CWT)を用いて情報を2次元テンソル形式で表現する「TC」ストリームを導入する。
論文 参考訳(メタデータ) (2024-04-15T06:01:48Z) - Understanding Masked Autoencoders From a Local Contrastive Perspective [80.57196495601826]
Masked AutoEncoder (MAE)は、シンプルだが効果的なマスキングと再構築戦略によって、自己指導型学習の分野に革命をもたらした。
そこで我々は,MaEの再構成的側面とコントラスト的側面の両方を解析するために,ローカルコントラストMAEと呼ばれる新しい経験的枠組みを導入する。
論文 参考訳(メタデータ) (2023-10-03T12:08:15Z) - Joint Hierarchical Priors and Adaptive Spatial Resolution for Efficient
Neural Image Compression [11.25130799452367]
ニューラル画像圧縮(NIC)のための絶対画像圧縮変換器(ICT)を提案する。
ICTは、潜在表現からグローバルコンテキストとローカルコンテキストの両方をキャプチャし、量子化された潜在表現の分布をパラメータ化する。
我々のフレームワークは、多目的ビデオ符号化(VVC)参照符号化(VTM-18.0)とニューラルスウィンT-ChARMに対する符号化効率とデコーダ複雑性のトレードオフを大幅に改善する。
論文 参考訳(メタデータ) (2023-07-05T13:17:14Z) - Attribute Graph Clustering via Learnable Augmentation [71.36827095487294]
対照的なディープグラフクラスタリング(CDGC)は、異なるクラスタにノードをグループ化するために対照的な学習を利用する。
本稿では,高品質な増分サンプルのための学習可能な増分器を導入するための,Learningable Augmentation (textbfAGCLA) を用いた属性グラフクラスタリング手法を提案する。
論文 参考訳(メタデータ) (2022-12-07T10:19:39Z) - A Hybrid Complex-valued Neural Network Framework with Applications to
Electroencephalogram (EEG) [16.578387039499386]
提案したニューラルネットワークアーキテクチャは、複雑な値を持つ畳み込み層と、2つの実値を持つ畳み込み層と、完全に接続された3つの層から構成される。
2つの模擬脳波信号とベンチマークデータセットを用いてアプローチを検証し、広く使われている2つのフレームワークと比較する。
論文 参考訳(メタデータ) (2022-07-28T00:51:07Z) - ConvMAE: Masked Convolution Meets Masked Autoencoders [65.15953258300958]
機能事前トレーニングとマルチスケールハイブリッド畳み込み変換アーキテクチャのためのマスク付き自動エンコーディングは、ViTの可能性をさらに解き放つことができる。
我々のConvMAEフレームワークは、マスクの自動符号化方式により、マルチスケールのハイブリッド畳み込み変換器がより識別的な表現を学習できることを実証している。
事前訓練したConvMAEモデルに基づいて、ConvMAE-Baseは画像Net-1Kの微調整精度をMAE-Baseと比較して1.4%改善する。
論文 参考訳(メタデータ) (2022-05-08T15:12:19Z) - Improving EEG Decoding via Clustering-based Multi-task Feature Learning [27.318646122939537]
機械学習は、EEGパターンをより良い復号精度に最適化する有望な技術を提供します。
既存のアルゴリズムは、真のEEGサンプル分布を捕捉する基礎となるデータ構造を効果的に探索しない。
クラスタリングに基づく脳波パターン復号のためのマルチタスク機能学習アルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-12-12T13:31:53Z) - Improved Mask-CTC for Non-Autoregressive End-to-End ASR [49.192579824582694]
マスク予測とコネクショナリズム時間分類(CTC)に基づく最近提案されたエンドツーエンドASRシステム
我々は、最近提案されたConformerアーキテクチャを用いて、ネットワークアーキテクチャを強化することを提案する。
次に、部分的ターゲットシーケンスの長さを予測する補助的目的を導入することによって、新しいトレーニングと復号化手法を提案する。
論文 参考訳(メタデータ) (2020-10-26T01:22:35Z) - EfficientFCN: Holistically-guided Decoding for Semantic Segmentation [49.27021844132522]
最先端セマンティックセマンティックセグメンテーションアルゴリズムは主に拡張されたFully Convolutional Networks (DilatedFCN)に基づいている
本稿では,拡張畳み込みのないイメージネット事前学習ネットワークをバックボーンとする,効率的なFCNを提案する。
このようなフレームワークは、計算コストの1/3しか持たない最先端の手法に比べて、同等またはそれ以上の性能を達成する。
論文 参考訳(メタデータ) (2020-08-24T14:48:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。