論文の概要: ProductAE: Toward Deep Learning Driven Error-Correction Codes of Large Dimensions

• arxiv url: http://arxiv.org/abs/2303.16424v1
• Date: Wed, 29 Mar 2023 03:10:09 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-30 16:15:34.156796
• Title: ProductAE: Toward Deep Learning Driven Error-Correction Codes of Large Dimensions
• Title（参考訳）: ProductAE: 大規模次元のディープラーニング駆動エラー訂正コードを目指して
• Authors: Mohammad Vahid Jamali, Hamid Saber, Homayoon Hatami, Jung Hyun Bae
• Abstract要約: Product Autoencoder (ProductAE) は、ディープラーニング駆動(エンコーダ、デコーダ)ペアの計算効率のよいファミリーである。 我々は、古典的な製品コードからアイデアを構築し、より小さなコードコンポーネントを使って大きなニューラルコードを構築することを提案する。 トレーニング結果は,有意義なパフォーマンス向上を伴う,$k = 300$bitsの大きさのProductAEsのトレーニングに成功したことを示す。
• 参考スコア（独自算出の注目度）: 9.846418665169953
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While decades of theoretical research have led to the invention of several classes of error-correction codes, the design of such codes is an extremely challenging task, mostly driven by human ingenuity. Recent studies demonstrate that such designs can be effectively automated and accelerated via tools from machine learning (ML), thus enabling ML-driven classes of error-correction codes with promising performance gains compared to classical designs. A fundamental challenge, however, is that it is prohibitively complex, if not impossible, to design and train fully ML-driven encoder and decoder pairs for large code dimensions. In this paper, we propose Product Autoencoder (ProductAE) -- a computationally-efficient family of deep learning driven (encoder, decoder) pairs -- aimed at enabling the training of relatively large codes (both encoder and decoder) with a manageable training complexity. We build upon ideas from classical product codes and propose constructing large neural codes using smaller code components. ProductAE boils down the complex problem of training the encoder and decoder for a large code dimension $k$ and blocklength $n$ to less-complex sub-problems of training encoders and decoders for smaller dimensions and blocklengths. Our training results show successful training of ProductAEs of dimensions as large as $k = 300$ bits with meaningful performance gains compared to state-of-the-art classical and neural designs. Moreover, we demonstrate excellent robustness and adaptivity of ProductAEs to channel models different than the ones used for training.
• Abstract（参考訳）: 何十年もの理論的研究が、いくつかの誤り訂正符号の発明につながったが、そのような符号の設計は、主に人間の創造性によって、非常に困難な課題である。 近年の研究では、このような設計を機械学習(ML)のツールで効果的に自動化し、高速化できることが実証されている。 しかし、基本的な課題は、ML駆動のエンコーダとデコーダのペアを大規模なコード次元で設計し、訓練することは不可能ではないが、違法に複雑であることである。 本稿では、比較的大きなコード(エンコーダとデコーダの両方)を、管理可能なトレーニング複雑性でトレーニング可能にすることを目的とした、ディープラーニング駆動(エンコーダ、デコーダ)ペアの計算効率の高いファミリーであるproduct autoencoder(productae)を提案する。 我々は、古典的な製品コードからアイデアを構築し、より小さなコードコンポーネントを使って大きなニューラルコードを構築することを提案する。 ProductAEは、エンコーダとデコーダを、大きなコードディメンション$k$とブロック長$n$で訓練する複雑な問題を、より小さなディメンジョンとブロック長のためのトレーニングエンコーダとデコーダの、より複雑なサブプロブレムに導いてくれる。 トレーニングの結果、最先端のクラシックやニューラルデザインと比較して、k = 300$bitのトレーニングが成功し、有意義なパフォーマンス向上が得られました。 さらに,ProductAEsがトレーニングに使用するものとは異なるチャネルモデルに対して,優れた堅牢性と適応性を示す。

関連論文リスト

• On the Design and Performance of Machine Learning Based Error Correcting Decoders [3.8289109929360245]
  まず, 単一ラベル型ニューラルネットワーク (SLNN) とマルチラベル型ニューラルネットワーク (MLNN) のデコーダについて検討した。 次に、エラー訂正符号変換器(ECCT)とクロスアテンションメッセージパッシング変換器(CrossMPT)という、2つのトランスフォーマーベースのデコーダに注目します。
  論文  参考訳（メタデータ） (2024-10-21T11:23:23Z)
• Toward Exploring the Code Understanding Capabilities of Pre-trained Code Generation Models [12.959392500354223]
  私たちは、事前訓練されたコード生成モデルからコード理解タスクへの知識の移行の先駆者です。 CL4Dはデコーダのみのモデルの表現能力を向上させるために設計された,コントラスト学習手法である。
  論文  参考訳（メタデータ） (2024-06-18T06:52:14Z)
• Factor Graph Optimization of Error-Correcting Codes for Belief Propagation Decoding [62.25533750469467]
  低密度パリティ・チェック (LDPC) コードは、他の種類のコードに対していくつかの利点がある。 提案手法は,既存の人気符号の復号性能を桁違いに向上させる。
  論文  参考訳（メタデータ） (2024-06-09T12:08:56Z)
• Learning Linear Block Error Correction Codes [62.25533750469467]
  本稿では,バイナリ線形ブロック符号の統一エンコーダデコーダトレーニングを初めて提案する。 また,コード勾配の効率的なバックプロパゲーションのために,自己注意マスキングを行うトランスフォーマーモデルを提案する。
  論文  参考訳（メタデータ） (2024-05-07T06:47:12Z)
• Small Quantum Codes from Algebraic Extensions of Generalized Bicycle Codes [4.299840769087443]
  量子LDPC符号は、消滅する符号化率を持つ表面符号から、一定の符号化率と線形距離を持つ非常に有望な符号まで様々である。 我々は、一般化自転車(GB)符号として知られる量子LDPC符号のサブセットにインスパイアされた小さな量子符号を考案した。
  論文  参考訳（メタデータ） (2024-01-15T10:38:13Z)
• CodeT5+: Open Code Large Language Models for Code Understanding and Generation [72.1638273937025]
  大きな言語モデル (LLM) は膨大なソースコードで事前訓練されており、コードインテリジェンスにおいて顕著な進歩を遂げている。 CodeT5+は、コンポーネントモジュールを柔軟に組み合わせて、幅広い下流のコードタスクに適合させることができるコードのためのエンコーダ-デコーダLLMのファミリーである。 我々は、ゼロショット、微調整、命令調整を含む20以上のコード関連ベンチマークでCodeT5+を広範囲に評価した。
  論文  参考訳（メタデータ） (2023-05-13T14:23:07Z)
• Machine Learning-Aided Efficient Decoding of Reed-Muller Subcodes [59.55193427277134]
  Reed-Muller (RM) 符号は、一般的なバイナリインプットメモリレス対称チャネルの容量を達成する。 RM符号は制限されたレートのみを許容する。 効率的なデコーダは、RM符号に対して有限長で利用可能である。
  論文  参考訳（メタデータ） (2023-01-16T04:11:14Z)
• CodeRL: Mastering Code Generation through Pretrained Models and Deep Reinforcement Learning [92.36705236706678]
  CodeRLは、事前訓練されたLMと深層強化学習によるプログラム合成タスクのための新しいフレームワークである。 推論中、我々は重要なサンプリング戦略を持つ新しい生成手順を導入する。 モデルバックボーンについては,CodeT5のエンコーダデコーダアーキテクチャを拡張し,学習目標を拡張した。
  論文  参考訳（メタデータ） (2022-07-05T02:42:15Z)
• Adversarial Neural Networks for Error Correcting Codes [76.70040964453638]
  機械学習(ML)モデルの性能と適用性を高めるための一般的なフレームワークを紹介する。 本稿では,MLデコーダと競合する識別器ネットワークを組み合わせることを提案する。 我々のフレームワークはゲーム理論であり、GAN(Generative Adversarial Network)によって動機付けられている。
  論文  参考訳（メタデータ） (2021-12-21T19:14:44Z)
• ProductAE: Towards Training Larger Channel Codes based on Neural Product Codes [9.118706387430885]
  ディープラーニング技術を通じて比較的大きなニューラルチャネルコードを設計し、訓練することは、違法に複雑である。 本稿では,ディープラーニング駆動型(エンコーダ,デコーダ)ペアの計算効率の良いファミリーであるProductAEsを構築する。 我々は、パラメータのコード(100,225)$とパラメータの中間長コード(196,441)$に対して、SNR(Signal-to-noise ratio)のあらゆる範囲において、大きな利得を示す。
  論文  参考訳（メタデータ） (2021-10-09T06:00:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。