論文の概要: Optimizing Serially Concatenated Neural Codes with Classical Decoders

• arxiv url: http://arxiv.org/abs/2212.10355v3
• Date: Wed, 3 May 2023 20:34:25 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-05 19:21:44.246775
• Title: Optimizing Serially Concatenated Neural Codes with Classical Decoders
• Title（参考訳）: 古典デコーダを用いたシリアル結合型ニューラルネットワークの最適化
• Authors: Jannis Clausius, Marvin Geiselhart and Stephan ten Brink
• Abstract要約: 従来の復号アルゴリズムが非自明な実数値ニューラルコードに適用されていることを示す。 BCJRアルゴリズムは完全に微分可能であるので、エンドツーエンドでニューラルエンコーダのトレーニングや微調整が可能である。
• 参考スコア（独自算出の注目度）: 8.692972779213932
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: For improving short-length codes, we demonstrate that classic decoders can also be used with real-valued, neural encoders, i.e., deep-learning based codeword sequence generators. Here, the classical decoder can be a valuable tool to gain insights into these neural codes and shed light on weaknesses. Specifically, the turbo-autoencoder is a recently developed channel coding scheme where both encoder and decoder are replaced by neural networks. We first show that the limited receptive field of convolutional neural network (CNN)-based codes enables the application of the BCJR algorithm to optimally decode them with feasible computational complexity. These maximum a posteriori (MAP) component decoders then are used to form classical (iterative) turbo decoders for parallel or serially concatenated CNN encoders, offering a close-to-maximum likelihood (ML) decoding of the learned codes. To the best of our knowledge, this is the first time that a classical decoding algorithm is applied to a non-trivial, real-valued neural code. Furthermore, as the BCJR algorithm is fully differentiable, it is possible to train, or fine-tune, the neural encoder in an end-to-end fashion.
• Abstract（参考訳）: 短長符号を改善するために、従来のデコーダは実数値のニューラルエンコーダ、すなわちディープラーニングベースのコードワードシーケンスジェネレータでも使用できることを示した。 ここで、古典的なデコーダは、これらのニューラルコードについて洞察を得て、弱点に光を当てる貴重なツールになり得る。 具体的には、turboautoencoderは、最近開発されたチャネル符号化方式で、エンコーダとデコーダの両方をニューラルネットワークに置き換える。 まず,畳み込みニューラルネットワーク(CNN)をベースとした限られた受容領域が,BCJRアルゴリズムの適用により,計算量で最適に復号化可能であることを示す。 これらの最大アフター(MAP)コンポーネントデコーダは、並列またはシリアルに連結されたCNNエンコーダのための古典的な(定型的な)ターボデコーダを形成するために使用され、学習されたコードの最大値(ML)デコーダを提供する。 私たちの知る限りでは、古典的な復号アルゴリズムが非自明な実数値ニューラルコードに適用されたのはこれが初めてです。 さらに、BCJRアルゴリズムは完全に微分可能であるため、ニューラルネットワークをエンドツーエンドでトレーニングしたり、微調整したりすることが可能である。

関連論文リスト

• Learning Linear Block Error Correction Codes [62.25533750469467]
  本稿では,バイナリ線形ブロック符号の統一エンコーダデコーダトレーニングを初めて提案する。 また,コード勾配の効率的なバックプロパゲーションのために,自己注意マスキングを行うトランスフォーマーモデルを提案する。
  論文  参考訳（メタデータ） (2024-05-07T06:47:12Z)
• Convolutional neural network based decoders for surface codes [0.0]
  本稿では,畳み込みニューラルネットワークに基づくデコーダの研究について報告する。 その結果,畳み込みニューラルネットワークに基づくデコーダの性能は良好であり,異なるノイズモデルに適応できることがわかった。
  論文  参考訳（メタデータ） (2023-12-06T14:07:31Z)
• Generalization Bounds for Neural Belief Propagation Decoders [10.96453955114324]
  本稿では,ニューラルネットワークを用いたデコーダの一般化機能について検討する。 具体的には、デコーダの一般化ギャップは、経験的ビットエラーレートと期待ビットエラーレートの差である。 通常のパリティチェック行列と不規則なパリティチェック行列の両方について結果が提示される。
  論文  参考訳（メタデータ） (2023-05-17T19:56:04Z)
• A Scalable Graph Neural Network Decoder for Short Block Codes [49.25571364253986]
  エッジ重み付きグラフニューラルネットワーク(EW-GNN)に基づく短絡符号の復号化アルゴリズムを提案する。 EW-GNNデコーダは、繰り返しメッセージパッシング構造を持つタナーグラフで動作する。 EW-GNNデコーダは,復号誤り率の観点から,BP法および深層学習に基づくBP法より優れていることを示す。
  論文  参考訳（メタデータ） (2022-11-13T17:13:12Z)
• Graph Neural Networks for Channel Decoding [71.15576353630667]
  低密度パリティチェック(LDPC)やBCH符号など、様々な符号化方式の競合復号性能を示す。 ニューラルネットワーク(NN)は、与えられたグラフ上で一般化されたメッセージパッシングアルゴリズムを学習する。 提案するデコーダを,従来のチャネル復号法および最近のディープラーニングに基づく結果と比較した。
  論文  参考訳（メタデータ） (2022-07-29T15:29:18Z)
• Adversarial Neural Networks for Error Correcting Codes [76.70040964453638]
  機械学習(ML)モデルの性能と適用性を高めるための一般的なフレームワークを紹介する。 本稿では,MLデコーダと競合する識別器ネットワークを組み合わせることを提案する。 我々のフレームワークはゲーム理論であり、GAN(Generative Adversarial Network)によって動機付けられている。
  論文  参考訳（メタデータ） (2021-12-21T19:14:44Z)
• ProductAE: Towards Training Larger Channel Codes based on Neural Product Codes [9.118706387430885]
  ディープラーニング技術を通じて比較的大きなニューラルチャネルコードを設計し、訓練することは、違法に複雑である。 本稿では,ディープラーニング駆動型(エンコーダ,デコーダ)ペアの計算効率の良いファミリーであるProductAEsを構築する。 我々は、パラメータのコード(100,225)$とパラメータの中間長コード(196,441)$に対して、SNR(Signal-to-noise ratio)のあらゆる範囲において、大きな利得を示す。
  論文  参考訳（メタデータ） (2021-10-09T06:00:40Z)
• KO codes: Inventing Nonlinear Encoding and Decoding for Reliable Wireless Communication via Deep-learning [76.5589486928387]
  ランドマークコードは、Reed-Muller、BCH、Convolution、Turbo、LDPC、Polarといった信頼性の高い物理層通信を支える。 本論文では、ディープラーニング駆動型(エンコーダ、デコーダ)ペアの計算効率の良いファミリーであるKO符号を構築する。 KO符号は最先端のリード・ミュラー符号と極符号を破り、低複雑さの逐次復号法で復号された。
  論文  参考訳（メタデータ） (2021-08-29T21:08:30Z)
• Cyclically Equivariant Neural Decoders for Cyclic Codes [33.63188063525036]
  循環不変性を利用して,循環符号のニューラルデコーダを提案する。 当社の新しいデコーダは、サイクル符号のデコード時に、従来のニューラルデコーダを一貫して上回る性能を発揮します。 最後に,BCH符号と句読込みRM符号の復号誤差確率を大幅に低減できるリスト復号手順を提案する。
  論文  参考訳（メタデータ） (2021-05-12T09:41:13Z)
• Less is More: Pre-training a Strong Siamese Encoder Using a Weak Decoder [75.84152924972462]
  多くの実世界のアプリケーションはSiameseネットワークを使用して、テキストシーケンスを大規模に効率的にマッチングします。 本稿では,シームズアーキテクチャにおけるシーケンスマッチング専用の言語モデルを事前学習する。
  論文  参考訳（メタデータ） (2021-02-18T08:08:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。