論文の概要: Generalization Bounds for Neural Belief Propagation Decoders

• arxiv url: http://arxiv.org/abs/2305.10540v1
• Date: Wed, 17 May 2023 19:56:04 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-19 18:18:32.226981
• Title: Generalization Bounds for Neural Belief Propagation Decoders
• Title（参考訳）: 神経信念伝播デコーダの一般化境界
• Authors: Sudarshan Adiga, Xin Xiao, Ravi Tandon, Bane Vasic, Tamal Bose
• Abstract要約: 本稿では,ニューラルネットワークを用いたデコーダの一般化機能について検討する。 具体的には、デコーダの一般化ギャップは、経験的ビットエラーレートと期待ビットエラーレートの差である。 通常のパリティチェック行列と不規則なパリティチェック行列の両方について結果が提示される。
• 参考スコア（独自算出の注目度）: 19.278148937181562
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Machine learning based approaches are being increasingly used for designing decoders for next generation communication systems. One widely used framework is neural belief propagation (NBP), which unfolds the belief propagation (BP) iterations into a deep neural network and the parameters are trained in a data-driven manner. NBP decoders have been shown to improve upon classical decoding algorithms. In this paper, we investigate the generalization capabilities of NBP decoders. Specifically, the generalization gap of a decoder is the difference between empirical and expected bit-error-rate(s). We present new theoretical results which bound this gap and show the dependence on the decoder complexity, in terms of code parameters (blocklength, message length, variable/check node degrees), decoding iterations, and the training dataset size. Results are presented for both regular and irregular parity-check matrices. To the best of our knowledge, this is the first set of theoretical results on generalization performance of neural network based decoders. We present experimental results to show the dependence of generalization gap on the training dataset size, and decoding iterations for different codes.
• Abstract（参考訳）: 機械学習ベースのアプローチは、次世代通信システムのためのデコーダの設計にますます使われている。 広く使われているフレームワークの1つは、信念伝播(NBP)であり、それは信仰伝播(BP)イテレーションをディープニューラルネットワークに展開し、パラメータはデータ駆動方式で訓練される。 NBPデコーダは古典的復号アルゴリズムを改善することが示されている。 本稿では, NBPデコーダの一般化機能について検討する。 具体的には、デコーダの一般化ギャップは、経験的ビットレートと期待されたビットエラーレートの差である。 このギャップを埋めて、コードパラメータ(ブロック長、メッセージ長、変数/チェックノード次数)、復号化イテレーション、トレーニングデータセットサイズなど、デコーダの複雑さに依存することを示す新たな理論的結果を示す。 結果は正規パリティチェック行列と不規則パリティチェック行列の両方に示される。 我々の知る限りでは、ニューラルネットワークに基づくデコーダの一般化性能に関する最初の理論的結果である。 本稿では,トレーニングデータセットサイズに対する一般化ギャップの依存性を示す実験結果と,異なるコードに対する復号化繰り返しを示す。

関連論文リスト

• Graph Neural Networks for Enhanced Decoding of Quantum LDPC Codes [6.175503577352742]
  量子低密度パリティチェック(LDPC)符号に対する微分可能な反復デコーダを提案する。 提案アルゴリズムは,古典的信念伝達(BP)復号段階と中間グラフニューラルネットワーク(GNN)層から構成される。
  論文  参考訳（メタデータ） (2023-10-26T19:56:25Z)
• Optimizing Serially Concatenated Neural Codes with Classical Decoders [8.692972779213932]
  従来の復号アルゴリズムが非自明な実数値ニューラルコードに適用されていることを示す。 BCJRアルゴリズムは完全に微分可能であるので、エンドツーエンドでニューラルエンコーダのトレーニングや微調整が可能である。
  論文  参考訳（メタデータ） (2022-12-20T15:40:08Z)
• A Scalable Graph Neural Network Decoder for Short Block Codes [49.25571364253986]
  エッジ重み付きグラフニューラルネットワーク(EW-GNN)に基づく短絡符号の復号化アルゴリズムを提案する。 EW-GNNデコーダは、繰り返しメッセージパッシング構造を持つタナーグラフで動作する。 EW-GNNデコーダは,復号誤り率の観点から,BP法および深層学習に基づくBP法より優れていることを示す。
  論文  参考訳（メタデータ） (2022-11-13T17:13:12Z)
• Towards Better Out-of-Distribution Generalization of Neural Algorithmic Reasoning Tasks [51.8723187709964]
  ニューラルネットワーク推論タスクのOOD一般化について検討する。 目標は、ディープニューラルネットワークを使用して入出力ペアからアルゴリズムを学ぶことである。
  論文  参考訳（メタデータ） (2022-11-01T18:33:20Z)
• Graph Neural Networks for Channel Decoding [71.15576353630667]
  低密度パリティチェック(LDPC)やBCH符号など、様々な符号化方式の競合復号性能を示す。 ニューラルネットワーク(NN)は、与えられたグラフ上で一般化されたメッセージパッシングアルゴリズムを学習する。 提案するデコーダを,従来のチャネル復号法および最近のディープラーニングに基づく結果と比較した。
  論文  参考訳（メタデータ） (2022-07-29T15:29:18Z)
• COIN++: Data Agnostic Neural Compression [55.27113889737545]
  COIN++は、幅広いデータモダリティをシームレスに扱うニューラルネットワーク圧縮フレームワークである。 様々なデータモダリティを圧縮することで,本手法の有効性を示す。
  論文  参考訳（メタデータ） (2022-01-30T20:12:04Z)
• Adversarial Neural Networks for Error Correcting Codes [76.70040964453638]
  機械学習(ML)モデルの性能と適用性を高めるための一般的なフレームワークを紹介する。 本稿では,MLデコーダと競合する識別器ネットワークを組み合わせることを提案する。 我々のフレームワークはゲーム理論であり、GAN(Generative Adversarial Network)によって動機付けられている。
  論文  参考訳（メタデータ） (2021-12-21T19:14:44Z)
• Cyclically Equivariant Neural Decoders for Cyclic Codes [33.63188063525036]
  循環不変性を利用して,循環符号のニューラルデコーダを提案する。 当社の新しいデコーダは、サイクル符号のデコード時に、従来のニューラルデコーダを一貫して上回る性能を発揮します。 最後に,BCH符号と句読込みRM符号の復号誤差確率を大幅に低減できるリスト復号手順を提案する。
  論文  参考訳（メタデータ） (2021-05-12T09:41:13Z)
• Pruning Neural Belief Propagation Decoders [77.237958592189]
  本稿では,機械学習を用いたBPデコードに対して,過剰完全パリティチェック行列を調整する手法を提案する。 我々は,デコーダの複雑さを低減しつつ,0.27dB,1.5dBのML性能を実現する。
  論文  参考訳（メタデータ） (2020-01-21T12:05:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。