論文の概要: Design of Capacity-Approaching Low-Density Parity-Check Codes using
Recurrent Neural Networks
- arxiv url: http://arxiv.org/abs/2001.01249v1
- Date: Sun, 5 Jan 2020 14:46:47 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-14 07:33:15.144264
- Title: Design of Capacity-Approaching Low-Density Parity-Check Codes using
Recurrent Neural Networks
- Title(参考訳): リカレントニューラルネットワークを用いたキャパシティアタッチング低密度パリティチェック符号の設計
- Authors: Eleni Nisioti and Nikolaos Thomos
- Abstract要約: LDPC符号の構造を特徴付けることによって,次数分布の係数を決定する手法を提案する。
我々は、我々のRNNアーキテクチャをニューラル密度進化(NDE)と呼び、最適な設計に対応するRNNの重みを決定する。
我々は、NDEの複雑さと最適性を理論的に分析し、微分進化を利用する従来の設計手法と比較する。
- 参考スコア(独自算出の注目度): 5.317548969642376
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we model Density Evolution (DE) using Recurrent Neural
Networks (RNNs) with the aim of designing capacity-approaching Irregular
Low-Density Parity-Check (LDPC) codes for binary erasure channels. In
particular, we present a method for determining the coefficients of the degree
distributions, characterizing the structure of an LDPC code. We refer to our
RNN architecture as Neural Density Evolution (NDE) and determine the weights of
the RNN that correspond to optimal designs by minimizing a loss function that
enforces the properties of asymptotically optimal design, as well as the
desired structural characteristics of the code. This renders the LDPC design
process highly configurable, as constraints can be added to meet applications'
requirements by means of modifying the loss function. In order to train the
RNN, we generate data corresponding to the expected channel noise. We analyze
the complexity and optimality of NDE theoretically, and compare it with
traditional design methods that employ differential evolution. Simulations
illustrate that NDE improves upon differential evolution both in terms of
asymptotic performance and complexity. Although we focus on asymptotic
settings, we evaluate designs found by NDE for finite codeword lengths and
observe that performance remains satisfactory across a variety of channels.
- Abstract(参考訳): 本稿では、リカレントニューラルネットワーク(RNN)を用いた密度進化(DE)をモデル化し、二元消去チャネルのためのキャパシティ適応不規則な低密度パリティ・チェック(LDPC)符号を設計する。
特に、LDPC符号の構造を特徴付けることにより、次数分布の係数を決定する方法を提案する。
我々は、我々のRNNアーキテクチャをニューラル密度進化(NDE)と呼び、漸近的最適設計の特性を強制する損失関数を最小化し、最適な設計に対応するRNNの重みを決定する。
これにより、LDPC設計プロセスは、損失関数を変更することで、アプリケーションの要求を満たすために制約を加えることができるため、高度に設定可能になります。
RNNを訓練するために、予測チャネルノイズに対応するデータを生成する。
我々はNDEの複雑さと最適性を理論的に分析し、微分進化を利用する従来の設計手法と比較する。
シミュレーションでは、NDEは漸近的性能と複雑性の両方の観点から差分進化を改善する。
我々は、漸近的な設定に重点を置いているが、NDEが有限長のコードワードで発見した設計を評価し、様々なチャネルで性能が良好であることを観察する。
関連論文リスト
- Dynamically configured physics-informed neural network in topology
optimization applications [4.403140515138818]
物理インフォームドニューラルネットワーク(PINN)は、前方問題を解決する際に大量のデータを生成するのを避けることができる。
動的に構成された PINN-based Topology Optimization (DCPINN-TO) 法を提案する。
変位予測と最適化結果の精度は,DCPINN-TO法が効率的かつ効率的であることを示している。
論文 参考訳(メタデータ) (2023-12-12T05:35:30Z) - Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。
よりスムーズな関数との補間により、より一般化できることを示す。
論文 参考訳(メタデータ) (2023-05-30T19:37:44Z) - Implicit Stochastic Gradient Descent for Training Physics-informed
Neural Networks [51.92362217307946]
物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。
PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。
本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
論文 参考訳(メタデータ) (2023-03-03T08:17:47Z) - CR-LSO: Convex Neural Architecture Optimization in the Latent Space of
Graph Variational Autoencoder with Input Convex Neural Networks [7.910915721525413]
潜時空間最適化(LSO)に基づくニューラルアーキテクチャ探索(NAS)法では、離散的ニューラルアーキテクチャを連続潜時空間に埋め込むために深層生成モデルを訓練する。
本稿では,空間の学習過程を正規化することを目的とした凸性アーキテクチャ正規化空間(CRLSO)法について述べる。
3つのNASベンチマークによる実験結果から,CR-LSOは計算複雑性と性能の両面で競合評価結果が得られることが示された。
論文 参考訳(メタデータ) (2022-11-11T01:55:11Z) - SInGE: Sparsity via Integrated Gradients Estimation of Neuron Relevance [37.82255888371488]
本稿では,このニューロン除去への経路の勾配変化の積分として,各ニューロンの関連性を定義した新しい勾配解析基準を提案する。
提案手法は,いくつかのデータセットやアーキテクチャ,さらにはSInGEと呼ばれるプルーニングシナリオにおいて,既存の最先端のプルーニング手法よりも大幅に優れていることを示す。
論文 参考訳(メタデータ) (2022-07-08T18:27:42Z) - Deep Architecture Connectivity Matters for Its Convergence: A
Fine-Grained Analysis [94.64007376939735]
我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。
接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
論文 参考訳(メタデータ) (2022-05-11T17:43:54Z) - Robust Topology Optimization Using Variational Autoencoders [2.580765958706854]
本研究では、ニューラルネットワークサロゲートを用いて、サロゲートベースの最適化によるより高速なソリューションアプローチを実現する。
また、高次元設計空間を低次元に変換するための変分オートエンコーダ(VAE)も構築する。
結果として得られる勾配に基づく最適化アルゴリズムは、トレーニングセットで見られるものよりもロバストなコンプライアンスが低い最適設計を生成する。
論文 参考訳(メタデータ) (2021-07-19T20:40:51Z) - Efficient Micro-Structured Weight Unification and Pruning for Neural
Network Compression [56.83861738731913]
ディープニューラルネットワーク(DNN)モデルは、特にリソース制限されたデバイスにおいて、実用的なアプリケーションに不可欠である。
既往の非構造的あるいは構造化された重量刈り法は、推論を真に加速することはほとんど不可能である。
ハードウェア互換のマイクロ構造レベルでの一般化された重み統一フレームワークを提案し,高い圧縮と加速度を実現する。
論文 参考訳(メタデータ) (2021-06-15T17:22:59Z) - FactorizeNet: Progressive Depth Factorization for Efficient Network
Architecture Exploration Under Quantization Constraints [93.4221402881609]
量子化制約下での効率的なCNNアーキテクチャ探索のためのプログレッシブ・ディープ・ファクタライズ・ストラテジーを導入する。
アルゴリズムによって深度分解の粒度を漸進的に増大させることで,層状分布の微細で低レベルな解析が可能となる。
このようなプログレッシブな深度分解戦略は、最適深度分解マクロ構造設計の効率的な同定を可能にする。
論文 参考訳(メタデータ) (2020-11-30T07:12:26Z) - A Dynamical View on Optimization Algorithms of Overparameterized Neural
Networks [23.038631072178735]
我々は、一般的に使用される最適化アルゴリズムの幅広いクラスについて考察する。
その結果、ニューラルネットワークの収束挙動を利用することができる。
このアプローチは他の最適化アルゴリズムやネットワーク理論にも拡張できると考えています。
論文 参考訳(メタデータ) (2020-10-25T17:10:22Z) - Modeling from Features: a Mean-field Framework for Over-parameterized
Deep Neural Networks [54.27962244835622]
本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。
このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。
本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
論文 参考訳(メタデータ) (2020-07-03T01:37:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。