論文の概要: ProductAE: Toward Deep Learning Driven Error-Correction Codes of Large
Dimensions
- arxiv url: http://arxiv.org/abs/2303.16424v1
- Date: Wed, 29 Mar 2023 03:10:09 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-30 16:15:34.156796
- Title: ProductAE: Toward Deep Learning Driven Error-Correction Codes of Large
Dimensions
- Title(参考訳): ProductAE: 大規模次元のディープラーニング駆動エラー訂正コードを目指して
- Authors: Mohammad Vahid Jamali, Hamid Saber, Homayoon Hatami, Jung Hyun Bae
- Abstract要約: Product Autoencoder (ProductAE) は、ディープラーニング駆動(エンコーダ、デコーダ)ペアの計算効率のよいファミリーである。
我々は、古典的な製品コードからアイデアを構築し、より小さなコードコンポーネントを使って大きなニューラルコードを構築することを提案する。
トレーニング結果は,有意義なパフォーマンス向上を伴う,$k = 300$bitsの大きさのProductAEsのトレーニングに成功したことを示す。
- 参考スコア(独自算出の注目度): 9.846418665169953
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While decades of theoretical research have led to the invention of several
classes of error-correction codes, the design of such codes is an extremely
challenging task, mostly driven by human ingenuity. Recent studies demonstrate
that such designs can be effectively automated and accelerated via tools from
machine learning (ML), thus enabling ML-driven classes of error-correction
codes with promising performance gains compared to classical designs. A
fundamental challenge, however, is that it is prohibitively complex, if not
impossible, to design and train fully ML-driven encoder and decoder pairs for
large code dimensions. In this paper, we propose Product Autoencoder
(ProductAE) -- a computationally-efficient family of deep learning driven
(encoder, decoder) pairs -- aimed at enabling the training of relatively large
codes (both encoder and decoder) with a manageable training complexity. We
build upon ideas from classical product codes and propose constructing large
neural codes using smaller code components. ProductAE boils down the complex
problem of training the encoder and decoder for a large code dimension $k$ and
blocklength $n$ to less-complex sub-problems of training encoders and decoders
for smaller dimensions and blocklengths. Our training results show successful
training of ProductAEs of dimensions as large as $k = 300$ bits with meaningful
performance gains compared to state-of-the-art classical and neural designs.
Moreover, we demonstrate excellent robustness and adaptivity of ProductAEs to
channel models different than the ones used for training.
- Abstract(参考訳): 何十年もの理論的研究が、いくつかの誤り訂正符号の発明につながったが、そのような符号の設計は、主に人間の創造性によって、非常に困難な課題である。
近年の研究では、このような設計を機械学習(ML)のツールで効果的に自動化し、高速化できることが実証されている。
しかし、基本的な課題は、ML駆動のエンコーダとデコーダのペアを大規模なコード次元で設計し、訓練することは不可能ではないが、違法に複雑であることである。
本稿では、比較的大きなコード(エンコーダとデコーダの両方)を、管理可能なトレーニング複雑性でトレーニング可能にすることを目的とした、ディープラーニング駆動(エンコーダ、デコーダ)ペアの計算効率の高いファミリーであるproduct autoencoder(productae)を提案する。
我々は、古典的な製品コードからアイデアを構築し、より小さなコードコンポーネントを使って大きなニューラルコードを構築することを提案する。
ProductAEは、エンコーダとデコーダを、大きなコードディメンション$k$とブロック長$n$で訓練する複雑な問題を、より小さなディメンジョンとブロック長のためのトレーニングエンコーダとデコーダの、より複雑なサブプロブレムに導いてくれる。
トレーニングの結果、最先端のクラシックやニューラルデザインと比較して、k = 300$bitのトレーニングが成功し、有意義なパフォーマンス向上が得られました。
さらに,ProductAEsがトレーニングに使用するものとは異なるチャネルモデルに対して,優れた堅牢性と適応性を示す。
関連論文リスト
- Code Representation Learning At Scale [75.04686476303436]
2段階の事前学習スキームを用いて,大量のコードデータを用いてコード表現学習を行う。
まず、マスキング言語モデリングにおけるランダム性と、プログラミング言語の構造的側面の両方を活用して、エンコーダを訓練する。
そして、教師なしの方法で強陰性かつ強正に構築された対照的な学習を通して表現を強化する。
論文 参考訳(メタデータ) (2024-02-02T22:19:15Z) - StepCoder: Improve Code Generation with Reinforcement Learning from
Compiler Feedback [58.20547418182074]
2つの主要コンポーネントからなるコード生成の新しいフレームワークであるStepCoderを紹介します。
CCCSは、長いシーケンスのコード生成タスクをCurriculum of Code Completion Subtaskに分割することで、探索課題に対処する。
FGOは、未実行のコードセグメントをマスクすることでのみモデルを最適化し、Fine-Grained Optimizationを提供する。
提案手法は,出力空間を探索し,対応するベンチマークにおいて最先端の手法より優れた性能を発揮する。
論文 参考訳(メタデータ) (2024-02-02T13:14:31Z) - Small Quantum Codes from Algebraic Extensions of Generalized Bicycle
Codes [4.299840769087443]
量子LDPC符号は、消滅する符号化率を持つ表面符号から、一定の符号化率と線形距離を持つ非常に有望な符号まで様々である。
我々は、一般化自転車(GB)符号として知られる量子LDPC符号のサブセットにインスパイアされた小さな量子符号を考案した。
論文 参考訳(メタデータ) (2024-01-15T10:38:13Z) - qecGPT: decoding Quantum Error-correcting Codes with Generative
Pre-trained Transformers [5.392298820599664]
生成モデルを用いて量子誤り訂正符号を復号するフレームワークを提案する。
自動回帰ニューラルネットワーク、特にトランスフォーマーを用いて、論理演算子とシンドロームの結合確率を学習する。
我々のフレームワークは汎用的であり、様々なトポロジを持つ任意のエラーモデルや量子コードに適用できる。
論文 参考訳(メタデータ) (2023-07-18T07:34:02Z) - CodeT5+: Open Code Large Language Models for Code Understanding and
Generation [72.1638273937025]
大きな言語モデル (LLM) は膨大なソースコードで事前訓練されており、コードインテリジェンスにおいて顕著な進歩を遂げている。
CodeT5+は、コンポーネントモジュールを柔軟に組み合わせて、幅広い下流のコードタスクに適合させることができるコードのためのエンコーダ-デコーダLLMのファミリーである。
我々は、ゼロショット、微調整、命令調整を含む20以上のコード関連ベンチマークでCodeT5+を広範囲に評価した。
論文 参考訳(メタデータ) (2023-05-13T14:23:07Z) - Machine Learning-Aided Efficient Decoding of Reed-Muller Subcodes [59.55193427277134]
Reed-Muller (RM) 符号は、一般的なバイナリインプットメモリレス対称チャネルの容量を達成する。
RM符号は制限されたレートのみを許容する。
効率的なデコーダは、RM符号に対して有限長で利用可能である。
論文 参考訳(メタデータ) (2023-01-16T04:11:14Z) - CodeRL: Mastering Code Generation through Pretrained Models and Deep
Reinforcement Learning [92.36705236706678]
CodeRLは、事前訓練されたLMと深層強化学習によるプログラム合成タスクのための新しいフレームワークである。
推論中、我々は重要なサンプリング戦略を持つ新しい生成手順を導入する。
モデルバックボーンについては,CodeT5のエンコーダデコーダアーキテクチャを拡張し,学習目標を拡張した。
論文 参考訳(メタデータ) (2022-07-05T02:42:15Z) - Boost decoding performance of finite geometry LDPC codes with deep
learning tactics [3.1519370595822274]
有限幾何LDPC符号のクラスに対して,低複雑かつ高性能なデコーダを求める。
高品質なトレーニングデータを効果的に生成する方法について詳述する。
論文 参考訳(メタデータ) (2022-05-01T14:41:16Z) - Adversarial Neural Networks for Error Correcting Codes [76.70040964453638]
機械学習(ML)モデルの性能と適用性を高めるための一般的なフレームワークを紹介する。
本稿では,MLデコーダと競合する識別器ネットワークを組み合わせることを提案する。
我々のフレームワークはゲーム理論であり、GAN(Generative Adversarial Network)によって動機付けられている。
論文 参考訳(メタデータ) (2021-12-21T19:14:44Z) - ProductAE: Towards Training Larger Channel Codes based on Neural Product
Codes [9.118706387430885]
ディープラーニング技術を通じて比較的大きなニューラルチャネルコードを設計し、訓練することは、違法に複雑である。
本稿では,ディープラーニング駆動型(エンコーダ,デコーダ)ペアの計算効率の良いファミリーであるProductAEsを構築する。
我々は、パラメータのコード(100,225)$とパラメータの中間長コード(196,441)$に対して、SNR(Signal-to-noise ratio)のあらゆる範囲において、大きな利得を示す。
論文 参考訳(メタデータ) (2021-10-09T06:00:40Z) - A Reinforcement Learning Based Encoder-Decoder Framework for Learning
Stock Trading Rules [0.8594140167290099]
楽器の長期の原価から単一楽器取引戦略を学習するための新しいエンド・ツー・エンドモデルを提案する。
エンコーダのパラメータとデコーダ構造が一緒に学習され、エンコーダはデコーダDRLのタスクに適合した機能を抽出することができる。
実験の結果, 提案モデルは, 動的環境において他の最先端モデルよりも優れていることがわかった。
論文 参考訳(メタデータ) (2021-01-08T13:19:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。