論文の概要: Component Training of Turbo Autoencoders
- arxiv url: http://arxiv.org/abs/2305.09216v1
- Date: Tue, 16 May 2023 06:48:40 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-17 16:06:08.137591
- Title: Component Training of Turbo Autoencoders
- Title（参考訳）: ターボオートエンコーダの部品訓練
- Authors: Jannis Clausius, Marvin Geiselhart and Stephan ten Brink
- Abstract要約: ターボオートコーダのコンポーネントオートエンコーダのガウス事前(TGP)による独立したトレーニングにより、より高速で一貫性のあるトレーニングが可能になる。
本稿では, 外部情報伝達 (EXIT) チャートを所望の振る舞いに適合させることにより, より大きなメッセージ長へのスケーリングを実現することを提案する。
- 参考スコア（独自算出の注目度）: 8.692972779213932
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Isolated training with Gaussian priors (TGP) of the component autoencoders of
turbo-autoencoder architectures enables faster, more consistent training and
better generalization to arbitrary decoding iterations than training based on
deep unfolding. We propose fitting the components via extrinsic information
transfer (EXIT) charts to a desired behavior which enables scaling to larger
message lengths ($k \approx 1000$) while retaining competitive performance. To
the best of our knowledge, this is the first autoencoder that performs close to
classical codes in this regime. Although the binary cross-entropy (BCE) loss
function optimizes the bit error rate (BER) of the components, the design via
EXIT charts enables to focus on the block error rate (BLER). In serially
concatenated systems the component-wise TGP approach is well known for inner
components with a fixed outer binary interface, e.g., a learned inner code or
equalizer, with an outer binary error correcting code. In this paper we extend
the component training to structures with an inner and outer autoencoder, where
we propose a new 1-bit quantization strategy for the encoder outputs based on
the underlying communication problem. Finally, we discuss the model complexity
of the learned components during design time (training) and inference and show
that the number of weights in the encoder can be reduced by 99.96 %.
- Abstract（参考訳）: ターボオートエンコーダアーキテクチャのコンポーネントオートエンコーダのgaussian priors(tgp)による分離トレーニングにより、より高速で一貫性のあるトレーニングと、深い展開に基づくトレーニングよりも任意のデコードイテレーションへの一般化が可能になる。
我々は,競合性能を維持しつつ,より大きなメッセージ長 (約1,000$) まで拡張可能な望ましい動作に,extrinsic information transfer (exit) チャートを通じてコンポーネントを適合させることを提案する。
私たちの知る限りでは、これはこの制度で古典的なコードに近い性能を持つ最初のオートエンコーダです。
バイナリクロスエントロピー(BCE)損失関数はコンポーネントのビットエラー率(BER)を最適化するが、EXITチャートによる設計はブロックエラー率(BLER)に集中することができる。
直列連結システムでは、コンポーネント単位のtgpアプローチは、外部バイナリインターフェースが固定された内部コンポーネント、例えば学習された内部コードやイコライザ、外部バイナリエラー訂正コードでよく知られている。
本稿では、内部および外部のオートエンコーダを持つ構造にコンポーネントトレーニングを拡張し、基礎となる通信問題に基づくエンコーダ出力のための新しい1ビット量子化戦略を提案する。
最後に、設計時間(トレーニング)と推論における学習成分のモデル複雑性について論じ、エンコーダの重みの数を99.96 %削減できることを示す。
関連論文リスト
- On the Design and Performance of Machine Learning Based Error Correcting Decoders [3.8289109929360245]
まず, 単一ラベル型ニューラルネットワーク (SLNN) とマルチラベル型ニューラルネットワーク (MLNN) のデコーダについて検討した。
次に、エラー訂正符号変換器(ECCT)とクロスアテンションメッセージパッシング変換器(CrossMPT)という、2つのトランスフォーマーベースのデコーダに注目します。
論文 参考訳（メタデータ） (2024-10-21T11:23:23Z) - Accelerating Error Correction Code Transformers [56.75773430667148]
本稿では,トランスを用いたデコーダの高速化手法を提案する。
最新のハードウェアでは、90%の圧縮比を実現し、算術演算エネルギー消費を少なくとも224倍削減する。
論文 参考訳（メタデータ） (2024-10-08T11:07:55Z) - Learning Linear Block Error Correction Codes [62.25533750469467]
本稿では,バイナリ線形ブロック符号の統一エンコーダデコーダトレーニングを初めて提案する。
また,コード勾配の効率的なバックプロパゲーションのために,自己注意マスキングを行うトランスフォーマーモデルを提案する。
論文 参考訳（メタデータ） (2024-05-07T06:47:12Z) - Efficient Encoder-Decoder Transformer Decoding for Decomposable Tasks [53.550782959908524]
エンコーダ・デコーダモデルのための新しい構成を導入し、構造化された出力と分解可能なタスクの効率を改善する。
提案手法は,インプットを一度エンコードして並列にデコードすることで,トレーニングと推論の効率を向上する。
論文 参考訳（メタデータ） (2024-03-19T19:27:23Z) - Coding for Gaussian Two-Way Channels: Linear and Learning-Based
Approaches [28.98777190628006]
線形符号化と学習ベース符号化の2つの異なる双方向符号化方式を提案する。
学習に基づくコーディングには、新しいリカレントニューラルネットワーク(RNN)ベースのコーディングアーキテクチャを導入する。
我々の双方向符号化方式は、従来のチャネル符号化方式よりも格段に優れている。
論文 参考訳（メタデータ） (2023-12-31T12:40:18Z) - Practical Conformer: Optimizing size, speed and flops of Conformer for
on-Device and cloud ASR [67.63332492134332]
我々は、デバイス上の制約を満たすのに十分小さく、TPUを高速に推論できる最適化されたコンバータを設計する。
提案するエンコーダは、デバイス上では強力なスタンドアロンエンコーダとして、また高性能なASRパイプラインの第1部として利用することができる。
論文 参考訳（メタデータ） (2023-03-31T23:30:48Z) - Graph Neural Networks for Channel Decoding [71.15576353630667]
低密度パリティチェック(LDPC)やBCH符号など、様々な符号化方式の競合復号性能を示す。
ニューラルネットワーク(NN)は、与えられたグラフ上で一般化されたメッセージパッシングアルゴリズムを学習する。
提案するデコーダを,従来のチャネル復号法および最近のディープラーニングに基づく結果と比較した。
論文 参考訳（メタデータ） (2022-07-29T15:29:18Z) - Error Correction Code Transformer [92.10654749898927]
本稿では,トランスフォーマーアーキテクチャを任意のブロック長で線形符号のソフトデコードに拡張することを提案する。
我々は,各チャネルの出力次元を高次元に符号化し,個別に処理すべきビット情報のより良い表現を行う。
提案手法は、トランスフォーマーの極端なパワーと柔軟性を示し、既存の最先端のニューラルデコーダを、その時間的複雑さのごく一部で大きなマージンで上回る。
論文 参考訳（メタデータ） (2022-03-27T15:25:58Z) - Capacity-Approaching Autoencoders for Communications [4.86067125387358]
オートエンコーダを訓練する現在のアプローチは、クロスエントロピー損失関数の使用に依存している。
本稿では,チャネル容量の推定値を計算し,それに近づく最適な符号化信号を構築する手法を提案する。
論文 参考訳（メタデータ） (2020-09-11T08:19:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。