論文の概要: Capacity-Approaching Autoencoders for Communications
- arxiv url: http://arxiv.org/abs/2009.05273v1
- Date: Fri, 11 Sep 2020 08:19:06 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-19 22:16:35.372018
- Title: Capacity-Approaching Autoencoders for Communications
- Title（参考訳）: 通信用キャパシティ応用オートエンコーダ
- Authors: Nunzio A. Letizia, Andrea M. Tonello
- Abstract要約: オートエンコーダを訓練する現在のアプローチは、クロスエントロピー損失関数の使用に依存している。
本稿では,チャネル容量の推定値を計算し,それに近づく最適な符号化信号を構築する手法を提案する。
- 参考スコア（独自算出の注目度）: 4.86067125387358
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The autoencoder concept has fostered the reinterpretation and the design of
modern communication systems. It consists of an encoder, a channel, and a
decoder block which modify their internal neural structure in an end-to-end
learning fashion. However, the current approach to train an autoencoder relies
on the use of the cross-entropy loss function. This approach can be prone to
overfitting issues and often fails to learn an optimal system and signal
representation (code). In addition, less is known about the autoencoder ability
to design channel capacity-approaching codes, i.e., codes that maximize the
input-output information under a certain power constraint. The task being even
more formidable for an unknown channel for which the capacity is unknown and
therefore it has to be learnt.
In this paper, we address the challenge of designing capacity-approaching
codes by incorporating the presence of the communication channel into a novel
loss function for the autoencoder training. In particular, we exploit the
mutual information between the transmitted and received signals as a
regularization term in the cross-entropy loss function, with the aim of
controlling the amount of information stored. By jointly maximizing the mutual
information and minimizing the cross-entropy, we propose a methodology that a)
computes an estimate of the channel capacity and b) constructs an optimal coded
signal approaching it. Several simulation results offer evidence of the
potentiality of the proposed method.
- Abstract（参考訳）: オートエンコーダの概念は、現代の通信システムの再解釈と設計を促進する。
エンコーダ、チャネル、デコーダブロックで構成され、その内部神経構造をエンドツーエンドの学習方法で修正する。
しかし、現在のオートエンコーダの訓練方法は、クロスエントロピー損失関数の使用に依存している。
このアプローチは問題にオーバーフィットしがちであり、しばしば最適なシステムや信号表現(コード)を学ぶのに失敗する。
さらに、ある電力制約の下で入力出力情報を最大化する、チャネルキャパシティ適応符号を設計するオートエンコーダの能力についてはあまり知られていない。
このタスクは、キャパシティが不明な未知のチャネルに対してさらに正当であり、それゆえ学習する必要がある。
本稿では,自動エンコーダ訓練において,通信チャネルの存在を新たな損失関数に組み込むことで,キャパシティ適応符号を設計することの課題に対処する。
特に,送信信号と受信信号の相互情報を相互エントロピー損失関数の正規化項として利用し,記憶されている情報の量を制御することを目的とした。
相互情報を最大化し,相互エントロピーを最小化する手法を提案する。
a) チャネル容量の推定値を計算し、
b) 接近する最適な符号化信号を構築すること。
いくつかのシミュレーション結果は,提案手法の可能性を示すものである。
関連論文リスト
- Learning Linear Block Error Correction Codes [62.25533750469467]
本稿では,バイナリ線形ブロック符号の統一エンコーダデコーダトレーニングを初めて提案する。
また,コード勾配の効率的なバックプロパゲーションのために,自己注意マスキングを行うトランスフォーマーモデルを提案する。
論文 参考訳（メタデータ） (2024-05-07T06:47:12Z) - Coding for Gaussian Two-Way Channels: Linear and Learning-Based
Approaches [28.98777190628006]
線形符号化と学習ベース符号化の2つの異なる双方向符号化方式を提案する。
学習に基づくコーディングには、新しいリカレントニューラルネットワーク(RNN)ベースのコーディングアーキテクチャを導入する。
我々の双方向符号化方式は、従来のチャネル符号化方式よりも格段に優れている。
論文 参考訳（メタデータ） (2023-12-31T12:40:18Z) - Knowledge Distillation Based Semantic Communications For Multiple Users [10.770552656390038]
本稿では,複数のユーザを対象としたセマンティックコミュニケーション(SemCom)システムについて考察する。
本稿では,トランスフォーマーベースのエンコーダデコーダをセマンティックエンコーダデコーダとして実装し,チャネルエンコーダデコーダとして完全に接続されたニューラルネットワークを実装した知識蒸留(KD)システムを提案する。
数値計算の結果,KDは予期せぬ干渉に適用した場合のロバスト性や一般化能力を大幅に向上し,モデルサイズを圧縮した場合の性能損失を低減できることがわかった。
論文 参考訳（メタデータ） (2023-11-23T03:28:14Z) - Is Semantic Communications Secure? A Tale of Multi-Domain Adversarial
Attacks [70.51799606279883]
セマンティック・コミュニケーションのためのディープ・ニューラル・ネットワーク(DNN)に対するテスト・タイム・アタックを導入する。
再建損失が低い場合でも,伝達情報のセマンティクスを変更可能であることを示す。
論文 参考訳（メタデータ） (2022-12-20T17:13:22Z) - Fault-tolerant Coding for Entanglement-Assisted Communication [46.0607942851373]
本稿では,量子チャネルに対するフォールトトレラントチャネル符号化の研究について述べる。
我々は、フォールトトレラント量子コンピューティングの手法を用いて、このシナリオで古典的および量子的情報を送信するための符号化定理を確立する。
特に,ゲートエラーがゼロに近づくと,耐故障能力が通常のキャパシティに近づくことを示す。
論文 参考訳（メタデータ） (2022-10-06T14:09:16Z) - Denoising Diffusion Error Correction Codes [92.10654749898927]
近年、ニューラルデコーダは古典的デコーダ技術に対する優位性を実証している。
最近の最先端のニューラルデコーダは複雑で、多くのレガシデコーダの重要な反復的スキームが欠如している。
本稿では,任意のブロック長の線形符号のソフトデコードにデノナイズ拡散モデルを適用することを提案する。
論文 参考訳（メタデータ） (2022-09-16T11:00:50Z) - Error Correction Code Transformer [92.10654749898927]
本稿では,トランスフォーマーアーキテクチャを任意のブロック長で線形符号のソフトデコードに拡張することを提案する。
我々は,各チャネルの出力次元を高次元に符号化し,個別に処理すべきビット情報のより良い表現を行う。
提案手法は、トランスフォーマーの極端なパワーと柔軟性を示し、既存の最先端のニューラルデコーダを、その時間的複雑さのごく一部で大きなマージンで上回る。
論文 参考訳（メタデータ） (2022-03-27T15:25:58Z) - Adversarial Neural Networks for Error Correcting Codes [76.70040964453638]
機械学習(ML)モデルの性能と適用性を高めるための一般的なフレームワークを紹介する。
本稿では,MLデコーダと競合する識別器ネットワークを組み合わせることを提案する。
我々のフレームワークはゲーム理論であり、GAN(Generative Adversarial Network)によって動機付けられている。
論文 参考訳（メタデータ） (2021-12-21T19:14:44Z) - Neural Communication Systems with Bandwidth-limited Channel [9.332315420944836]
情報損失にもかかわらずメッセージを確実に送信することは情報理論の中核的な問題である。
本研究では,帯域幅制限チャネル(BWLC)を用いた符号化学習について検討する。
論文 参考訳（メタデータ） (2020-03-30T11:58:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。