論文の概要: Infomax Neural Joint Source-Channel Coding via Adversarial Bit Flip

• arxiv url: http://arxiv.org/abs/2004.01454v1
• Date: Fri, 3 Apr 2020 10:00:02 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-17 03:51:57.871087
• Title: Infomax Neural Joint Source-Channel Coding via Adversarial Bit Flip
• Title（参考訳）: 逆ビットフリップによるInfomaxニューラルジョイントソースチャネル符号化
• Authors: Yuxuan Song, Minkai Xu, Lantao Yu, Hao Zhou, Shuo Shao, Yong Yu
• Abstract要約: 本稿では、ニューラルジョイント・ソース・チャネル符号化方式の安定性と堅牢性を改善するために、Infomax Adversarial-Bit-Flip (IABF) と呼ばれる新しい正規化手法を提案する。 我々のIABFは、圧縮と誤り訂正のベンチマークの両方で最先端のパフォーマンスを達成でき、ベースラインをかなりの差で上回ることができる。
• 参考スコア（独自算出の注目度）: 41.28049430114734
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Although Shannon theory states that it is asymptotically optimal to separate the source and channel coding as two independent processes, in many practical communication scenarios this decomposition is limited by the finite bit-length and computational power for decoding. Recently, neural joint source-channel coding (NECST) is proposed to sidestep this problem. While it leverages the advancements of amortized inference and deep learning to improve the encoding and decoding process, it still cannot always achieve compelling results in terms of compression and error correction performance due to the limited robustness of its learned coding networks. In this paper, motivated by the inherent connections between neural joint source-channel coding and discrete representation learning, we propose a novel regularization method called Infomax Adversarial-Bit-Flip (IABF) to improve the stability and robustness of the neural joint source-channel coding scheme. More specifically, on the encoder side, we propose to explicitly maximize the mutual information between the codeword and data; while on the decoder side, the amortized reconstruction is regularized within an adversarial framework. Extensive experiments conducted on various real-world datasets evidence that our IABF can achieve state-of-the-art performances on both compression and error correction benchmarks and outperform the baselines by a significant margin.
• Abstract（参考訳）: シャノン理論では、ソースとチャネル符号化を2つの独立したプロセスとして分離することは漸近的に最適であるが、多くの実用的な通信シナリオでは、この分解は有限ビット長と復号のための計算能力によって制限される。 近年,ニューラルジョイントソースチャネル符号化(NECST)が提案されている。 暗黙的推論と深層学習の進歩を活用して符号化と復号化のプロセスを改善するが、学習した符号化ネットワークの堅牢性に限界があるため、圧縮と誤り訂正性能の点で常に説得力のある結果を得ることはできない。 本稿では,ニューラルジョイント・ソース・チャネル符号化と離散表現学習の関連性から,ニューラルジョイント・ソース・チャネル符号化方式の安定性と堅牢性を向上させるために,Infomax Adversarial-Bit-Flip (IABF) と呼ばれる新たな正規化手法を提案する。 より具体的には、エンコーダ側では、コードワードとデータ間の相互情報を明示的に最大化することを提案し、デコーダ側では、償却された再構成は敵のフレームワーク内で規則化される。 様々な実世界のデータセットで実施された大規模な実験により、IABFは圧縮と誤り訂正ベンチマークの両方で最先端のパフォーマンスを達成でき、ベースラインをかなりの差で上回ることが証明された。

関連論文リスト

• Learning Linear Block Error Correction Codes [62.25533750469467]
  本稿では,バイナリ線形ブロック符号の統一エンコーダデコーダトレーニングを初めて提案する。 また,コード勾配の効率的なバックプロパゲーションのために,自己注意マスキングを行うトランスフォーマーモデルを提案する。
  論文  参考訳（メタデータ） (2024-05-07T06:47:12Z)
• Coding for Gaussian Two-Way Channels: Linear and Learning-Based Approaches [28.98777190628006]
  線形符号化と学習ベース符号化の2つの異なる双方向符号化方式を提案する。 学習に基づくコーディングには、新しいリカレントニューラルネットワーク(RNN)ベースのコーディングアーキテクチャを導入する。 我々の双方向符号化方式は、従来のチャネル符号化方式よりも格段に優れている。
  論文  参考訳（メタデータ） (2023-12-31T12:40:18Z)
• Joint Hierarchical Priors and Adaptive Spatial Resolution for Efficient Neural Image Compression [11.25130799452367]
  ニューラル画像圧縮(NIC)のための絶対画像圧縮変換器(ICT)を提案する。 ICTは、潜在表現からグローバルコンテキストとローカルコンテキストの両方をキャプチャし、量子化された潜在表現の分布をパラメータ化する。 我々のフレームワークは、多目的ビデオ符号化(VVC)参照符号化(VTM-18.0)とニューラルスウィンT-ChARMに対する符号化効率とデコーダ複雑性のトレードオフを大幅に改善する。
  論文  参考訳（メタデータ） (2023-07-05T13:17:14Z)
• Deep Joint Source-Channel Coding with Iterative Source Error Correction [11.41076729592696]
  深層学習に基づくジョイントソースチャネル符号(Deep J SCC)に対する反復的ソース誤り訂正(ISEC)復号法を提案する。 チャネルを通じて受信されたノイズワードに対して、Deep J SCCエンコーダとデコーダペアを使用して、コードを反復的に更新する。 提案手法は, チャネルノイズ特性がトレーニング時に使用するものと一致しない場合に, ベースラインよりも信頼性の高いソース再構成結果を生成する。
  論文  参考訳（メタデータ） (2023-02-17T22:50:58Z)
• Denoising Diffusion Error Correction Codes [92.10654749898927]
  近年、ニューラルデコーダは古典的デコーダ技術に対する優位性を実証している。 最近の最先端のニューラルデコーダは複雑で、多くのレガシデコーダの重要な反復的スキームが欠如している。 本稿では,任意のブロック長の線形符号のソフトデコードにデノナイズ拡散モデルを適用することを提案する。
  論文  参考訳（メタデータ） (2022-09-16T11:00:50Z)
• Graph Neural Networks for Channel Decoding [71.15576353630667]
  低密度パリティチェック(LDPC)やBCH符号など、様々な符号化方式の競合復号性能を示す。 ニューラルネットワーク(NN)は、与えられたグラフ上で一般化されたメッセージパッシングアルゴリズムを学習する。 提案するデコーダを,従来のチャネル復号法および最近のディープラーニングに基づく結果と比較した。
  論文  参考訳（メタデータ） (2022-07-29T15:29:18Z)
• Error Correction Code Transformer [92.10654749898927]
  本稿では,トランスフォーマーアーキテクチャを任意のブロック長で線形符号のソフトデコードに拡張することを提案する。 我々は,各チャネルの出力次元を高次元に符号化し,個別に処理すべきビット情報のより良い表現を行う。 提案手法は、トランスフォーマーの極端なパワーと柔軟性を示し、既存の最先端のニューラルデコーダを、その時間的複雑さのごく一部で大きなマージンで上回る。
  論文  参考訳（メタデータ） (2022-03-27T15:25:58Z)
• Adversarial Neural Networks for Error Correcting Codes [76.70040964453638]
  機械学習(ML)モデルの性能と適用性を高めるための一般的なフレームワークを紹介する。 本稿では,MLデコーダと競合する識別器ネットワークを組み合わせることを提案する。 我々のフレームワークはゲーム理論であり、GAN(Generative Adversarial Network)によって動機付けられている。
  論文  参考訳（メタデータ） (2021-12-21T19:14:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。