論文の概要: Simple Modulo can Significantly Outperform Deep Learning-based Deepcode
- arxiv url: http://arxiv.org/abs/2008.01686v2
- Date: Wed, 5 Aug 2020 16:58:35 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-02 23:47:18.037025
- Title: Simple Modulo can Significantly Outperform Deep Learning-based Deepcode
- Title（参考訳）: シンプルなモデュロはディープラーニングベースのDeepcodeを著しく上回る
- Authors: Assaf Ben-Yishai and Ofer Shayevitz
- Abstract要約: Deepcodeは先日提案された,AWGNチャネル上のコミュニケーションのためのDeep Learningベースのスキームで,ノイズの多いフィードバックを備えている。
完全決定論的モデュロSK(ディザリングなしで)がDeepcodeより優れていることを示す。
- 参考スコア（独自算出の注目度）: 20.965610734723636
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deepcode (H.Kim et al.2018) is a recently suggested Deep Learning-based
scheme for communication over the AWGN channel with noisy feedback, claimed to
be superior to all previous schemes in the literature. Deepcode's use of
nonlinear coding (via Deep Learning) has been inspired by known shortcomings
(Y.-H. Kim et al 2007) of linear feedback schemes. In 2014, we presented a
nonlinear feedback coding scheme based on a combination of the classical SK
scheme and modulo-arithmetic, using a small number of elementary operations
without any type of neural network. This Modulo-SK scheme has been omitted from
the performance comparisons made in the Deepcode paper, due to its use of
common randomness (dither), and in a later version since it was incorrectly
interpreted as a variable-length coding scheme. However, the dither in
Modulo-SK was used only for the standard purpose of tractable performance
analysis, and is not required in practice. In this short note, we show that a
fully-deterministic Modulo-SK (without dithering) can outperform Deepcode. For
example, to attain an error probability of 10^(-4) at rate 1/3 Modulo-SK
requires 3dB less feedback SNR than Deepcode. To attain an error probability of
10^(-6) with noiseless feedback, Deepcode requires 150 rounds of communication,
whereas Modulo-SK requires only 15 rounds, even if the feedback is noisy (with
27dB SNR).
We further address the numerical stability issues of the original SK scheme
reported in the Deepcode paper, and explain how they can be avoided. We augment
this report with an online-available, fully-functional Matlab simulation for
both the classical and Modulo-SK schemes. Finally, note that Modulo-SK is by no
means claimed to be the best possible solution; in particular, using deep
learning in conjunction with modulo-arithmetic might lead to better designs,
and remains a fascinating direction for future research.
- Abstract（参考訳）: deepcode (h.kim et al.2018) は、最近提案された、awgnチャネル上でのノイズフィードバックによるコミュニケーションのための深層学習ベースのスキームであり、以前の全てのスキームよりも優れていると主張している。
Deepcodeの非線形コーディング(Deep Learning)は、線形フィードバックスキームの既知の欠点(Y.-H. Kim et al 2007)にインスパイアされている。
2014年、古典的skスキームとmodulo-arithmeticの組み合わせに基づく非線形フィードバック符号化方式を、ニューラルネットワークを使わずに少数の基本演算を用いて提示した。
このModulo-SK方式は、共通乱数性(ダイザー)の使用によるDeepcode論文のパフォーマンス比較と、変数長符号化方式として誤って解釈された後のバージョンから省略されている。
しかし、Modulo-SKのディザはトラクタブルな性能解析の標準的な目的のためにのみ使用され、実際には必要ではない。
本稿では,完全決定論的モデュロSK(ディザリングなしで)がDeepcodeより優れていることを示す。
例えば、10^(-4)の誤差確率を1/3 Modulo-SKで達成するには、Deepcodeよりも3dB少ないフィードバックSNRが必要となる。
ノイズのないフィードバックで10^(-6)のエラー確率を達成するために、deepcodeは150ラウンドの通信を必要とするが、modulo-skは15ラウンドしか必要としない(27db snr)。
さらに,deepcodeの論文で報告されたskスキームの数値安定性問題にも対処し,その回避方法について説明する。
本報告は,古典的およびモデュロSKスキームを対象とした,オンラインで利用可能な完全機能型Matlabシミュレーションを用いて拡張する。
特に、modulo-arithmeticと連動してディープラーニングを使用することは、よりよい設計につながる可能性があり、将来の研究にとって魅力的な方向性である。
関連論文リスト
- Scalable Optimization in the Modular Norm [32.486978201822495]
我々は、任意のニューラルネットワークアーキテクチャのフルウェイト空間における自然なノルムであるモジュラーノルムを定義する。
実用面では、モジュラーノルムを用いて任意のベースのアップデートを正規化し、学習率が幅と深さで転送可能となるようにすることができる。
の原子モジュールから構築された任意のニューラルネットワークに対して、ネットワークの勾配はモジュラーノルムにおいてリプシッツ連続であることを示す。
論文 参考訳（メタデータ） (2024-05-23T17:23:30Z) - Does Your Neural Code Completion Model Use My Code? A Membership Inference Approach [66.51005288743153]
本稿では,現在のニューラルコード補完モデルの法的および倫理的問題について考察する。
私たちは、もともと分類タスクのために作られたメンバシップ推論アプローチ(CodeMIと呼ばれる)を調整します。
我々は,この適応型アプローチの有効性を,多種多様なニューラルコード補完モデルで評価した。
論文 参考訳（メタデータ） (2024-04-22T15:54:53Z) - Bit-flipping Decoder Failure Rate Estimation for (v,w)-regular Codes [84.0257274213152]
並列ビットフリップデコーダのDFRを高精度に推定する手法を提案する。
本研究は,本症候群のモデル化およびシミュレーションによる重み比較,第1イテレーション終了時の誤りビット分布の誤検出,復号化復号化率(DFR)について検証した。
論文 参考訳（メタデータ） (2024-01-30T11:40:24Z) - Graph Neural Networks for Enhanced Decoding of Quantum LDPC Codes [6.175503577352742]
量子低密度パリティチェック(LDPC)符号に対する微分可能な反復デコーダを提案する。
提案アルゴリズムは,古典的信念伝達(BP)復号段階と中間グラフニューラルネットワーク(GNN)層から構成される。
論文 参考訳（メタデータ） (2023-10-26T19:56:25Z) - Modular Neural Network Approaches for Surgical Image Recognition [0.0]
本稿では,DCSS不安定性分類のためのモジュール型学習の異なるアーキテクチャを導入,評価する。
実験の結果,モジュール型学習は非モジュール型システムと比較して性能が向上することがわかった。
第2部では,肩関節鏡画像への自己訓練によるデータラベリングとセグメンテーションのアプローチを提案する。
論文 参考訳（メタデータ） (2023-07-17T22:28:16Z) - Linear Temporal Logic Modulo Theories over Finite Traces (Extended
Version) [72.38188258853155]
有限トレース(LTLf)上の線形時間論理について検討する。
命題の文字は任意の理論で解釈された一階述語式に置き換えられる。
Satisfiability Modulo Theories (LTLfMT) と呼ばれる結果の論理は半決定可能である。
論文 参考訳（メタデータ） (2022-04-28T17:57:33Z) - Hybrid Neural Coded Modulation: Design and Training Methods [16.778378666167026]
内部コードはディープニューラルネットワーク(DNN)を使用して設計されており、チャネル符号化されたビットを取り込み、変調されたシンボルを出力する。
得られた星座は5G標準LDPC符号で変調順序16,64の従来の2次振幅変調(QAM)に基づく符号化方式よりも優れていた。
論文 参考訳（メタデータ） (2022-02-04T05:04:15Z) - Deepcode and Modulo-SK are Designed for Different Settings [53.459770287618745]
2つのスキームは全く異なる設定で設計・評価されていることを示す。
Deepcodeは、フィードバックがうるさいときのパラメータ化の自然な選択よりも、SKの最適化性能を優先している。
論文 参考訳（メタデータ） (2020-08-18T15:52:19Z) - Learning to Encode Position for Transformer with Continuous Dynamical
Model [88.69870971415591]
本研究では,トランスフォーマーモデルなどの非リカレントモデルの位置情報をエンコードする新しい学習方法を提案する。
このような力学系による位置指数に沿った符号化結果の進化をモデル化する。
論文 参考訳（メタデータ） (2020-03-13T00:41:41Z) - Differentiable Reasoning over a Virtual Knowledge Base [156.94984221342716]
コーパスを仮想知識ベース(KB)として,複雑なマルチホップ質問に答えるタスクについて検討する。
特に、コーパス内のエンティティの参照間の関係の経路をソフトに追従し、KBのようにテキストデータをトラバースするDrKITについて述べる。
DrKITは非常に効率的で、既存のマルチホップシステムよりも毎秒10-100倍のクエリを処理する。
論文 参考訳（メタデータ） (2020-02-25T03:13:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。