論文の概要: Interpreting Training Aspects of Deep-Learned Error-Correcting Codes

• arxiv url: http://arxiv.org/abs/2305.04347v1
• Date: Sun, 7 May 2023 17:53:31 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-09 16:24:57.556244
• Title: Interpreting Training Aspects of Deep-Learned Error-Correcting Codes
• Title（参考訳）: 深層誤り訂正符号の学習的側面の解釈
• Authors: N. Devroye, A. Mulgund, R. Shekhar, Gy. Tur\'an, M. \v{Z}efran, Y. Zhou
• Abstract要約: 深層学習誤り訂正符号の学習過程を解釈するツールの開発について検討する。 全てのツールはTurboAEでデモされているが、他の深層学習の前方誤り訂正コードに適用できる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As new deep-learned error-correcting codes continue to be introduced, it is important to develop tools to interpret the designed codes and understand the training process. Prior work focusing on the deep-learned TurboAE has both interpreted the learned encoders post-hoc by mapping these onto nearby ``interpretable'' encoders, and experimentally evaluated the performance of these interpretable encoders with various decoders. Here we look at developing tools for interpreting the training process for deep-learned error-correcting codes, focusing on: 1) using the Goldreich-Levin algorithm to quickly interpret the learned encoder; 2) using Fourier coefficients as a tool for understanding the training dynamics and the loss landscape; 3) reformulating the training loss, the binary cross entropy, by relating it to encoder and decoder parameters, and the bit error rate (BER); 4) using these insights to formulate and study a new training procedure. All tools are demonstrated on TurboAE, but are applicable to other deep-learned forward error correcting codes (without feedback).
• Abstract（参考訳）: 新しい深層学習エラー訂正コードの導入が続けられているため、設計したコードを解釈し、トレーニングプロセスを理解するためのツールを開発することが重要である。 深層学習のTurboAEに焦点を当てた以前の研究は、どちらも学習後のエンコーダを近辺の ‘interpretable' エンコーダにマッピングすることで解釈し、様々なデコーダを用いた解釈可能なエンコーダの性能を実験的に評価した。 ここでは、ディープラーニングのエラー訂正コードのトレーニングプロセスを解釈するツールの開発について述べる。 1) goldreich-levin アルゴリズムを用いて,学習エンコーダを迅速に解釈する。 2) フーリエ係数をトレーニングダイナミクスとロスランドスケープを理解するためのツールとして使用する。 3)エンコーダやデコーダパラメータ,ビット誤り率(ber)に関連付けることで,トレーニング損失,バイナリクロスエントロピーを再構成する。 4) これらの知見を用いて,新しい訓練手順を定式化し,検討すること。 すべてのツールはturboaeでデモされているが、他の深い学習された前方誤り訂正コード(フィードバックなしで)に適用できる。

関連論文リスト

• Collective Bit Flipping-Based Decoding of Quantum LDPC Codes [0.6554326244334866]
  可変次数-3(dv-3)QLDPC符号の繰り返し復号化による誤り訂正性能と復号遅延の両方を改善した。 我々の復号方式は、ビットフリップ(BF)デコーディングの修正版、すなわち2ビットビットフリップ(TBF)デコーディングを適用することに基づいている。
  論文  参考訳（メタデータ） (2024-06-24T18:51:48Z)
• Learning Linear Block Error Correction Codes [62.25533750469467]
  本稿では,バイナリ線形ブロック符号の統一エンコーダデコーダトレーニングを初めて提案する。 また,コード勾配の効率的なバックプロパゲーションのために,自己注意マスキングを行うトランスフォーマーモデルを提案する。
  論文  参考訳（メタデータ） (2024-05-07T06:47:12Z)
• Graph Neural Networks for Enhanced Decoding of Quantum LDPC Codes [6.175503577352742]
  量子低密度パリティチェック(LDPC)符号に対する微分可能な反復デコーダを提案する。 提案アルゴリズムは,古典的信念伝達(BP)復号段階と中間グラフニューラルネットワーク(GNN)層から構成される。
  論文  参考訳（メタデータ） (2023-10-26T19:56:25Z)
• A Scalable Graph Neural Network Decoder for Short Block Codes [49.25571364253986]
  エッジ重み付きグラフニューラルネットワーク(EW-GNN)に基づく短絡符号の復号化アルゴリズムを提案する。 EW-GNNデコーダは、繰り返しメッセージパッシング構造を持つタナーグラフで動作する。 EW-GNNデコーダは,復号誤り率の観点から,BP法および深層学習に基づくBP法より優れていることを示す。
  論文  参考訳（メタデータ） (2022-11-13T17:13:12Z)
• Graph Neural Networks for Channel Decoding [71.15576353630667]
  低密度パリティチェック(LDPC)やBCH符号など、様々な符号化方式の競合復号性能を示す。 ニューラルネットワーク(NN)は、与えられたグラフ上で一般化されたメッセージパッシングアルゴリズムを学習する。 提案するデコーダを,従来のチャネル復号法および最近のディープラーニングに基づく結果と比較した。
  論文  参考訳（メタデータ） (2022-07-29T15:29:18Z)
• Pre-Training Transformer Decoder for End-to-End ASR Model with Unpaired Speech Data [145.95460945321253]
  本稿では,音響単位,すなわち擬似符号を用いたエンコーダ・デコーダネットワークのための2つの事前学習タスクを提案する。 提案したSpeech2Cは,デコーダを事前学習することなく,単語誤り率(WER)を19.2%削減できる。
  論文  参考訳（メタデータ） (2022-03-31T15:33:56Z)
• A manifold learning perspective on representation learning: Learning decoder and representations without an encoder [0.0]
  オートエンコーダは表現学習で一般的に使用される。 多様体学習にインスパイアされて、トレーニングサンプルの表現を学習することで、デコーダを単独で訓練できることが示される。 デコーダのみを訓練する我々のアプローチは、小さなデータセットでも表現学習を容易にする。
  論文  参考訳（メタデータ） (2021-08-31T15:08:50Z)
• Deep Learning to Ternary Hash Codes by Continuation [8.920717493647121]
  本稿では,スムーズな関数をネットワークに付加することで,特徴をコードと共同で学習することを提案する。 実験により、生成した符号は、実際に高い精度で取得できることが示されている。
  論文  参考訳（メタデータ） (2021-07-16T16:02:08Z)
• Scheduled Sampling in Vision-Language Pretraining with Decoupled Encoder-Decoder Network [99.03895740754402]
  本稿では,2つの切り離されたクロスモーダルエンコーダとデコーダが関与するエンコーダ・デコーダ構造の2ストリーム分離設計を提案する。 その代替として,2パス方式でエンコーダデコーダを事前学習することで,そのような不一致を緩和する一次サンプリング戦略を提案する。
  論文  参考訳（メタデータ） (2021-01-27T17:36:57Z)
• On the Sub-Layer Functionalities of Transformer Decoder [74.83087937309266]
  トランスフォーマーをベースとしたデコーダは,ソースおよびターゲット言語からの情報をいかに活用するかを検討する。 これらの知見に基づき,各トランスフォーマーデコーダ層内の残フィードフォワードモジュールは,性能の低下を最小限に抑えられることを示した。
  論文  参考訳（メタデータ） (2020-10-06T11:50:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。