論文の概要: Learning Quantization in LDPC Decoders
- arxiv url: http://arxiv.org/abs/2208.05186v1
- Date: Wed, 10 Aug 2022 07:07:54 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-11 13:29:53.546744
- Title: Learning Quantization in LDPC Decoders
- Title(参考訳): LDPCデコーダにおける学習量子化
- Authors: Marvin Geiselhart, Ahmed Elkelesh, Jannis Clausius, Fei Liang, Wen Xu,
Jing Liang and Stephan ten Brink
- Abstract要約: 均一雑音の付加として量子化効果を模倣する浮動小数点代理モデルを提案する。
次に、深層学習に基づく手法を適用し、メッセージビット幅を最適化する。
平均メッセージ量子化ビット幅3.1ビットにおける浮動小数点復号の0.2dB以内の誤り率性能を報告する。
- 参考スコア(独自算出の注目度): 14.37550972719183
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Finding optimal message quantization is a key requirement for low complexity
belief propagation (BP) decoding. To this end, we propose a floating-point
surrogate model that imitates quantization effects as additions of uniform
noise, whose amplitudes are trainable variables. We verify that the surrogate
model closely matches the behavior of a fixed-point implementation and propose
a hand-crafted loss function to realize a trade-off between complexity and
error-rate performance. A deep learning-based method is then applied to
optimize the message bitwidths. Moreover, we show that parameter sharing can
both ensure implementation-friendly solutions and results in faster training
convergence than independent parameters. We provide simulation results for 5G
low-density parity-check (LDPC) codes and report an error-rate performance
within 0.2 dB of floating-point decoding at an average message quantization
bitwidth of 3.1 bits. In addition, we show that the learned bitwidths also
generalize to other code rates and channels.
- Abstract(参考訳): 最適なメッセージ量子化を見つけることは、低複雑性信念伝播(BP)デコーディングの鍵となる要件である。
そこで本研究では,振幅が学習可能な一様雑音の追加として量子化効果を模倣する浮動小数点サーロゲートモデルを提案する。
本研究では,提案手法が不動点実装の動作と密接に一致することを検証し,複雑度と誤差率性能のトレードオフを実現するための手作り損失関数を提案する。
次に、深層学習に基づく手法を適用し、メッセージビット幅を最適化する。
さらに,パラメータの共有は実装にやさしいソリューションを保証し,独立したパラメータよりも高速なトレーニング収束を実現することを示す。
平均メッセージ量子化ビット幅3.1ビットにおける浮動小数点復号における5G低密度パリティチェック(LDPC)符号のシミュレーション結果とエラー率を0.2dB以内で報告する。
さらに,学習したビット幅が他の符号レートやチャネルにも一般化することを示す。
関連論文リスト
- DB-LLM: Accurate Dual-Binarization for Efficient LLMs [83.70686728471547]
大規模言語モデル(LLM)は自然言語処理の分野を著しく進歩させてきた。
既存の超低ビット量子化は、常に深刻な精度低下を引き起こす。
本稿では,LLM,すなわちDB-LLMのための新しいデュアルバイナライズ手法を提案する。
論文 参考訳(メタデータ) (2024-02-19T09:04:30Z) - Fed-CVLC: Compressing Federated Learning Communications with
Variable-Length Codes [54.18186259484828]
フェデレートラーニング(FL)パラダイムでは、パラメータサーバ(PS)がモデル収集、更新アグリゲーション、複数のラウンドでのモデル分散のために、分散参加クライアントと同時通信する。
FLの圧縮には可変長が有用であることを示す。
本稿では,Fed-CVLC(Federated Learning Compression with Variable-Length Codes)を提案する。
論文 参考訳(メタデータ) (2024-02-06T07:25:21Z) - PIPE : Parallelized Inference Through Post-Training Quantization
Ensembling of Residual Expansions [23.1120983784623]
PIPEは、残差誤差展開とグループ間隔とアンサンブル近似を利用して、より良い並列化を実現する量子化法である。
すべてのベンチマークアプリケーション(ビジョンからNLPタスクまで)、アーキテクチャ(ConvNet、トランスフォーマー、ビット幅)において、優れたパフォーマンスを実現している。
論文 参考訳(メタデータ) (2023-11-27T13:29:34Z) - SqueezeLLM: Dense-and-Sparse Quantization [83.7810943431625]
LLMにおける生成推論の主なボトルネックは、単一のバッチ推論のための計算ではなく、メモリ帯域幅である。
学習後量子化フレームワークであるSqueezeLLMを導入し、最大3ビットの超低精度でのロスレス圧縮を実現する。
本フレームワークは,2次情報に基づく最適ビット精度割当を探索する感度ベース非一様量子化法と,2次情報に基づくDense-and-Sparse分解法と,2次情報量割当値と感度重み値を効率的にスパース形式で格納するDense-and-Sparse分解法である。
論文 参考訳(メタデータ) (2023-06-13T08:57:54Z) - Gradient Sparsification for Efficient Wireless Federated Learning with
Differential Privacy [25.763777765222358]
フェデレートラーニング(FL)により、分散クライアントは、生データを互いに共有することなく、機械学習モデルを協調的にトレーニングできる。
モデルのサイズが大きくなるにつれて、送信帯域の制限によるトレーニングのレイテンシが低下し、個人情報が劣化すると同時に、差分プライバシ(DP)保護を使用する。
我々は、収束性能を犠牲にすることなく、トレーニング効率を向上させるために、FLフレームワーク無線チャネルのスペース化を提案する。
論文 参考訳(メタデータ) (2023-04-09T05:21:15Z) - Lightweight and Flexible Deep Equilibrium Learning for CSI Feedback in
FDD Massive MIMO [13.856867175477042]
広帯域多重出力(MIMO)システムでは、ダウンリンクチャネル状態情報(CSI)をベースステーション(BS)に送信する必要がある。
本稿では,深層平衡モデルを用いた軽量で柔軟な深層学習に基づくCSIフィードバック手法を提案する。
論文 参考訳(メタデータ) (2022-11-28T05:53:09Z) - Efficient Per-Shot Convex Hull Prediction By Recurrent Learning [50.94452824380868]
本稿では,コンテンツ認識凸船体予測の深層学習に基づく手法を提案する。
再帰的畳み込みネットワーク(RCN)を用いて,映像の複雑さを暗黙的に解析し,その凸殻を予測する。
実験の結果,提案したモデルでは,最適凸殻の近似精度が向上し,既存の手法と比較して競争時間の節約が期待できることがわかった。
論文 参考訳(メタデータ) (2022-06-10T05:11:02Z) - An Adaptive Device-Edge Co-Inference Framework Based on Soft
Actor-Critic [72.35307086274912]
高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。
本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。
レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
論文 参考訳(メタデータ) (2022-01-09T09:31:50Z) - Optimizing the Communication-Accuracy Trade-off in Federated Learning
with Rate-Distortion Theory [1.5771347525430772]
連合学習における重要なボトルネックは、クライアントデバイスから中央サーバにモデル更新を送信する際のネットワーク通信コストである。
本手法は,その経験的分布を考慮し,量子化された更新を適切な普遍コードで符号化する。
量子化は誤差をもたらすので、平均的な全勾配と歪みにおける所望のトレードオフを最適化することで量子化レベルを選択する。
論文 参考訳(メタデータ) (2022-01-07T20:17:33Z) - Optimal qubit assignment and routing via integer programming [0.22940141855172028]
論理量子回路を2ビット接続に制限のあるハードウェアにマッピングする問題を考察する。
我々はこの問題を2変数のネットワークフロー定式化を用いて整数線形プログラムとしてモデル化する。
本稿では,回路の忠実度,全深度,クロストークの尺度などのコスト関数について考察する。
論文 参考訳(メタデータ) (2021-06-11T15:02:26Z) - AQD: Towards Accurate Fully-Quantized Object Detection [94.06347866374927]
本稿では,浮動小数点演算を除去するために,AQDと呼ばれる高精度な量子化オブジェクト検出ソリューションを提案する。
我々のAQDは、非常に低ビットのスキームの下での完全精度と比較して、同等またはそれ以上の性能を実現しています。
論文 参考訳(メタデータ) (2020-07-14T09:07:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。