論文の概要: Learning Quantization in LDPC Decoders

• arxiv url: http://arxiv.org/abs/2208.05186v1
• Date: Wed, 10 Aug 2022 07:07:54 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-11 13:29:53.546744
• Title: Learning Quantization in LDPC Decoders
• Title（参考訳）: LDPCデコーダにおける学習量子化
• Authors: Marvin Geiselhart, Ahmed Elkelesh, Jannis Clausius, Fei Liang, Wen Xu, Jing Liang and Stephan ten Brink
• Abstract要約: 均一雑音の付加として量子化効果を模倣する浮動小数点代理モデルを提案する。 次に、深層学習に基づく手法を適用し、メッセージビット幅を最適化する。 平均メッセージ量子化ビット幅3.1ビットにおける浮動小数点復号の0.2dB以内の誤り率性能を報告する。
• 参考スコア（独自算出の注目度）: 14.37550972719183
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Finding optimal message quantization is a key requirement for low complexity belief propagation (BP) decoding. To this end, we propose a floating-point surrogate model that imitates quantization effects as additions of uniform noise, whose amplitudes are trainable variables. We verify that the surrogate model closely matches the behavior of a fixed-point implementation and propose a hand-crafted loss function to realize a trade-off between complexity and error-rate performance. A deep learning-based method is then applied to optimize the message bitwidths. Moreover, we show that parameter sharing can both ensure implementation-friendly solutions and results in faster training convergence than independent parameters. We provide simulation results for 5G low-density parity-check (LDPC) codes and report an error-rate performance within 0.2 dB of floating-point decoding at an average message quantization bitwidth of 3.1 bits. In addition, we show that the learned bitwidths also generalize to other code rates and channels.
• Abstract（参考訳）: 最適なメッセージ量子化を見つけることは、低複雑性信念伝播(BP)デコーディングの鍵となる要件である。 そこで本研究では,振幅が学習可能な一様雑音の追加として量子化効果を模倣する浮動小数点サーロゲートモデルを提案する。 本研究では,提案手法が不動点実装の動作と密接に一致することを検証し,複雑度と誤差率性能のトレードオフを実現するための手作り損失関数を提案する。 次に、深層学習に基づく手法を適用し、メッセージビット幅を最適化する。 さらに,パラメータの共有は実装にやさしいソリューションを保証し,独立したパラメータよりも高速なトレーニング収束を実現することを示す。 平均メッセージ量子化ビット幅3.1ビットにおける浮動小数点復号における5G低密度パリティチェック(LDPC)符号のシミュレーション結果とエラー率を0.2dB以内で報告する。 さらに,学習したビット幅が他の符号レートやチャネルにも一般化することを示す。

関連論文リスト

• A Theoretical Perspective for Speculative Decoding Algorithm [60.79447486066416]
  EmphSpeculative Decodingは、小さなモデルを使用して、ドラフトトークンのシーケンスと、検証のための大きなモデルをサンプリングする。 本稿では,マルコフ連鎖抽象化による復号化問題を概念化し,理論的な観点から,鍵特性,エファンアウトプットの品質,推論加速度について考察する。
  論文  参考訳（メタデータ） (2024-10-30T01:53:04Z)
• Fast-OMRA: Fast Online Motion Resolution Adaptation for Neural B-Frame Coding [5.815424522820603]
  階層的時間予測を持つほとんどの学習されたBフレームコーデックは、トレーニングとテストに使用されるGOP(Group-of-Pictures)サイズの違いによって生じるドメインシフトの問題に悩まされる。 この領域シフト問題を解決する効果的な戦略の1つは、モーション推定のためにビデオフレームをダウンサンプルすることである。 この研究は、ダウンサンプリング係数を決定するための軽量な分類器を導入している。
  論文  参考訳（メタデータ） (2024-10-29T05:57:32Z)
• Progressive Mixed-Precision Decoding for Efficient LLM Inference [49.05448842542558]
  我々は,デコーディングのメモリバウンドネスに対処するために,プログレッシブ・ミックス・プレシジョン・デコーディング(PMPD)を導入する。 PMPDはfp16モデルの行列ベクトル乗算において1.4$-$12.2$times$ Speedupを達成する。 我々の手法は、fp16モデルよりも3.8$-$8.0$times$、均一量子化アプローチよりも1.54$times$のスループット向上をもたらす。
  論文  参考訳（メタデータ） (2024-10-17T11:46:33Z)
• Q-VLM: Post-training Quantization for Large Vision-Language Models [73.19871905102545]
  本稿では,大規模視覚言語モデル(LVLM)の学習後量子化フレームワークを提案する。 視覚言語モデル全体の離散化誤差に大きな影響を及ぼす層間依存関係を抽出し、この依存関係を最適な量子化戦略に組み込む。 実験の結果,提案手法はメモリを2.78倍圧縮し,出力速度を約13B LLaVAモデルで1.44倍向上させることができた。
  論文  参考訳（メタデータ） (2024-10-10T17:02:48Z)
• DB-LLM: Accurate Dual-Binarization for Efficient LLMs [83.70686728471547]
  大規模言語モデル(LLM)は自然言語処理の分野を著しく進歩させてきた。 既存の超低ビット量子化は、常に深刻な精度低下を引き起こす。 本稿では,LLM,すなわちDB-LLMのための新しいデュアルバイナライズ手法を提案する。
  論文  参考訳（メタデータ） (2024-02-19T09:04:30Z)
• Fed-CVLC: Compressing Federated Learning Communications with Variable-Length Codes [54.18186259484828]
  フェデレートラーニング(FL)パラダイムでは、パラメータサーバ(PS)がモデル収集、更新アグリゲーション、複数のラウンドでのモデル分散のために、分散参加クライアントと同時通信する。 FLの圧縮には可変長が有用であることを示す。 本稿では,Fed-CVLC(Federated Learning Compression with Variable-Length Codes)を提案する。
  論文  参考訳（メタデータ） (2024-02-06T07:25:21Z)
• PIPE : Parallelized Inference Through Post-Training Quantization Ensembling of Residual Expansions [23.1120983784623]
  PIPEは、残差誤差展開とグループ間隔とアンサンブル近似を利用して、より良い並列化を実現する量子化法である。 すべてのベンチマークアプリケーション(ビジョンからNLPタスクまで)、アーキテクチャ(ConvNet、トランスフォーマー、ビット幅)において、優れたパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2023-11-27T13:29:34Z)
• Gradient Sparsification for Efficient Wireless Federated Learning with Differential Privacy [25.763777765222358]
  フェデレートラーニング(FL)により、分散クライアントは、生データを互いに共有することなく、機械学習モデルを協調的にトレーニングできる。 モデルのサイズが大きくなるにつれて、送信帯域の制限によるトレーニングのレイテンシが低下し、個人情報が劣化すると同時に、差分プライバシ(DP)保護を使用する。 我々は、収束性能を犠牲にすることなく、トレーニング効率を向上させるために、FLフレームワーク無線チャネルのスペース化を提案する。
  論文  参考訳（メタデータ） (2023-04-09T05:21:15Z)
• Lightweight and Flexible Deep Equilibrium Learning for CSI Feedback in FDD Massive MIMO [13.856867175477042]
  広帯域多重出力(MIMO)システムでは、ダウンリンクチャネル状態情報(CSI)をベースステーション(BS)に送信する必要がある。 本稿では,深層平衡モデルを用いた軽量で柔軟な深層学習に基づくCSIフィードバック手法を提案する。
  論文  参考訳（メタデータ） (2022-11-28T05:53:09Z)
• An Adaptive Device-Edge Co-Inference Framework Based on Soft Actor-Critic [72.35307086274912]
  高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。 本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。 レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
  論文  参考訳（メタデータ） (2022-01-09T09:31:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。