論文の概要: Deep Unfolding with Kernel-based Quantization in MIMO Detection

• arxiv url: http://arxiv.org/abs/2505.12736v1
• Date: Mon, 19 May 2025 05:50:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-20 14:57:11.427513
• Title: Deep Unfolding with Kernel-based Quantization in MIMO Detection
• Title（参考訳）: MIMO検出におけるカーネルベースの量子化による深部展開
• Authors: Zeyi Ren, Jingreng Lei, Yichen Jin, Ermo Hua, Qingfeng Lin, Chen Zhang, Bowen Zhou, Yik-Chung Wu,
• Abstract要約: 本稿では,深層展開ネットワークのためのカーネルベースの適応量子化(KAQ)フレームワークを提案する。 提案するKAQフレームワークの精度は従来の手法よりも優れており、モデルによる推論遅延の低減に成功している。
• 参考スコア（独自算出の注目度）: 26.033613526407226
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The development of edge computing places critical demands on energy-efficient model deployment for multiple-input multiple-output (MIMO) detection tasks. Deploying deep unfolding models such as PGD-Nets and ADMM-Nets into resource-constrained edge devices using quantization methods is challenging. Existing quantization methods based on quantization aware training (QAT) suffer from performance degradation due to their reliance on parametric distribution assumption of activations and static quantization step sizes. To address these challenges, this paper proposes a novel kernel-based adaptive quantization (KAQ) framework for deep unfolding networks. By utilizing a joint kernel density estimation (KDE) and maximum mean discrepancy (MMD) approach to align activation distributions between full-precision and quantized models, the need for prior distribution assumptions is eliminated. Additionally, a dynamic step size updating method is introduced to adjust the quantization step size based on the channel conditions of wireless networks. Extensive simulations demonstrate that the accuracy of proposed KAQ framework outperforms traditional methods and successfully reduces the model's inference latency.
• Abstract（参考訳）: エッジコンピューティングの開発は、MIMO(Multiple-input multiple-output)検出タスクのためのエネルギー効率の良いモデル展開に重要な要求を課している。 PGD-NetsやADMM-Netsなどの深層展開モデルを量子化手法を用いて資源制約エッジデバイスに展開することは困難である。 量子化対応学習(QAT)に基づく既存の量子化手法は、アクティベーションのパラメトリック分布仮定と静的量子化ステップサイズに依存するため、性能劣化に悩まされる。 これらの課題に対処するために,深層展開ネットワークのためのカーネルベースの適応量子化(KAQ)フレームワークを提案する。 完全精度モデルと量子化モデル間での活性化分布の整合化のために、共同カーネル密度推定(KDE)と最大平均誤差推定(MMD)アプローチを利用することにより、事前分布仮定の必要性を排除した。 さらに、無線ネットワークのチャネル条件に基づいて量子化ステップサイズを調整するために、動的ステップサイズ更新手法を導入する。 大規模なシミュレーションでは、提案するKAQフレームワークの精度が従来の手法より優れており、モデルの推論遅延をうまく低減していることが示された。

関連論文リスト

• Precision Neural Network Quantization via Learnable Adaptive Modules [27.323901068182234]
  量子化アウェアトレーニング(QAT)は、モデルサイズを圧縮し、運用効率を向上させるニューラルネットワーク量子化技術である。 本稿では、適応ステップサイズ量子化(ASQ)と呼ばれる、効果的な学習可能な適応型ニューラルネットワーク量子化法を提案する。
  論文  参考訳（メタデータ） (2025-04-24T05:46:25Z)
• QuartDepth: Post-Training Quantization for Real-Time Depth Estimation on the Edge [55.75103034526652]
  ASIC のハードウェアアクセラレーションによる MDE モデルの定量化を後学習量子化に応用した QuartDepth を提案する。 提案手法では,重みとアクティベーションの両方を4ビット精度で定量化し,モデルサイズと計算コストを削減する。 我々は、カーネル融合とカスタマイズされた命令プログラム性をサポートすることにより、フレキシブルでプログラム可能なハードウェアアクセラレータを設計する。
  論文  参考訳（メタデータ） (2025-03-20T21:03:10Z)
• RoSTE: An Efficient Quantization-Aware Supervised Fine-Tuning Approach for Large Language Models [53.571195477043496]
  本稿では,RoSTE (Rotated Straight-Through-Estimator) というアルゴリズムを提案する。 RoSTEは、量子化を意識した微調整(QA-SFT)と適応的な回転戦略を組み合わせることで、アクティベーションアウトリーを減少させる。 その結果, 予測誤差は収束重みの量子化誤差と直接比例し, 最適化された回転構成により効果的に管理できることが判明した。
  論文  参考訳（メタデータ） (2025-02-13T06:44:33Z)
• Adaptive quantization with mixed-precision based on low-cost proxy [8.527626602939105]
  本稿では,Low-Cost Proxy-Based Adaptive Mixed-Precision Model Quantization (LCPAQ) と呼ばれる新しいモデル量子化法を提案する。 ハードウェア対応モジュールはハードウェアの制約を考慮して設計され、適応型混合精度量子化モジュールは量子化感度を評価するために開発された。 ImageNetの実験では、提案したLCPAQが既存の混合精度モデルに匹敵するあるいは優れた量子化精度を達成している。
  論文  参考訳（メタデータ） (2024-02-27T17:36:01Z)
• Ensemble Kalman Filtering Meets Gaussian Process SSM for Non-Mean-Field and Online Inference [47.460898983429374]
  我々は,非平均場(NMF)変動推定フレームワークにアンサンブルカルマンフィルタ(EnKF)を導入し,潜在状態の後方分布を近似する。 EnKFとGPSSMのこの新しい結婚は、変分分布の学習における広範なパラメータ化の必要性をなくすだけでなく、エビデンスの下限(ELBO)の解釈可能でクローズドな近似を可能にする。 得られたEnKF支援オンラインアルゴリズムは、データ適合精度を確保しつつ、モデル正規化を組み込んで過度適合を緩和し、目的関数を具現化する。
  論文  参考訳（メタデータ） (2023-12-10T15:22:30Z)
• Efficient Quantization Strategies for Latent Diffusion Models [20.942161659019554]
  潜時拡散モデル(LDM)は時間とともに潜時変数の動的進化を捉える。 ポストトレーニング量子化(PTQ)は、ディープラーニングモデルの操作サイズを圧縮する手法である。 本研究では, LDMを効率的に定量化する量子化戦略を提案する。
  論文  参考訳（メタデータ） (2023-12-09T01:47:16Z)
• Quantization Aware Factorization for Deep Neural Network Compression [20.04951101799232]
  畳み込み層と完全連結層の分解は、ニューラルネットワークにおけるパラメータとFLOPを減らす効果的な方法である。 従来のトレーニング後量子化手法は重み付きネットワークに適用され、精度が低下する。 これは、分解された近似を量子化因子で直接発見するアルゴリズムを開発する動機となった。
  論文  参考訳（メタデータ） (2023-08-08T21:38:02Z)
• CSQ: Growing Mixed-Precision Quantization Scheme with Bi-level Continuous Sparsification [51.81850995661478]
  混合精度量子化はディープニューラルネットワーク(DNN)に広く応用されている トレーニング中のビットレベル正規化とプルーニングに基づく動的精度調整の試みは、ノイズ勾配と不安定収束に悩まされている。 安定度を向上した混合精度量子化スキームを探索するビットレベル学習法である連続スカラー化量子化(CSQ)を提案する。
  論文  参考訳（メタデータ） (2022-12-06T05:44:21Z)
• Standard Deviation-Based Quantization for Deep Neural Networks [17.495852096822894]
  深層ニューラルネットワークの量子化は、推論コストを低減するための有望なアプローチである。 ネットワークの重みと活性化分布の知識を用いて量子化間隔(離散値)を学習する新しいフレームワークを提案する。 提案手法は,ネットワークのパラメータを同時に推定し,量子化過程におけるプルーニング比を柔軟に調整する。
  論文  参考訳（メタデータ） (2022-02-24T23:33:47Z)
• Q-GADMM: Quantized Group ADMM for Communication Efficient Decentralized Machine Learning [66.18202188565922]
  我々はQGADMM(QGADMM)という通信効率の高い分散機械学習(ML)アルゴリズムを提案する。 我々は,凸関数に対するQGADMMの収束性を証明しつつ,モデル化レベルとその確率を適応的に調整する新しい量子化法を開発した。
  論文  参考訳（メタデータ） (2019-10-23T10:47:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。