論文の概要: MiCoPro: End-to-End Mixed Precision HW/SW Co-design with HW-aware Proxy Model
- arxiv url: http://arxiv.org/abs/2608.06916v1
- Date: Fri, 07 Aug 2026 07:50:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-10 16:21:25.403286
- Title: MiCoPro: End-to-End Mixed Precision HW/SW Co-design with HW-aware Proxy Model
- Title(参考訳): MiCoPro:HW-Aware Proxyモデルによるエンドツーエンド混合HW/SW設計
- Abstract要約: 低ビット幅データを持つ量子ニューラルネットワーク(QNN)は、エッジデバイス上での効率的なストレージと計算において有望であることが証明されている。
混合精度量子化(MPQ)を探索する既存のアルゴリズムは、柔軟性と効率性に制限がある。
エッジAIアプリケーションのための総合的なMPQ探索およびデプロイメントフレームワークであるMiCoフレームワークを提案する。
- 参考スコア(独自算出の注目度): 0.42970700836450476
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Quantized Neural Networks~(QNN) with low-bitwidth data have proven promising in efficient storage and computation on edge devices. To mitigate accuracy degradation while maximizing speedup, layer-wise mixed-precision quantization~(MPQ) becomes a popular solution. However, existing algorithms for exploring MPQ schemes are limited in flexibility and efficiency. Comprehending the complex impacts of different MPQ schemes on post-training quantization and quantization-aware training results is a challenge for conventional methods. Furthermore, an end-to-end framework for the optimization and deployment of MPQ models is missing in existing work. To address these challenges, we propose the MiCo framework, a holistic MPQ exploration and deployment framework for edge AI applications. The framework adopts a novel optimization algorithm to search for accuracy-optimal quantization configurations under strict latency constraints. We further extended the framework to MiCoPro, which introduces a robust Hardware-Aware Proxy (HAP) model to enhance prediction accuracy and hardware versatility. By leveraging target-specific latency modeling, MiCoPro enables rapid exploration and direct deployment from PyTorch models to bare-metal C code. We demonstrate the versatility of our framework on both the BitFusion accelerator and SIMD-extended RISC-V processors, achieving up to 40\% of latency reduction with less than 3\% of accuracy drop.
- Abstract(参考訳): 低ビット幅データを持つ量子ニューラルネットワーク~(QNN)は、エッジデバイス上での効率的なストレージと計算において有望であることが証明されている。
スピードアップを最大化しながら精度劣化を軽減するため、層ワイド混合精度量子化〜(MPQ)が一般的な解となる。
しかし、MPQスキームを探索する既存のアルゴリズムは、柔軟性と効率性に制限がある。
学習後の量子化と量子化を考慮した学習結果に対する様々なMPQスキームの複雑な影響を補うことは,従来の手法では困難である。
さらに、MPQモデルの最適化とデプロイのためのエンドツーエンドフレームワークが既存の作業に欠けている。
これらの課題に対処するために、エッジAIアプリケーションのための総合的なMPQ探索およびデプロイメントフレームワークであるMiCoフレームワークを提案する。
このフレームワークは、厳密なレイテンシ制約の下で精度-最適量子化構成を探索するための、新しい最適化アルゴリズムを採用している。
さらに、予測精度とハードウェアの汎用性を高めるために、堅牢なハードウェア・アウェアプロキシ(HAP)モデルを導入したMiCoProにもフレームワークを拡張しました。
ターゲット固有のレイテンシモデリングを活用することで、MiCoProはPyTorchモデルからベアメタルCコードへの迅速な探索と直接デプロイを可能にする。
我々は、BitFusionアクセラレータとSIMD拡張RISC-Vプロセッサの両方において、我々のフレームワークの汎用性を実証し、最大40%のレイテンシ削減を3倍未満の精度低下で達成した。
関連論文リスト
- A KL Lens on Quantization: Fast, Forward-Only Sensitivity for Mixed-Precision SSM-Transformer Models [9.31160191200499]
エッジデバイス上の大規模言語モデル(LLM)は、計算とメモリの厳しい制約に直面している。
量子化誘起劣化に最も敏感なハイブリッドSSM-トランスフォーマーコンポーネントを同定するための,軽量でバックプロパゲーションフリーなサロゲート型感度分析フレームワークを提案する。
論文 参考訳(メタデータ) (2026-04-15T03:40:30Z) - MiCo: End-to-End Mixed Precision Neural Network Co-Exploration Framework for Edge AI [0.9208007322096533]
極低ビット幅データを持つ量子ニューラルネットワーク(QNN)は、エッジデバイス上での効率的なストレージと計算において有望であることが証明されている。
高速化を図りながら精度低下をさらに低減するため、層単位での混合精度量子化(MPQ)が一般的な解となる。
エッジAIアプリケーションのための総合的なMPQ探索およびデプロイメントフレームワークであるMiCoフレームワークを提案する。
論文 参考訳(メタデータ) (2025-08-13T05:18:21Z) - MPQ-DMv2: Flexible Residual Mixed Precision Quantization for Low-Bit Diffusion Models with Temporal Distillation [74.34220141721231]
我々は,textbfMixed textbfPrecision textbfQuantizationフレームワークを改良したMPQ-DMv2を提案する。
論文 参考訳(メタデータ) (2025-07-06T08:16:50Z) - QuartDepth: Post-Training Quantization for Real-Time Depth Estimation on the Edge [55.75103034526652]
ASIC のハードウェアアクセラレーションによる MDE モデルの定量化を後学習量子化に応用した QuartDepth を提案する。
提案手法では,重みとアクティベーションの両方を4ビット精度で定量化し,モデルサイズと計算コストを削減する。
我々は、カーネル融合とカスタマイズされた命令プログラム性をサポートすることにより、フレキシブルでプログラム可能なハードウェアアクセラレータを設計する。
論文 参考訳(メタデータ) (2025-03-20T21:03:10Z) - MicroScopiQ: Accelerating Foundational Models through Outlier-Aware Microscaling Quantization [6.456189487006878]
基本モデル(FM)の量子化は、外れ値と呼ばれる大きめの値の出現によって困難である。
既存のoutlier-awareアルゴリズムアーキテクチャの共同設計技術は、混合精度を使用し、outlierを高い精度で保持するが、ハードウェア効率を損なうか、同じ精度でinlierとoutlierを定量化する。
我々は、プルーニングを利用して外れ値認識量子化を補完する新しい共同設計手法MicroScopiQを提案する。
論文 参考訳(メタデータ) (2024-11-08T02:25:45Z) - On-Chip Hardware-Aware Quantization for Mixed Precision Neural Networks [52.97107229149988]
エッジデバイス上でハードウェア対応の混合精度量子化を行うOn-Chipハードウェア・アウェア量子化フレームワークを提案する。
このパイプラインは、量子化プロセスが量子化演算子の実際のハードウェア効率を知覚することを可能にする。
精度測定のために,マルチチップシナリオにおける演算子の精度への影響を効果的に推定するMask-Guided Quantization Estimation技術を提案する。
論文 参考訳(メタデータ) (2023-09-05T04:39:34Z) - SDQ: Stochastic Differentiable Quantization with Mixed Precision [46.232003346732064]
本稿では,MPQ戦略を自動的に学習できる新しい微分可能量子化(SDQ)手法を提案する。
最適なMPQ戦略が得られた後、エントロピーを意識したビン正規化と知識蒸留でネットワークを訓練する。
SDQは、最先端の混合データセット、または低いビット幅で単一精度の量子化よりも優れている。
論文 参考訳(メタデータ) (2022-06-09T12:38:18Z) - Collaborative Intelligent Reflecting Surface Networks with Multi-Agent
Reinforcement Learning [63.83425382922157]
インテリジェント・リフレクション・サーフェス(IRS)は将来の無線ネットワークに広く応用されることが想定されている。
本稿では,エネルギー収穫能力を備えた協調型IRSデバイスを用いたマルチユーザ通信システムについて検討する。
論文 参考訳(メタデータ) (2022-03-26T20:37:14Z) - An Adaptive Device-Edge Co-Inference Framework Based on Soft
Actor-Critic [72.35307086274912]
高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。
本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。
レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
論文 参考訳(メタデータ) (2022-01-09T09:31:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。