論文の概要: HCInfer: An Efficient Inference System via Error Compensation for Resource-Constrained Devices
- arxiv url: http://arxiv.org/abs/2605.05819v1
- Date: Thu, 07 May 2026 07:57:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-08 22:27:11.609691
- Title: HCInfer: An Efficient Inference System via Error Compensation for Resource-Constrained Devices
- Title（参考訳）: HCInfer:リソース制約デバイスに対するエラー補償による効率的な推論システム
- Authors: Shen Xu, Xiangwen Zhuge, Zhe Xu, Yingkun Hu, Zheng Yang, Yunhao Liu,
- Abstract要約: 我々は、GPU上で圧縮バックボーンを実行しながら、CPUに残差補償をオフロードする異種推論システムHCInferを提案する。
実験の結果,HCInferは下流タスクで最大5.2%の精度向上を実現していることがわかった。
- 参考スコア（独自算出の注目度）: 10.436245372331003
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: LLMs often struggle with memory-constrained deployment on consumer-grade hardware due to their massive parameter sizes. While existing solutions such as model compression and offloading improve deployment feasibility, they often suffer from substantial accuracy degradation or severe throughput bottlenecks. Recent error compensation methods recover accuracy through auxiliary LoRA-style branches, and we observe that these branches are inherently amenable to offloading: they require substantial parameter storage but access only a small subset of compensation parameters during each inference step. Motivated by this opportunity, we propose HCInfer, a heterogeneous inference system that offloads residual compensation to the CPU while executing the compressed backbone on the GPU, and further introduces an asynchronous compensation pipeline and sensitivity-aware dynamic rank allocation to hide compensation overhead and maximize accuracy recovery. Experimental results show that HCInfer achieves a maximum accuracy improvement of 5.2% on downstream tasks compared to compression model and sustaining a maximum speedup of 10.4x compared to full-precision model.
- Abstract（参考訳）: LLMは、大きなパラメータサイズのため、コンシューマグレードハードウェア上のメモリ制限されたデプロイメントに苦労することが多い。
モデル圧縮やオフロードといった既存のソリューションは、デプロイメントの実現可能性を改善する一方で、相当な精度の劣化や、厳しいスループットのボトルネックに悩まされることが多い。
近年の誤り補償手法は, 補助的なLoRA方式の分岐によって精度を回復し, これらの分岐は本質的にオフロードに適しており, かなりのパラメータ記憶を必要とするが, それぞれの推論ステップにおいて, 補償パラメータの小さなサブセットにしかアクセスできない。
この機会に触発されたHCInferは、GPU上で圧縮されたバックボーンを実行しながら、CPUに残留補償をオフロードする異種推論システムであり、さらに非同期補償パイプラインと、補償オーバーヘッドを隠蔽し、精度の回復を最大化するための感度対応動的ランクアロケーションも導入する。
実験結果から,HCInferは圧縮モデルと比較して下流タスクで最大5.2%の精度向上を実現し,完全精度モデルに比べて最大10.4倍の高速化を実現している。
関連論文リスト
- PACE: Post-Causal Entropy Modeling for Learned LiDAR Point Cloud Compression [43.524231862354405]
LiDARポイントクラウド圧縮は、高解像度センサーから大量のデータを処理するために自律システムにとって不可欠である。
PACEは、祖先のコンテキストアグリゲーションを非因果バックボーンとして再構成し、因果関係を軽量でステージスケーラ可能な予測器に変換する新しいフレームワークである。
実験により、PACEは圧縮効率を新たな最先端に設定し、顕著なBD-BR節約を実現し、自動回帰モードで復号遅延を90%以上削減した。
論文 参考訳（メタデータ） (2026-05-02T08:36:11Z) - ECO: Quantized Training without Full-Precision Master Weights [58.97082407934466]
Error-Compensating (ECO)は、量子化されたパラメータに直接更新を適用することで、マスターウェイトを除去する。
ECO は最適値の定数半径近傍に収束するが、素早いマスターウェイト除去は学習率に逆比例する誤差を生じさせる。
論文 参考訳（メタデータ） (2026-01-29T18:35:01Z) - Bandwidth-Efficient Adaptive Mixture-of-Experts via Low-Rank Compensation [11.078693613992556]
帯域幅効率のよい適応混合器を低ランク補償により提案する。
本手法は,帯域幅の高精度なトレードオフとスループットの向上を実現する。
論文 参考訳（メタデータ） (2025-12-18T21:15:54Z) - QuantVSR: Low-Bit Post-Training Quantization for Real-World Video Super-Resolution [53.13952833016505]
実世界のビデオ超解像(VSR)のための低ビット量子化モデルを提案する。
キャリブレーションデータセットを用いて各レイヤの空間的および時間的複雑さを計測する。
我々はFPおよび低ビット分岐を改良し、同時最適化を実現する。
論文 参考訳（メタデータ） (2025-08-06T14:35:59Z) - EoRA: Fine-tuning-free Compensation for Compressed LLM with Eigenspace Low-Rank Approximation [84.70637613266835]
EoRAは、圧縮されたLarge Language Modelを低ランク行列で拡張する微調整不要な手法である。
EoRAは、圧縮LDMの精度を回復するために、トレーニングなしの低ランク法よりも一貫して優れている。
論文 参考訳（メタデータ） (2024-10-28T17:59:03Z) - Temporal Feature Matters: A Framework for Diffusion Model Quantization [105.3033493564844]
拡散モデルはマルチラウンド・デノナイジングの時間ステップに依存している。
3つの戦略を含む新しい量子化フレームワークを導入する。
このフレームワークは時間情報のほとんどを保存し、高品質なエンドツーエンド生成を保証する。
論文 参考訳（メタデータ） (2024-07-28T17:46:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。