論文の概要: AHC: Meta-Learned Adaptive Compression for Continual Object Detection on Memory-Constrained Microcontrollers
- arxiv url: http://arxiv.org/abs/2604.09576v1
- Date: Tue, 24 Feb 2026 07:06:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-04 02:32:13.81506
- Title: AHC: Meta-Learned Adaptive Compression for Continual Object Detection on Memory-Constrained Microcontrollers
- Title(参考訳): AHC:メモリ制約マイクロコントローラにおける連続物体検出のためのメタラーニング適応圧縮
- Authors: Bibin Wilson,
- Abstract要約: 100KB以下のメモリを持つマイクロコントローラ(MCU)上の連続物体検出には、効率的な特徴圧縮が必要である。
3つの重要なイノベーションを特徴とするメタラーニングフレームワークであるAdaptive Hierarchical Compression (AHC)を紹介する。
AHCは100KBのリプレイ予算内で実用的な連続的な検出を可能にし、平均プール圧縮された特徴リプレイによる競合精度を実現する。
- 参考スコア(独自算出の注目度): 0.14504054468850666
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deploying continual object detection on microcontrollers (MCUs) with under 100KB memory requires efficient feature compression that can adapt to evolving task distributions. Existing approaches rely on fixed compression strategies (e.g., FiLM conditioning) that cannot adapt to heterogeneous task characteristics, leading to suboptimal memory utilization and catastrophic forgetting. We introduce Adaptive Hierarchical Compression (AHC), a meta-learning framework featuring three key innovations: (1) true MAML-based compression that adapts via gradient descent to each new task in just 5 inner-loop steps, (2) hierarchical multi-scale compression with scale-aware ratios (8:1 for P3, 6.4:1 for P4, 4:1 for P5) matching FPN redundancy patterns, and (3) a dual-memory architecture combining short-term and long-term banks with importance-based consolidation under a hard 100KB budget. We provide formal theoretical guarantees bounding catastrophic forgetting as O(ε{sq.root(T)} + 1/{sq.root(M)}) where ε is compression error, T is task count, and M is memory size. Experiments on CORe50, TiROD, and PASCAL VOC benchmarks with three standard baselines (Fine-tuning,EWC, iCaRL) demonstrate that AHC enables practical continual detection within a 100KB replay budget, achieving competitive accuracy through mean-pooled compressed feature replay combined with EWC regularization and feature distillation.
- Abstract(参考訳): 100KB以下のメモリでマイクロコントローラ(MCU)に連続的なオブジェクト検出をデプロイするには、タスクの分散に適応できる効率的な特徴圧縮が必要である。
既存の手法は、不均一なタスク特性に適応できない固定圧縮戦略(例えば、FiLM条件付け)に依存しており、最適以下のメモリ利用と破滅的な忘れを招いている。
適応階層圧縮(Adaptive Hierarchical Compression, AHC)は,(1)5つの内ループステップで各タスクに勾配勾配で順応する真のMAMLベースの圧縮,(2)大規模マルチスケール圧縮(P3の8:1, P4の6.4:1, P5の4:1)とFPN冗長性パターンのマッチング,(3)100KBの予算下での短期的および長期的統合を組み合わせたデュアルメモリアーキテクチャである。
ε が圧縮誤差、T がタスクカウント、M がメモリサイズである O(ε{sq.root(T)} + 1/{sq.root(M)}) として、破滅的忘れを境界とする公式な理論的保証を提供する。
CORe50, TiROD, PASCAL VOCベンチマークと3つの標準ベースライン(Fine-tuning, EWC, iCaRL)を用いた実験により, AHCは100KBの再生予算内で実用的な連続的な検出が可能であり, 平均プール圧縮された特徴リプレイとEWCの正規化と特徴蒸留を組み合わせた競合精度が得られた。
関連論文リスト
- CLAD: Efficient Log Anomaly Detection Directly on Compressed Representations [2.487363589269089]
圧縮バイトストリーム上でLADを直接実行する最初のディープラーニングフレームワークであるCLADを紹介する。
本稿では,拡張畳み込みバイトエンコーダ,ハイブリッドトランスフォーマー--mLSTM,4方向アグリゲーションプールを統合した汎用アーキテクチャを提案する。
CLADは5つのデータセットで評価され、最先端の平均F1スコアは0.9909であり、最高のベースラインを2.72ポイント上回る。
論文 参考訳(メタデータ) (2026-04-14T17:57:01Z) - EchoKV: Efficient KV Cache Compression via Similarity-Based Reconstruction [55.026048429595384]
EchoKVは、標準と圧縮された推論間のオンデマンド移行を可能にする柔軟なKVキャッシュ圧縮スキームである。
高速で低コストなトレーニングを可能にする2段階の微調整戦略を導入する。
論文 参考訳(メタデータ) (2026-03-24T07:58:42Z) - SPQ: An Ensemble Technique for Large Language Model Compression [1.2891210250935148]
SPQ(SVD-Pruning-Quantization)は,大規模言語モデルLLM圧縮のためのアンサンブル手法である。
最大75%のメモリ削減を実現し、パープレキシティを維持または改善する。
GPTQよりも推論を改善し、最大1.9倍のスピードアップを達成する。
論文 参考訳(メタデータ) (2026-02-20T18:44:16Z) - Arbitrary Ratio Feature Compression via Next Token Prediction [52.10426317889982]
Arbitrary Ratio Feature Compression (ARFC)フレームワークは、任意の圧縮比を単一のモデルでサポートする。
ARCは、次の回帰予測によって圧縮を行う自動回帰モデルである。
MoSモジュールは複数の圧縮結果を利用して圧縮トークンを洗練する。
ERGCは、圧縮中の意味的および構造的関係を維持するために、トレーニングプロセスに統合される。
論文 参考訳(メタデータ) (2026-02-12T02:38:57Z) - HPM-KD: Hierarchical Progressive Multi-Teacher Framework for Knowledge Distillation and Efficient Model Compression [0.0]
HPM-KD: 85%の精度保持を維持しながら10x-15x圧縮を実現する。
並列化によってトレーニング時間を30~40%短縮する。
論文 参考訳(メタデータ) (2025-12-10T18:15:15Z) - PMKLC: Parallel Multi-Knowledge Learning-based Lossless Compression for Large-Scale Genomics Database [9.687284031748792]
提案するアンダーライン型アンダーラインKnowledgeアンダーラインラーニングベースアンダーライン圧縮機 (PMKLC) は4つの重要な設計である。
PMKLC-S/Mと14のベースラインを、異なる種とデータサイズを持つ15の現実世界データセットでベンチマークする。
PMKLC-S/Mは平均圧縮比を73.609%、73.480%に改善し、平均スループットを3.036に改善した。
論文 参考訳(メタデータ) (2025-07-17T05:46:08Z) - R1-Compress: Long Chain-of-Thought Compression via Chunk Compression and Search [61.4807238517108]
CoT(Chain-of-Thought)推論は、ステップバイステップの問題解決を可能にすることで、大きな言語モデル(LLM)を強化する。
CoTのLong-CoTへの拡張はトークン長の増加による計算オーバーヘッドを大幅に増加させる。
ローカル情報とコヒーレンスの両方を保存する2段階のチャンクレベル圧縮フレームワークであるR1-Compressを提案する。
論文 参考訳(メタデータ) (2025-05-22T16:06:59Z) - LoRC: Low-Rank Compression for LLMs KV Cache with a Progressive Compression Strategy [59.1298692559785]
キーバリュー(KV)キャッシュは、トランスフォーマーベースの自己回帰型大言語モデル(LLM)を提供する上で重要なコンポーネントである。
この問題を緩和するためのアプローチとしては、(1) アップサイクルステージに統合された効率的な注意変動、(2) テスト時のKVキャッシュ圧縮、(3) テスト時のKVキャッシュ圧縮がある。
そこで我々は,KV重み行列の低ランク近似を提案し,モデル再学習なしに既存のトランスフォーマーベースLCMとのプラグイン統合を実現する。
本手法は,テスト段階におけるアップサイクリング段階のモデルチューニングやタスク固有のプロファイリングを伴わずに機能するように設計されている。
論文 参考訳(メタデータ) (2024-10-04T03:10:53Z) - LoCoCo: Dropping In Convolutions for Long Context Compression [77.26610232994508]
本稿では,Long Context Compression(LoCoCo)のための新しいアプローチであるDropping In Convolutionsを提案する。
LoCoCoは、固定サイズキーバリュー(KV)キャッシュのみを使用し、推論と微調整の両方のステージで効率を向上させることができる。
論文 参考訳(メタデータ) (2024-06-08T01:35:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。