論文の概要: LipCache: A Local Inference Proxy with Certified Caching for Edge Image Classification Service
- arxiv url: http://arxiv.org/abs/2608.13144v1
- Date: Thu, 13 Aug 2026 12:16:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-14 18:29:38.513699
- Title: LipCache: A Local Inference Proxy with Certified Caching for Edge Image Classification Service
- Title（参考訳）: LipCache:エッジイメージ分類サービス用の認証キャッシングを備えたローカル推論プロキシ
- Abstract要約: textttLipCacheは、画像分類のための認定セマンティックキャッシュフレームワークである。
textttGuardNetは、入力をリプシッツ制約を受ける低次元の特徴空間にマップする。
textttLipCacheは、最大で1.65タイムのスピードアップを実現し、エンドツーエンドの精度の低下が制限される。
- 参考スコア（独自算出の注目度）: 8.191333850528093
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: As edge-side vision services continue to expand toward low-latency, high-throughput scenarios, reducing the inference cost of vision models without sacrificing reliability has become a central concern. Existing semantic caching methods largely rely on empirical similarity thresholds; while such thresholds improve hit rates, they tend to introduce silent misclassifications near decision boundaries. To address this, we propose \texttt{LipCache}, a certified semantic caching framework for image classification. Without modifying the existing deployed main model, \texttt{MainNet}, the framework introduces a lightweight network, \texttt{GuardNet}, that maps inputs into a low-dimensional feature space subject to a Lipschitz constraint. It then computes a per-sample certified reuse radius from the local classification margin and the spectral norm of the classification head. At runtime, a cached result is reused only when the query feature falls inside the certified reuse ball; otherwise, the query falls back to \texttt{MainNet}. Thus, cache hits are transformed from empirical threshold tests into geometric certification decisions with explicit theoretical boundaries. Across standard image classification tasks like CIFAR, Tiny-ImageNet, and SVHN, \texttt{LipCache} achieves a measured speedup of up to $1.65\times$ with limited end-to-end accuracy degradation, while all accepted cache hits satisfy the \texttt{GuardNet}-side certified-consistency condition. Furthermore, an enhanced \texttt{GuardNet} training recipe substantially improves cache hit rates in the Tiny-ImageNet multi-class extension while maintaining a certified-consistency rate of $100\%$. These results demonstrate that per-sample certified reuse can reduce main-model fallback while preserving theoretical consistency, providing a feasible approach to reliable cache-assisted inference at the edge.
- Abstract（参考訳）: エッジサイドのビジョンサービスは、低レイテンシ、高スループットのシナリオへと拡大し続けており、信頼性を犠牲にすることなく、ビジョンモデルの推論コストを削減できることが、中心的な関心事となっている。
既存のセマンティックキャッシング手法は経験的類似性しきい値に大きく依存しており、これらのしきい値がヒット率を改善する一方で、決定境界付近でサイレントな誤分類を導入する傾向にある。
これを解決するために、画像分類のための認証セマンティックキャッシングフレームワークである \texttt{LipCache} を提案する。
このフレームワークは、既存のデプロイされたメインモデルである \texttt{MainNet} を変更することなく、軽量ネットワークである \texttt{GuardNet} を導入している。
次に、局所的な分類マージンと分類ヘッドのスペクトルノルムから、サンプルごとの認定された再利用半径を計算する。
実行時にキャッシュされた結果が再利用されるのは、認証された再利用ボールの中にクエリ機能が落ちたときのみである。
したがって、キャッシュヒットは経験的しきい値テストから、明示的な理論的境界を持つ幾何的認証決定に変換される。
CIFAR、Tiny-ImageNet、SVHNのような標準的な画像分類タスク全体で、 \texttt{LipCache} は最大1.65\times$で、エンドツーエンドの精度の低下を制限し、全てのキャッシュヒットは \texttt{GuardNet} 側の認証一貫性条件を満たす。
さらに、強化された‘texttt{GuardNet}トレーニングレシピは、Tiny-ImageNetマルチクラス拡張におけるキャッシュヒット率を大幅に改善すると同時に、認証一貫性レートが100\%$を維持している。
これらの結果は、サンプルごとの認証された再利用により、理論的整合性を維持しながらメインモデルへのフォールバックを低減できることを示し、エッジでの信頼性の高いキャッシュアシスト推論に実現可能なアプローチを提供する。
関連論文リスト
- Towards Purified Multi-Label Test-Time Adaptation of Vision-Language Models [81.26524429852992]
PuRFは、視覚言語モデルの多ラベルテスト時間適応のための新しいPuRiFication駆動キャッシュベースの手法である。
PuRFは最先端の手法を一貫して上回り、ViT-B/32では5つのデータセットで4.05%のmAP改善を実現している。
論文 参考訳（メタデータ） (2026-08-26T11:36:11Z) - Closing the Calibration Gap in Semantic Caching [0.07456526005219319]
PR-AUC が最も高いセマンティックキャッシングモデルが動作上で最悪の場合が多いことを示す。
キャッシュ利用レベルの精度を測定するキャッシュ対応指標であるP-CHR(Precision-Cache Hit Ratio)とRetention Rate(Retention Rate)を紹介する。
実験の結果, キャリブレーションギャップはデータスケールではなくトレーニング目標によって制御され, ポストホックキャリブレーションは部分的には閉じていることがわかった。
論文 参考訳（メタデータ） (2026-06-18T02:34:33Z) - Sparse Prefix Caching for Hybrid and Recurrent LLM Serving [0.7284556903703034]
重なり合う深さの分布の下で,スパースプレフィックスキャッシングをチェックポイント配置として定式化する。
リクエストが非自明なプレフィックスを共有する場合、実世界のデータ上で標準非対称性によって追跡されるフロンティアを一貫して改善することを示す。
正確な出力を保持し、リカレント計算自体を変更したり、新しいリカレント更新カーネルを必要としたりしない。
論文 参考訳（メタデータ） (2026-04-17T09:24:58Z) - Stochastic KV Routing: Enabling Adaptive Depth-Wise Cache Sharing [29.913403615975174]
高いスループットでトランスフォーマー言語モデルを実行するには、冗長な計算を避けるためにキーバリュー(KV)をキャッシュする必要がある。
KVキャッシュのメモリフットプリントは著しく、サービスコストに大きな影響を与えます。
本稿では,ランダムな層間注意(ランダムな層間注意,ランダムな層間注意,ランダムな層間注意)を提案する。
論文 参考訳（メタデータ） (2026-04-03T14:56:17Z) - SenCache: Accelerating Diffusion Model Inference via Sensitivity-Aware Caching [75.02865981328509]
キャッシュは、以前計算されたモデル出力をタイムステップで再利用することで計算を減らす。
本稿では,動的キャッシュポリシーであるSensitivity-Aware Caching(SenCache)を提案する。
SenCacheは、同様の計算予算の下で、既存のキャッシュメソッドよりも視覚的品質が向上する。
論文 参考訳（メタデータ） (2026-02-27T17:36:09Z) - Advancing Cache-Based Few-Shot Classification via Patch-Driven Relational Gated Graph Attention [3.4693817403659515]
限られた監督下では、画像の分類は困難である。
最近のキャッシュベースの適応アプローチ(例えば、Tip-Adapter)は、この課題をある程度解決している。
画像内パッチ依存関係からキャッシュアダプタ重みを学習する,パッチ駆動リレーショナルリレーショナルリフレクションを導入する。
論文 参考訳（メタデータ） (2025-12-13T23:53:00Z) - FastCache: Fast Caching for Diffusion Transformer Through Learnable Linear Approximation [43.83288560196838]
DiT (Diffusion Transformer) は強力な生成モデルであるが、その反復構造と深部変圧器スタックのために計算集約性を維持している。
FastCacheは、DiT推論を高速化する隠れ状態レベルのキャッシュおよび圧縮フレームワークである。
複数のDiT変種にまたがる実証的な評価は、レイテンシとメモリ使用量の大幅な削減を示している。
論文 参考訳（メタデータ） (2025-05-26T05:58:49Z) - QuantCache: Adaptive Importance-Guided Quantization with Hierarchical Latent and Layer Caching for Video Generation [84.91431271257437]
Diffusion Transformers (DiTs) はビデオ生成において支配的なアーキテクチャとして登場した。
DiTには、計算コストやメモリコストの増大など、大きな欠点がある。
我々は,新しいトレーニングフリー推論アクセラレーションフレームワークQuantCacheを提案する。
論文 参考訳（メタデータ） (2025-03-09T10:31:51Z) - vCache: Verified Semantic Prompt Caching [95.16654660556975]
本稿では,ユーザ定義エラー率保証を備えた最初の検証済みセマンティックキャッシュであるvCacheを提案する。
オンライン学習アルゴリズムを使用して、キャッシュされたプロンプト毎に最適な閾値を推定し、追加のトレーニングなしで信頼性の高いキャッシュ応答を可能にする。
我々の実験によると、vCacheは特定のエラー境界を一貫して満たし、最先端の静的な閾値と微調整された埋め込みベースラインより優れています。
論文 参考訳（メタデータ） (2025-02-06T04:16:20Z) - Adaptive Hierarchical Certification for Segmentation using Randomized Smoothing [87.48628403354351]
機械学習の認証は、特定の条件下では、敵対的なサンプルが特定の範囲内でモデルを回避できないことを証明している。
セグメンテーションの一般的な認証方法は、平らな粒度のクラスを使い、モデルの不確実性による高い断続率をもたらす。
本稿では,複数レベルの階層内で画素を認証し,不安定なコンポーネントに対して粗いレベルに適応的に認証を緩和する,新しい,より実用的な設定を提案する。
論文 参考訳（メタデータ） (2024-02-13T11:59:43Z) - Unlocking Deterministic Robustness Certification on ImageNet [39.439003787779434]
本稿では,より大規模でより深いモデルに頑健なトレーニングを拡大するための戦略について検討する。
従来のResNetに対するリプシッツ定数のバウンディングの高速な方法が緩やかであることを示し、新しい残差ブロックを設計してこの問題に対処する方法を示す。
私たちはImageNetに高速な決定論的堅牢性保証をスケールアップすることができ、この堅牢性学習へのアプローチが現実世界のアプリケーションに適用可能であることを実証しています。
論文 参考訳（メタデータ） (2023-01-29T21:40:04Z) - Accelerating Deep Learning Classification with Error-controlled
Approximate-key Caching [72.50506500576746]
我々は、近似キーキャッシングと名付けた新しいキャッシングパラダイムを提案する。
近似キャッシュはDL推論の負荷を軽減し、システムのスループットを向上するが、近似誤差を導入する。
我々は古典的なLRUと理想的なキャッシュのキャッシュシステム性能を解析的にモデル化し、期待される性能のトレース駆動評価を行い、提案手法の利点を最先端の類似キャッシュと比較した。
論文 参考訳（メタデータ） (2021-12-13T13:49:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。