論文の概要: Adaptive Test-Time Augmentation for Low-Power CPU
- arxiv url: http://arxiv.org/abs/2105.06183v1
- Date: Thu, 13 May 2021 10:50:13 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-14 14:02:15.744372
- Title: Adaptive Test-Time Augmentation for Low-Power CPU
- Title(参考訳): 低消費電力cpuの適応テスト時間拡張
- Authors: Luca Mocerino, Roberto G. Rizzo, Valentino Peluso, Andrea Calimera,
Enrico Macii
- Abstract要約: Test-Time Augmentation (TTA)テクニックは、推論時にそのような一般的な副作用を軽減することを目的とする。
本稿では,フィードフォワード回数を動的に制御するTTAの適応的実装であるAdapTTAを提案する。
商用ARM Cortex-A CPUにデプロイされた画像分類のための最新のConvNetsに関する実験結果では、AdapTTAが驚くべき遅延節約を達成している。
- 参考スコア(独自算出の注目度): 3.5473686344971416
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Convolutional Neural Networks (ConvNets) are trained offline using the few
available data and may therefore suffer from substantial accuracy loss when
ported on the field, where unseen input patterns received under unpredictable
external conditions can mislead the model. Test-Time Augmentation (TTA)
techniques aim to alleviate such common side effect at inference-time, first
running multiple feed-forward passes on a set of altered versions of the same
input sample, and then computing the main outcome through a consensus of the
aggregated predictions. Unfortunately, the implementation of TTA on embedded
CPUs introduces latency penalties that limit its adoption on edge applications.
To tackle this issue, we propose AdapTTA, an adaptive implementation of TTA
that controls the number of feed-forward passes dynamically, depending on the
complexity of the input. Experimental results on state-of-the-art ConvNets for
image classification deployed on a commercial ARM Cortex-A CPU demonstrate
AdapTTA reaches remarkable latency savings, from 1.49X to 2.21X, and hence a
higher frame rate compared to static TTA, still preserving the same accuracy
gain.
- Abstract(参考訳): 畳み込みニューラルネットワーク(ConvNets)は、利用可能な数少ないデータを使用してオフラインでトレーニングされるため、予測不可能な外部条件下で受信された未知の入力パターンがモデルを誤解させるようなフィールドへの移植時にかなりの精度の損失を被る可能性がある。
Test-Time Augmentation (TTA) 技術は、推論時にそのような共通副作用を軽減することを目的としており、まず複数のフィードフォワードパスを同じ入力サンプルの一連の変更バージョンで実行し、次に集約された予測のコンセンサスを通じて主要な結果を計算する。
残念なことに、組み込みCPUへのTTAの実装は、エッジアプリケーションへの採用を制限する遅延ペナルティを導入している。
本稿では、入力の複雑さに応じてフィードフォワードパス数を動的に制御するTTAの適応的実装であるAdapTTAを提案する。
商用のARM Cortex-A CPU上に展開された画像分類のための最先端のConvNetの実験結果は、AdapTTAが1.49Xから2.21Xまでの驚くべきレイテンシの節約を達成したことを実証している。
関連論文リスト
- Test-Time Model Adaptation with Only Forward Passes [68.11784295706995]
テストタイム適応は、トレーニング済みのモデルを、潜在的に分布シフトのある未確認テストサンプルに適応させるのに有効であることが証明されている。
テスト時間フォワード最適化適応法(FOA)を提案する。
FOAは量子化された8ビットのViTで動作し、32ビットのViTで勾配ベースのTENTより優れ、ImageNet-Cで最大24倍のメモリ削減を実現する。
論文 参考訳(メタデータ) (2024-04-02T05:34:33Z) - E2USD: Efficient-yet-effective Unsupervised State Detection for Multivariate Time Series [18.02694168117277]
本稿では,効率的な非教師付き状態検出を可能にするE2Usdを提案する。
E2UsdはFast Fourier TransformベースのTime SeriesとDecomposed Dual-view Embedding Moduleを利用している。
また,偽陰性の影響を抑えるために,偽陰性キャンセレーションコントラスト学習法を提案する。
論文 参考訳(メタデータ) (2024-02-21T10:16:57Z) - Optimization-Free Test-Time Adaptation for Cross-Person Activity
Recognition [30.350005654271868]
Test-Time Adaptationは、テストストリームを使用して、リアルタイムの推論で予測を調整することを目的としている。
計算コストが高いため、リソース制約のあるエッジデバイス上での動作が困難になる。
センサベースHARのための最適化自由テスト時間適応フレームワークを提案する。
論文 参考訳(メタデータ) (2023-10-28T02:20:33Z) - Decoder Tuning: Efficient Language Understanding as Decoding [84.68266271483022]
本稿では,タスク固有のデコーダネットワークを出力側で最適化するデコーダチューニング(DecT)を提案する。
勾配ベースの最適化により、DecTは数秒以内にトレーニングでき、サンプル毎に1つのPクエリしか必要としない。
我々は、広範囲にわたる自然言語理解実験を行い、DecTが200ドル以上のスピードアップで最先端のアルゴリズムを大幅に上回っていることを示す。
論文 参考訳(メタデータ) (2022-12-16T11:15:39Z) - Design and Prototyping Distributed CNN Inference Acceleration in Edge
Computing [85.74517957717363]
HALPはエッジコンピューティングにおけるエッジデバイス(ED)間のシームレスなコラボレーションを設計することで推論を加速する。
実験により、分散推論HALPはVGG-16に対して1.7倍の推論加速を達成することが示された。
分散推論HALPを用いたモデル選択は,サービスの信頼性を著しく向上させることができる。
論文 参考訳(メタデータ) (2022-11-24T19:48:30Z) - Robust Continual Test-time Adaptation: Instance-aware BN and
Prediction-balanced Memory [58.72445309519892]
テストデータストリーム以外のデータストリームに対して堅牢な新しいテスト時間適応方式を提案する。
a)分布外サンプルの正規化を修正するIABN(Instance-Aware Batch Normalization)と、(b)クラスバランスのない方法で非i.d.ストリームからのデータストリームをシミュレートするPBRS(Predict- Balanced Reservoir Sampling)である。
論文 参考訳(メタデータ) (2022-08-10T03:05:46Z) - Adaptive Anomaly Detection for Internet of Things in Hierarchical Edge
Computing: A Contextual-Bandit Approach [81.5261621619557]
階層エッジコンピューティング(HEC)を用いた適応型異常検出手法を提案する。
まず,複雑性を増した複数のDNNモデルを構築し,それぞれを対応するHEC層に関連付ける。
そこで我々は、文脈帯域問題として定式化され、強化学習ポリシーネットワークを用いて解決される適応モデル選択スキームを設計する。
論文 参考訳(メタデータ) (2021-08-09T08:45:47Z) - AQD: Towards Accurate Fully-Quantized Object Detection [94.06347866374927]
本稿では,浮動小数点演算を除去するために,AQDと呼ばれる高精度な量子化オブジェクト検出ソリューションを提案する。
我々のAQDは、非常に低ビットのスキームの下での完全精度と比較して、同等またはそれ以上の性能を実現しています。
論文 参考訳(メタデータ) (2020-07-14T09:07:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。