論文の概要: LeanTTA: A Backpropagation-Free and Stateless Approach to Quantized Test-Time Adaptation on Edge Devices

• arxiv url: http://arxiv.org/abs/2503.15889v1
• Date: Thu, 20 Mar 2025 06:27:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-21 16:35:33.461058
• Title: LeanTTA: A Backpropagation-Free and Stateless Approach to Quantized Test-Time Adaptation on Edge Devices
• Title（参考訳）: LeanTTA: エッジデバイス上での量子テスト時間適応に対するバックプロパゲーションフリーでステートレスなアプローチ
• Authors: Cynthia Dong, Hong Jia, Young D. Kwon, Georgios Rizos, Cecilia Mascolo,
• Abstract要約: 本稿では、エッジデバイスに適した量子化テスト時間適応のための、バックプロパゲーションフリーでステートレスな新しいフレームワークであるLeanTTAを紹介する。 バックプロパゲーションなしで正規化統計を動的に更新することで計算コストを最小化する。 我々は,センサのモダリティにまたがる枠組みを検証し,最先端のTTA手法よりも大幅に改善したことを示す。
• 参考スコア（独自算出の注目度）: 13.355021314836852
• License:
• Abstract: While there are many advantages to deploying machine learning models on edge devices, the resource constraints of mobile platforms, the dynamic nature of the environment, and differences between the distribution of training versus in-the-wild data make such deployments challenging. Current test-time adaptation methods are often memory-intensive and not designed to be quantization-compatible or deployed on low-resource devices. To address these challenges, we present LeanTTA, a novel backpropagation-free and stateless framework for quantized test-time adaptation tailored to edge devices. Our approach minimizes computational costs by dynamically updating normalization statistics without backpropagation, which frees LeanTTA from the common pitfall of relying on large batches and historical data, making our method robust to realistic deployment scenarios. Our approach is the first to enable further computational gains by combining partial adaptation with quantized module fusion. We validate our framework across sensor modalities, demonstrating significant improvements over state-of-the-art TTA methods, including a 15.7% error reduction, peak memory usage of only 11.2MB for ResNet18, and fast adaptation within an order-of-magnitude of normal inference speeds on-device. LeanTTA provides a robust solution for achieving the right trade offs between accuracy and system efficiency in edge deployments, addressing the unique challenges posed by limited data and varied operational conditions.
• Abstract（参考訳）: エッジデバイスに機械学習モデルをデプロイするには、多くの利点があるが、モバイルプラットフォームのリソース制約、環境の動的な性質、トレーニングの分散と現場のデータの違いは、そのようなデプロイメントを困難にしている。 現在のテスト時間適応法はメモリ集約的であり、量子化互換や低リソースデバイスにデプロイするように設計されていないことが多い。 これらの課題に対処するために、エッジデバイスに適した定量化テスト時間適応のための、バックプロパゲーションフリーでステートレスな新しいフレームワークであるLeanTTAを紹介します。 提案手法は,バックプロパゲーションなしで正規化統計を動的に更新することにより,計算コストを最小化する。 我々の手法は、部分的適応と量子化モジュール融合を組み合わせることで、さらなる計算ゲインを可能にする最初の方法である。 本稿では,センサのモダリティにまたがって,15.7%のエラー削減,ResNet18では11.2MBのピークメモリ使用,デバイス上での通常の推論速度のオーダー・オブ・マグニチュードでの高速適応など,最先端のTTA手法に対する大幅な改善を示す。 LeanTTAは、エッジデプロイメントにおける正確性とシステム効率の適切なトレードオフを達成するための堅牢なソリューションを提供する。

関連論文リスト

• Towards Resource-Efficient Federated Learning in Industrial IoT for Multivariate Time Series Analysis [50.18156030818883]
  異常と欠落したデータは、産業応用における厄介な問題を構成する。 ディープラーニングによる異常検出が重要な方向として現れている。 エッジデバイスで収集されたデータは、ユーザのプライバシを含む。
  論文  参考訳（メタデータ） (2024-11-06T15:38:31Z)
• Test-Time Model Adaptation with Only Forward Passes [68.11784295706995]
  テストタイム適応は、トレーニング済みのモデルを、潜在的に分布シフトのある未確認テストサンプルに適応させるのに有効であることが証明されている。 テスト時間フォワード最適化適応法(FOA)を提案する。 FOAは量子化された8ビットのViTで動作し、32ビットのViTで勾配ベースのTENTより優れ、ImageNet-Cで最大24倍のメモリ削減を実現する。
  論文  参考訳（メタデータ） (2024-04-02T05:34:33Z)
• Towards Continual Learning Desiderata via HSIC-Bottleneck Orthogonalization and Equiangular Embedding [55.107555305760954]
  本稿では,レイヤワイドパラメータのオーバーライトや決定境界の歪みに起因する,概念的にシンプルで効果的な手法を提案する。 提案手法は,ゼロの指数バッファと1.02倍の差が絶対的に優れていても,競争精度が向上する。
  論文  参考訳（メタデータ） (2024-01-17T09:01:29Z)
• Layer-wise Auto-Weighting for Non-Stationary Test-Time Adaptation [40.03897994619606]
  連続的および漸進的TTAのためのレイヤワイド自動重み付けアルゴリズムを提案する。 そこで我々は,指数関数的な min-maxスケーラを提案し,外圧を緩和しながら,特定の層をほぼ凍結させる。 CIFAR-10C, CIFAR-100C, ImageNet-Cを用いた実験により, 従来の連続TTA法および漸進TTA法よりも優れた性能を示した。
  論文  参考訳（メタデータ） (2023-11-10T03:54:40Z)
• REALM: Robust Entropy Adaptive Loss Minimization for Improved Single-Sample Test-Time Adaptation [5.749155230209001]
  フルテスト時間適応(F-TTA)は、列車とテストデータの分散シフトによる性能損失を軽減することができる。 本稿では,F-TTAの雑音に対する堅牢性向上のための一般的な枠組みについて述べる。
  論文  参考訳（メタデータ） (2023-09-07T18:44:58Z)
• AQUILA: Communication Efficient Federated Learning with Adaptive Quantization in Device Selection Strategy [27.443439653087662]
  本稿では,これらの問題に対処するために考案された新しい適応型フレームワークであるAQUILA(Adaptive Quantization in Device selection Strategy)を紹介する。 AQUILAは、デバイス更新の品質と有用性を優先する高度なデバイス選択方法を統合する。 実験の結果,AQUILAは既存の手法に比べて通信コストを大幅に削減できることがわかった。
  論文  参考訳（メタデータ） (2023-08-01T03:41:47Z)
• Energy-efficient Task Adaptation for NLP Edge Inference Leveraging Heterogeneous Memory Architectures [68.91874045918112]
  Adapter-ALBERTは、様々なタスクにわたる最大データ再利用のための効率的なモデル最適化である。 検証されたNLPエッジアクセラレータ上でシミュレーションを行うことにより、モデルを不均一なオンチップメモリアーキテクチャにマッピングする利点を実証する。
  論文  参考訳（メタデータ） (2023-03-25T14:40:59Z)
• Distributed Learning in Heterogeneous Environment: federated learning with adaptive aggregation and computation reduction [37.217844795181975]
  異種データ、時間的変化のある無線条件、コンピューティングに制限のあるデバイスは3つの大きな課題である。 これらの課題に対処するための戦略を提案する。 提案手法は, 適度な遅延環境下で最大15ラウンドの通信遅延を許容できる。
  論文  参考訳（メタデータ） (2023-02-16T16:32:54Z)
• Adaptive Anomaly Detection for Internet of Things in Hierarchical Edge Computing: A Contextual-Bandit Approach [81.5261621619557]
  階層エッジコンピューティング(HEC)を用いた適応型異常検出手法を提案する。 まず,複雑性を増した複数のDNNモデルを構築し,それぞれを対応するHEC層に関連付ける。 そこで我々は、文脈帯域問題として定式化され、強化学習ポリシーネットワークを用いて解決される適応モデル選択スキームを設計する。
  論文  参考訳（メタデータ） (2021-08-09T08:45:47Z)
• An Image Enhancing Pattern-based Sparsity for Real-time Inference on Mobile Devices [58.62801151916888]
  パターンと接続性を組み合わせた新しい空間空間,すなわちパターンベースの空間空間を導入し,高度に正確かつハードウェアに親しみやすいものにした。 新たなパターンベースの空間性に対する我々のアプローチは,モバイルプラットフォーム上での高効率DNN実行のためのコンパイラ最適化に自然に適合する。
  論文  参考訳（メタデータ） (2020-01-20T16:17:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。