論文の概要: AdaShadow: Responsive Test-time Model Adaptation in Non-stationary Mobile Environments

• arxiv url: http://arxiv.org/abs/2410.08256v1
• Date: Thu, 10 Oct 2024 16:41:39 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-31 04:26:09.217245
• Title: AdaShadow: Responsive Test-time Model Adaptation in Non-stationary Mobile Environments
• Title（参考訳）: AdaShadow:非定常移動環境における応答性テストタイムモデル適応
• Authors: Cheng Fang, Sicong Liu, Zimu Zhou, Bin Guo, Jiaqi Tang, Ke Ma, Zhiwen Yu,
• Abstract要約: 本稿では,非定常移動データ配信と資源動態のための応答性テスト時間適応フレームワークであるAdaShadowを提案する。 AdaShadowは、レイヤの重要度とレイテンシを推定する上での課題と、最適なレイヤ更新計画のスケジューリングに対処する。 その結果,AdaShadowは連続的なシフトの下で最高の精度-遅延バランスを達成することがわかった。
• 参考スコア（独自算出の注目度）: 24.606016498430407
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: On-device adapting to continual, unpredictable domain shifts is essential for mobile applications like autonomous driving and augmented reality to deliver seamless user experiences in evolving environments. Test-time adaptation (TTA) emerges as a promising solution by tuning model parameters with unlabeled live data immediately before prediction. However, TTA's unique forward-backward-reforward pipeline notably increases the latency over standard inference, undermining the responsiveness in time-sensitive mobile applications. This paper presents AdaShadow, a responsive test-time adaptation framework for non-stationary mobile data distribution and resource dynamics via selective updates of adaptation-critical layers. Although the tactic is recognized in generic on-device training, TTA's unsupervised and online context presents unique challenges in estimating layer importance and latency, as well as scheduling the optimal layer update plan. AdaShadow addresses these challenges with a backpropagation-free assessor to rapidly identify critical layers, a unit-based runtime predictor to account for resource dynamics in latency estimation, and an online scheduler for prompt layer update planning. Also, AdaShadow incorporates a memory I/O-aware computation reuse scheme to further reduce latency in the reforward pass. Results show that AdaShadow achieves the best accuracy-latency balance under continual shifts. At low memory and energy costs, Adashadow provides a 2x to 3.5x speedup (ms-level) over state-of-the-art TTA methods with comparable accuracy and a 14.8% to 25.4% accuracy boost over efficient supervised methods with similar latency.
• Abstract（参考訳）: 継続的かつ予測不可能なドメインシフトへのオンデバイス適応は、進化する環境においてシームレスなユーザエクスペリエンスを提供するために、自律運転や拡張現実といったモバイルアプリケーションにとって不可欠である。 テスト時間適応(TTA)は、予測直前に未ラベルのライブデータでモデルパラメータをチューニングすることで、有望なソリューションとして現れる。 しかし、TTAの独特なフォワード-バック-リフォワードパイプラインは、標準推論よりも遅延を増大させ、時間に敏感なモバイルアプリケーションの応答性を損なう。 本稿では,AdaShadowを提案する。AdaShadowは,非定常なモバイルデータ配信とリソースダイナミクスのための応答性テスト時適応フレームワークである。 一般的なオンデバイストレーニングではこの戦術が認識されているが、TTAの教師なしオンラインコンテキストは、レイヤの重要度と遅延を推定し、最適なレイヤ更新計画をスケジューリングする上で、ユニークな課題を提示する。 AdaShadow氏はこれらの課題に対処するため、重要なレイヤを迅速に特定するためのバックプロパゲーションフリーアセスメント、レイテンシ推定のリソースダイナミクスを考慮に入れたユニットベースのランタイム予測器、レイヤ更新計画のプロンプトのためのオンラインスケジューラで対処している。 また、AdaShadowにはメモリI/O対応の計算再利用方式が組み込まれている。 その結果,AdaShadowは連続的なシフトの下で最高の精度-遅延バランスを達成することがわかった。 メモリとエネルギーのコストが低い場合、Adashadowは最先端のTTA方式よりも2倍から3.5倍のスピードアップ(msレベル)を提供し、14.8%から25.4%の精度で同様のレイテンシを持つ効率的な教師付き手法よりも向上する。

関連論文リスト

• PreMixer: MLP-Based Pre-training Enhanced MLP-Mixers for Large-scale Traffic Forecasting [30.055634767677823]
  都市コンピューティングでは,交通ネットワークからの時系列データの正確かつ迅速な予測が重要である。 現在の研究制限は、モデル固有の非効率性と、モデル複雑さによる大規模トラフィックアプリケーションに対する不適合性のためである。 本稿では,このギャップを埋めるための新しいフレームワークPreMixerを提案する。MLP(Multi-Layer Perceptrons)の原理に基づく予測モデルと事前学習機構を特徴とする。 我々のフレームワークは,大規模トラフィックデータセットの広範な実験により検証され,高い計算効率を維持しながら,同等の最先端性能を実現している。
  論文  参考訳（メタデータ） (2024-12-18T08:35:40Z)
• STGformer: Efficient Spatiotemporal Graph Transformer for Traffic Forecasting [11.208740750755025]
  交通はスマートシティマネジメントの基盤であり、効率的なアロケーションと交通計画を可能にしている。 ディープラーニングは、データの複雑な非線形パターンをキャプチャする能力を持ち、トラフィック予測の強力なツールとして登場した。 グラフニューラルネットワーク(GCN)とトランスフォーマーベースのモデルは、将来性を示しているが、その計算要求はしばしば、現実のネットワークへの応用を妨げる。 本稿では,管理可能な計算フットプリントを維持しつつ,グローバルおよびローカルの両方のトラフィックパターンの効率的なモデリングを可能にする新しいテンポラルグラフトランスフォーマー(STG)アーキテクチャを提案する。
  論文  参考訳（メタデータ） (2024-10-01T04:15:48Z)
• Test-Time Model Adaptation with Only Forward Passes [68.11784295706995]
  テストタイム適応は、トレーニング済みのモデルを、潜在的に分布シフトのある未確認テストサンプルに適応させるのに有効であることが証明されている。 テスト時間フォワード最適化適応法(FOA)を提案する。 FOAは量子化された8ビットのViTで動作し、32ビットのViTで勾配ベースのTENTより優れ、ImageNet-Cで最大24倍のメモリ削減を実現する。
  論文  参考訳（メタデータ） (2024-04-02T05:34:33Z)
• SIMPL: A Simple and Efficient Multi-agent Motion Prediction Baseline for Autonomous Driving [27.776472262857045]
  本稿では,自動運転車のための簡易かつ効率的な運動予測ベースライン(SIMPL)を提案する。 メッセージ転送を対称的に行う,コンパクトで効率的なグローバル機能融合モジュールを提案する。 強力なベースラインとして、SIMPLはArgoverse 1と2のモーション予測ベンチマークで高い競争性能を示す。
  論文  参考訳（メタデータ） (2024-02-04T15:07:49Z)
• Layer-wise Auto-Weighting for Non-Stationary Test-Time Adaptation [40.03897994619606]
  連続的および漸進的TTAのためのレイヤワイド自動重み付けアルゴリズムを提案する。 そこで我々は,指数関数的な min-maxスケーラを提案し,外圧を緩和しながら,特定の層をほぼ凍結させる。 CIFAR-10C, CIFAR-100C, ImageNet-Cを用いた実験により, 従来の連続TTA法および漸進TTA法よりも優れた性能を示した。
  論文  参考訳（メタデータ） (2023-11-10T03:54:40Z)
• StreamYOLO: Real-time Object Detection for Streaming Perception [84.2559631820007]
  将来を予測する能力を備えたモデルを提供し、ストリーミング知覚の結果を大幅に改善する。 本稿では,複数の速度を駆動するシーンについて考察し,VasAP(Velocity-Awared streaming AP)を提案する。 本手法は,Argoverse-HDデータセットの最先端性能を実現し,SAPとVsAPをそれぞれ4.7%,VsAPを8.2%改善する。
  論文  参考訳（メタデータ） (2022-07-21T12:03:02Z)
• Real-time Object Detection for Streaming Perception [84.2559631820007]
  ストリーミング知覚は,ビデオオンライン知覚の1つの指標として,レイテンシと精度を共同評価するために提案される。 ストリーミング知覚のためのシンプルで効果的なフレームワークを構築します。 提案手法はArgoverse-HDデータセット上での競合性能を実現し,強力なベースラインに比べてAPを4.9%向上させる。
  論文  参考訳（メタデータ） (2022-03-23T11:33:27Z)
• Adaptive Anomaly Detection for Internet of Things in Hierarchical Edge Computing: A Contextual-Bandit Approach [81.5261621619557]
  階層エッジコンピューティング(HEC)を用いた適応型異常検出手法を提案する。 まず,複雑性を増した複数のDNNモデルを構築し,それぞれを対応するHEC層に関連付ける。 そこで我々は、文脈帯域問題として定式化され、強化学習ポリシーネットワークを用いて解決される適応モデル選択スキームを設計する。
  論文  参考訳（メタデータ） (2021-08-09T08:45:47Z)
• Amortized Auto-Tuning: Cost-Efficient Transfer Optimization for Hyperparameter Recommendation [83.85021205445662]
  本稿では,機械学習モデルのチューニングを高速化する自動チューニング(AT2)を提案する。 マルチタスクマルチ忠実ベイズ最適化フレームワークの徹底的な解析を行い、最適なインスタンス化-アモータイズ自動チューニング(AT2)を実現する。
  論文  参考訳（メタデータ） (2021-06-17T00:01:18Z)
• Deep Reinforcement Learning with Spatio-temporal Traffic Forecasting for Data-Driven Base Station Sleep Control [39.31623488192675]
  5G時代のモバイル交通需要の増加に対応するため、基地局(BS)は無線アクセスネットワーク(RAN)に密に展開され、ネットワークカバレッジと容量が向上しています。 BSの高密度はピークトラフィックに対応するために設計されているため、オフピーク時にBSがオンになっている場合、不必要に大量のエネルギーを消費します。 セルラーネットワークのエネルギー消費を抑えるために、交通需要に応えないアイドルベースステーションを非活性化する方法が効果的である。 本論文では,DeepBSC と呼ばれるトラフィック認識型動的 BS 睡眠制御フレームワークを開発した。
  論文  参考訳（メタデータ） (2021-01-21T01:39:42Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。