論文の概要: FoCTTA: Low-Memory Continual Test-Time Adaptation with Focus

• arxiv url: http://arxiv.org/abs/2502.20677v1
• Date: Fri, 28 Feb 2025 03:06:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-03 13:41:19.432690
• Title: FoCTTA: Low-Memory Continual Test-Time Adaptation with Focus
• Title（参考訳）: FoCTTA: フォーカスによる低メモリ連続テスト時間適応
• Authors: Youbing Hu, Yun Cheng, Zimu Zhou, Anqi Lu, Zhiqiang Cao, Zhijun Li,
• Abstract要約: FoCTTAは低メモリ領域シフト適応戦略である。 FCTTAはメモリ使用量を平均3倍に削減し,精度は8.1%,3.6%,0.2%向上した。
• 参考スコア（独自算出の注目度）: 16.31009600778205
• License:
• Abstract: Continual adaptation to domain shifts at test time (CTTA) is crucial for enhancing the intelligence of deep learning enabled IoT applications. However, prevailing TTA methods, which typically update all batch normalization (BN) layers, exhibit two memory inefficiencies. First, the reliance on BN layers for adaptation necessitates large batch sizes, leading to high memory usage. Second, updating all BN layers requires storing the activations of all BN layers for backpropagation, exacerbating the memory demand. Both factors lead to substantial memory costs, making existing solutions impractical for IoT devices. In this paper, we present FoCTTA, a low-memory CTTA strategy. The key is to automatically identify and adapt a few drift-sensitive representation layers, rather than blindly update all BN layers. The shift from BN to representation layers eliminates the need for large batch sizes. Also, by updating adaptation-critical layers only, FoCTTA avoids storing excessive activations. This focused adaptation approach ensures that FoCTTA is not only memory-efficient but also maintains effective adaptation. Evaluations show that FoCTTA improves the adaptation accuracy over the state-of-the-arts by 4.5%, 4.9%, and 14.8% on CIFAR10-C, CIFAR100-C, and ImageNet-C under the same memory constraints. Across various batch sizes, FoCTTA reduces the memory usage by 3-fold on average, while improving the accuracy by 8.1%, 3.6%, and 0.2%, respectively, on the three datasets.
• Abstract（参考訳）: テスト時のドメインシフトへの継続的な適応(CTTA)は、ディープラーニングが有効とするIoTアプリケーションのインテリジェンス向上に不可欠である。 しかしながら、一般的にすべてのバッチ正規化(BN)層を更新するTTAメソッドは、2つのメモリ非効率を示す。 まず、適応のためのBN層への依存は大きなバッチサイズを必要とし、高いメモリ使用率をもたらす。 第2に、すべてのBNレイヤを更新するには、バックプロパゲーションのためにすべてのBNレイヤのアクティベーションを格納する必要がある。 どちらの要因もメモリコストを大幅に上回っており、既存のソリューションはIoTデバイスでは実用的ではない。 本稿では,低メモリCTTA戦略であるFOCTTAを提案する。 鍵となるのは、BNレイヤをすべて盲目的に更新するのではなく、いくつかのドリフトに敏感な表現レイヤを自動的に識別し、適応することだ。 BNから表現層へのシフトは、大きなバッチサイズを必要としない。 また、適応クリティカルな層のみを更新することで、FOCTTAは過剰なアクティベーションの保存を避けることができる。 この適応アプローチにより、FOCTTAはメモリ効率だけでなく、効果的な適応も維持できる。 評価の結果、FOCTTAはCIFAR10-C、CIFAR100-C、ImageNet-Cの4.5%、4.9%、14.8%の適応精度を同じメモリ制約下で改善している。 バッチサイズによって、FoCTTAはメモリ使用量を平均3倍に削減し、精度を3つのデータセットでそれぞれ8.1%、3.6%、0.2%改善する。

関連論文リスト

• Adaptive Layer Selection for Efficient Vision Transformer Fine-Tuning [18.776903525210933]
  我々は、$textbfALaST$(textitAdaptive Layer Selection Fine-Tuning for Vision Transformers$)と呼ばれるViTの効率的な微調整方法を紹介した。 我々のアプローチは、すべての層が微調整中に等しく重要であるわけではなく、その重要性が現在のミニバッチによって異なるという観察に基づいている。 この適応型計算アロケーションは,計算資源の分散に最適に近いスケジュールを実現できることを示す。
  論文  参考訳（メタデータ） (2024-08-16T11:27:52Z)
• Contractive error feedback for gradient compression [60.05809370598166]
  本稿では,ConEF(Contractive error feedback)と呼ばれる通信効率のよい手法を提案する。 メモリを効率よく管理しないエラーフィードバック(EFSGD)を持つSGDとは対照的に、ConEFはコンバージェンスとメモリ使用率のスイートスポットを取得する。 我々は、画像分類、言語モデリング、機械翻訳を含む様々な学習タスクにおいて、ConEFを実証的に検証する。
  論文  参考訳（メタデータ） (2023-12-13T21:54:21Z)
• Unified Batch Normalization: Identifying and Alleviating the Feature Condensation in Batch Normalization and a Unified Framework [55.22949690864962]
  バッチ正規化(BN)は、現代のニューラルネットワーク設計において欠かせない技術となっている。 UBN(Unified Batch Normalization)と呼ばれる2段階統合フレームワークを提案する。 UBNは異なる視覚バックボーンと異なる視覚タスクのパフォーマンスを大幅に向上させる。
  論文  参考訳（メタデータ） (2023-11-27T16:41:31Z)
• EcoTTA: Memory-Efficient Continual Test-time Adaptation via Self-distilled Regularization [71.70414291057332]
  TTAは主にメモリ制限のあるエッジデバイス上で実行される。 長期的な適応は、しばしば破滅的な忘れとエラーの蓄積につながる。 本稿では,凍結したオリジナルネットワークを対象ドメインに適応させる軽量なメタネットワークを提案する。
  論文  参考訳（メタデータ） (2023-03-03T13:05:30Z)
• Self-Attentive Pooling for Efficient Deep Learning [6.822466048176652]
  そこで本研究では,標準プーリング層に対するドロップイン代替として使用可能な,非局所的な自己係留型プーリング手法を提案する。 我々は、ImageNet上のMobileNet-V2の様々な変種に対する既存のプール技術のテスト精度を平均1.2%上回る。 提案手法は,イソメモリフットプリントを用いたSOTA技術と比較して1.43%高い精度を実現している。
  論文  参考訳（メタデータ） (2022-09-16T00:35:14Z)
• Mesa: A Memory-saving Training Framework for Transformers [58.78933015299703]
  本稿では,トランスフォーマーのためのメモリ節約トレーニングフレームワークであるMesaを紹介する。 Mesaは、フォワードパス中に正確なアクティベーションを使用し、低精度のアクティベーションを格納することで、トレーニング中のメモリ消費を減らす。 ImageNet、CIFAR-100、ADE20Kの実験は、Mesaがトレーニング中にメモリフットプリントの半分を削減できることを示した。
  論文  参考訳（メタデータ） (2021-11-22T11:23:01Z)
• ActNN: Reducing Training Memory Footprint via 2-Bit Activation Compressed Training [68.63354877166756]
  ActNNは、バック伝搬のためのランダムに量子化されたアクティベーションを格納するメモリ効率のトレーニングフレームワークである。 ActNNはアクティベーションのメモリフットプリントを12倍に削減し、6.6倍から14倍のバッチサイズでトレーニングを可能にする。
  論文  参考訳（メタデータ） (2021-04-29T05:50:54Z)
• MimicNorm: Weight Mean and Last BN Layer Mimic the Dynamic of Batch Normalization [60.36100335878855]
  ネットワークトレーニングにおける収束と効率を改善するために,MimicNormという新しい正規化手法を提案する。 我々は、神経核(NTK)理論を利用して、我々の重み付けが活性化を弱め、BN層のようなカオス状態にネットワークを移行することを証明する。 MimicNormは、ResNetsやShuffleNetのような軽量ネットワークなど、さまざまなネットワーク構造に対して同様の精度を実現し、約20%のメモリ消費を削減している。
  論文  参考訳（メタデータ） (2020-10-19T07:42:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。