論文の概要: Layer-wise Auto-Weighting for Non-Stationary Test-Time Adaptation

• arxiv url: http://arxiv.org/abs/2311.05858v1
• Date: Fri, 10 Nov 2023 03:54:40 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-13 15:54:00.357406
• Title: Layer-wise Auto-Weighting for Non-Stationary Test-Time Adaptation
• Title（参考訳）: 非定常テスト時間適応のための層間自動重み付け
• Authors: Junyoung Park, Jin Kim, Hyeongjun Kwon, Ilhoon Yoon, Kwanghoon Sohn
• Abstract要約: 連続的および漸進的TTAのためのレイヤワイド自動重み付けアルゴリズムを提案する。 そこで我々は,指数関数的な min-maxスケーラを提案し,外圧を緩和しながら,特定の層をほぼ凍結させる。 CIFAR-10C, CIFAR-100C, ImageNet-Cを用いた実験により, 従来の連続TTA法および漸進TTA法よりも優れた性能を示した。
• 参考スコア（独自算出の注目度）: 40.03897994619606
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Given the inevitability of domain shifts during inference in real-world applications, test-time adaptation (TTA) is essential for model adaptation after deployment. However, the real-world scenario of continuously changing target distributions presents challenges including catastrophic forgetting and error accumulation. Existing TTA methods for non-stationary domain shifts, while effective, incur excessive computational load, making them impractical for on-device settings. In this paper, we introduce a layer-wise auto-weighting algorithm for continual and gradual TTA that autonomously identifies layers for preservation or concentrated adaptation. By leveraging the Fisher Information Matrix (FIM), we first design the learning weight to selectively focus on layers associated with log-likelihood changes while preserving unrelated ones. Then, we further propose an exponential min-max scaler to make certain layers nearly frozen while mitigating outliers. This minimizes forgetting and error accumulation, leading to efficient adaptation to non-stationary target distribution. Experiments on CIFAR-10C, CIFAR-100C, and ImageNet-C show our method outperforms conventional continual and gradual TTA approaches while significantly reducing computational load, highlighting the importance of FIM-based learning weight in adapting to continuously or gradually shifting target domains.
• Abstract（参考訳）: 実世界のアプリケーションにおける推論中のドメインシフトの必然性を考えると、テスト時間適応(TTA)はデプロイ後のモデル適応に不可欠である。 しかし、目標分布を継続的に変化させる現実のシナリオは、破滅的な忘れ込みやエラーの蓄積といった課題を呈している。 非定常領域シフトのための既存のTTAメソッドは、有効ではあるが過剰な計算負荷を発生させ、デバイス上の設定では実用的ではない。 本稿では,保存や集中的適応のための層を自律的に識別する連続的および漸進的ttaの自動重み付けアルゴリズムを提案する。 fim(fisher information matrix)を活用することで,まず学習重みを設計,無関係なものを保存しつつ,ログライクな変化に関連するレイヤを選択的に重視する。 そこで我々はさらに,特定の層をほぼ凍結させる指数的min-maxスケーラを提案する。 これにより、忘れとエラーの蓄積を最小限に抑え、非定常目標分布に効率よく適応する。 CIFAR-10C, CIFAR-100C, ImageNet-C を用いた実験により,本手法は従来の連続的および漸進的TTA手法より優れ, 計算負荷を著しく低減し, 連続的あるいは漸進的な目標領域への適応におけるFIMベースの学習重みの重要性を強調した。

関連論文リスト

• PALM: Pushing Adaptive Learning Rate Mechanisms for Continual Test-Time Adaptation [6.181548939188321]
  動的環境における実世界の視覚モデルは、領域分布の急激なシフトに直面し、認識性能が低下する。 本研究では,これらの変化領域に事前学習した音源識別モデルを調整するために,CTTA(Continuous Test-Time Adaptation)を提案する。 我々は, CIFAR-10C, CIFAR-100C, ImageNet-Cで画像分類実験を行い, 従来の手法に比べて優れた有効性を示した。
  論文  参考訳（メタデータ） (2024-03-15T19:35:10Z)
• Continual-MAE: Adaptive Distribution Masked Autoencoders for Continual Test-Time Adaptation [49.827306773992376]
  連続的テスト時間適応(CTTA)は、ソース事前学習モデルから目標分布の連続的な変化に移行するために提案される。 提案手法は,CTTAタスクの分類とセグメンテーションの両方において,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2023-12-19T15:34:52Z)
• Distribution-Aware Continual Test-Time Adaptation for Semantic Segmentation [33.75630514826721]
  実世界の応用において, セマンティックセグメンテーションCTTAを効率的かつ実用的なものにするための分散対応チューニング(DAT)手法を提案する。 DATは、連続的な適応プロセス中にデータ分布に基づいて、トレーニング可能なパラメータの2つの小さなグループを適応的に選択し、更新する。 我々は2つの広く使われているセマンティックセマンティックセマンティクスCTTAベンチマークで実験を行い、従来の最先端手法と比較して有望な性能を実現した。
  論文  参考訳（メタデータ） (2023-09-24T10:48:20Z)
• REALM: Robust Entropy Adaptive Loss Minimization for Improved Single-Sample Test-Time Adaptation [5.749155230209001]
  フルテスト時間適応(F-TTA)は、列車とテストデータの分散シフトによる性能損失を軽減することができる。 本稿では,F-TTAの雑音に対する堅牢性向上のための一般的な枠組みについて述べる。
  論文  参考訳（メタデータ） (2023-09-07T18:44:58Z)
• Variational Density Propagation Continual Learning [0.0]
  現実世界にデプロイされるディープニューラルネットワーク(DNN)は、定期的にオフ・オブ・ディストリビューション(OoD)データの対象となっている。 本稿では,ベンチマーク連続学習データセットによってモデル化されたデータ分散ドリフトに適応するフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-22T21:51:39Z)
• Continual Test-Time Domain Adaptation [94.51284735268597]
  テスト時ドメイン適応は、ソースデータを使用しずに、ソース事前訓練されたモデルをターゲットドメインに適応することを目的としている。 CoTTAは実装が容易で、市販の事前訓練モデルに簡単に組み込むことができる。
  論文  参考訳（メタデータ） (2022-03-25T11:42:02Z)
• Adaptive Anomaly Detection for Internet of Things in Hierarchical Edge Computing: A Contextual-Bandit Approach [81.5261621619557]
  階層エッジコンピューティング(HEC)を用いた適応型異常検出手法を提案する。 まず,複雑性を増した複数のDNNモデルを構築し,それぞれを対応するHEC層に関連付ける。 そこで我々は、文脈帯域問題として定式化され、強化学習ポリシーネットワークを用いて解決される適応モデル選択スキームを設計する。
  論文  参考訳（メタデータ） (2021-08-09T08:45:47Z)
• Layer Pruning on Demand with Intermediate CTC [50.509073206630994]
  我々はコネクショニスト時間分類(CTC)に基づくASRの訓練と刈り取り方法を提案する。 本稿では,Transformer-CTCモデルをオンデマンドで様々な深さでプルーニングできることを示し,GPU上でのリアルタイム係数を0.005から0.002に改善した。
  論文  参考訳（メタデータ） (2021-06-17T02:40:18Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。