論文の概要: PALM: Pushing Adaptive Learning Rate Mechanisms for Continual Test-Time Adaptation

• arxiv url: http://arxiv.org/abs/2403.10650v1
• Date: Fri, 15 Mar 2024 19:35:10 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-19 22:34:14.715225
• Title: PALM: Pushing Adaptive Learning Rate Mechanisms for Continual Test-Time Adaptation
• Title（参考訳）: PALM:連続テスト時間適応のための適応学習率メカニズムの推進
• Authors: Sarthak Kumar Maharana, Baoming Zhang, Yunhui Guo,
• Abstract要約: 連続テスト時間適応(CTTA)は、事前訓練されたソース識別モデルを直接、テストデータを用いてドメインの変更に調整する。 擬似ラベルを頼らずにモデル予測の不確実性の定量化によって層を同定する。 CIFAR-10C, CIFAR-100C, ImageNet-Cで画像分類実験を行い, 提案手法の有効性を実証した。
• 参考スコア（独自算出の注目度）: 6.181548939188321
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Real-world vision models in dynamic environments face rapid shifts in domain distributions, leading to decreased recognition performance. Continual test-time adaptation (CTTA) directly adjusts a pre-trained source discriminative model to these changing domains using test data. A highly effective CTTA method involves applying layer-wise adaptive learning rates, and selectively adapting pre-trained layers. However, it suffers from the poor estimation of domain shift and the inaccuracies arising from the pseudo-labels. In this work, we aim to overcome these limitations by identifying layers through the quantification of model prediction uncertainty without relying on pseudo-labels. We utilize the magnitude of gradients as a metric, calculated by backpropagating the KL divergence between the softmax output and a uniform distribution, to select layers for further adaptation. Subsequently, for the parameters exclusively belonging to these selected layers, with the remaining ones frozen, we evaluate their sensitivity in order to approximate the domain shift, followed by adjusting their learning rates accordingly. Overall, this approach leads to a more robust and stable optimization than prior approaches. We conduct extensive image classification experiments on CIFAR-10C, CIFAR-100C, and ImageNet-C and demonstrate the efficacy of our method against standard benchmarks and prior methods.
• Abstract（参考訳）: 動的環境における実世界の視覚モデルは、領域分布の急激なシフトに直面し、認識性能が低下する。 連続テスト時間適応(CTTA)は、テストデータを用いて、トレーニング済みのソース識別モデルをこれらの変化領域に直接調整する。 高い有効性を有するCTTA法は、層ワイド適応学習率を適用し、事前学習された層を選択的に適応させることを含む。 しかし、ドメインシフトの低さや、擬似ラベルから生じる不正確さに悩まされている。 本研究では,擬似ラベルに依存しないモデル予測の不確実性の定量化により,これらの制限を克服することを目的とする。 ソフトマックス出力と均一分布のKL分散をバックプロパガンスすることで計算した勾配の等級を計量として利用し、さらなる適応のための層を選択する。 その後、これらの選択された層に属するパラメータを凍結させた上で、ドメインシフトを近似するためにそれらの感度を評価し、それに応じて学習率を調整する。 全体として、このアプローチは以前のアプローチよりも堅牢で安定した最適化につながる。 我々は,CIFAR-10C,CIFAR-100C,ImageNet-Cで画像分類実験を行い,標準ベンチマークと先行手法の有効性を実証した。

関連論文リスト

• PseudoNeg-MAE: Self-Supervised Point Cloud Learning using Conditional Pseudo-Negative Embeddings [55.55445978692678]
  PseudoNeg-MAEは,ポイントマスク自動エンコーダのグローバルな特徴表現を強化する,自己教師型学習フレームワークである。 PseudoNeg-MAE は ModelNet40 と ScanObjectNN のデータセット上で最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2024-09-24T07:57:21Z)
• Test-time adaptation for geospatial point cloud semantic segmentation with distinct domain shifts [6.80671668491958]
  テスト時間適応(TTA)は、ソースデータへのアクセスや追加のトレーニングなしに、推論段階でラベル付けされていないデータに事前訓練されたモデルの直接適応を可能にする。 本稿では,3つの領域シフトパラダイムを提案する。光グラムから空気中LiDAR,空気中LiDAR,合成-移動レーザー走査である。 実験の結果,分類精度は最大20%mIoUに向上し,他の手法よりも優れていた。
  論文  参考訳（メタデータ） (2024-07-08T15:40:28Z)
• Continual-MAE: Adaptive Distribution Masked Autoencoders for Continual Test-Time Adaptation [49.827306773992376]
  連続的テスト時間適応(CTTA)は、ソース事前学習モデルから目標分布の連続的な変化に移行するために提案される。 提案手法は,CTTAタスクの分類とセグメンテーションの両方において,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2023-12-19T15:34:52Z)
• Layer-wise Auto-Weighting for Non-Stationary Test-Time Adaptation [40.03897994619606]
  連続的および漸進的TTAのためのレイヤワイド自動重み付けアルゴリズムを提案する。 そこで我々は,指数関数的な min-maxスケーラを提案し,外圧を緩和しながら,特定の層をほぼ凍結させる。 CIFAR-10C, CIFAR-100C, ImageNet-Cを用いた実験により, 従来の連続TTA法および漸進TTA法よりも優れた性能を示した。
  論文  参考訳（メタデータ） (2023-11-10T03:54:40Z)
• Domain Generalization Guided by Gradient Signal to Noise Ratio of Parameters [69.24377241408851]
  ソースドメインへのオーバーフィッティングは、ディープニューラルネットワークの勾配に基づくトレーニングにおいて一般的な問題である。 本稿では,ネットワークパラメータの勾配-信号-雑音比(GSNR)を選択することを提案する。
  論文  参考訳（メタデータ） (2023-10-11T10:21:34Z)
• Variational Classification [51.2541371924591]
  我々は,変分オートエンコーダの訓練に用いるエビデンスローバウンド(ELBO)に類似した,モデルの訓練を目的とした変分目的を導出する。 軟質マックス層への入力を潜伏変数のサンプルとして扱うことで, 抽象化された視点から, 潜在的な矛盾が明らかとなった。 我々は、標準ソフトマックス層に見られる暗黙の仮定の代わりに、選択された潜在分布を誘導する。
  論文  参考訳（メタデータ） (2023-05-17T17:47:19Z)
• Selective Pseudo-Labeling with Reinforcement Learning for Semi-Supervised Domain Adaptation [116.48885692054724]
  半教師付きドメイン適応のための強化学習に基づく選択擬似ラベル法を提案する。 高精度かつ代表的な擬似ラベルインスタンスを選択するための深層Q-ラーニングモデルを開発する。 提案手法は, SSDAのベンチマークデータセットを用いて評価し, 全ての比較手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2020-12-07T03:37:38Z)
• Adaptive Gradient Method with Resilience and Momentum [120.83046824742455]
  レジリエンスとモメンタム(AdaRem)を用いた適応勾配法を提案する。 AdaRemは、過去の1つのパラメータの変化方向が現在の勾配の方向と一致しているかどうかに応じてパラメータワイズ学習率を調整する。 本手法は,学習速度とテスト誤差の観点から,従来の適応学習率に基づくアルゴリズムよりも優れていた。
  論文  参考訳（メタデータ） (2020-10-21T14:49:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。