論文の概要: Maintain Plasticity in Long-timescale Continual Test-time Adaptation
- arxiv url: http://arxiv.org/abs/2412.20034v1
- Date: Sat, 28 Dec 2024 05:47:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-31 16:06:39.591154
- Title: Maintain Plasticity in Long-timescale Continual Test-time Adaptation
- Title（参考訳）: 長期連続試験時間適応における可塑性の維持
- Authors: Yanshuo Wang, Xuesong Li, Jinguang Tong, Jie Hong, Jun Lan, Weiqiang Wang, Huijia Zhu, Haoxing Chen,
- Abstract要約: 連続的なテスト時間領域適応は、訓練済みのソースモデルを調整することを目的としており、静止しないターゲット環境において、時間とともにうまく機能する。
可塑性は、非定常環境に対する予測を継続的に調整するモデルの能力を指す。
モデルの可塑性を維持するため, 単純かつ効果的なアダプティブ・スリンク・リストア(ASR)を提案する。
- 参考スコア（独自算出の注目度）: 25.795708177210876
- License:
- Abstract: Continual test-time domain adaptation (CTTA) aims to adjust pre-trained source models to perform well over time across non-stationary target environments. While previous methods have made considerable efforts to optimize the adaptation process, a crucial question remains: can the model adapt to continually-changing environments with preserved plasticity over a long time? The plasticity refers to the model's capability to adjust predictions in response to non-stationary environments continually. In this work, we explore plasticity, this essential but often overlooked aspect of continual adaptation to facilitate more sustained adaptation in the long run. First, we observe that most CTTA methods experience a steady and consistent decline in plasticity during the long-timescale continual adaptation phase. Moreover, we find that the loss of plasticity is strongly associated with the change in label flip. Based on this correlation, we propose a simple yet effective policy, Adaptive Shrink-Restore (ASR), towards preserving the model's plasticity. In particular, ASR does the weight re-initialization by the adaptive intervals. The adaptive interval is determined based on the change in label flipping. Our method is validated on extensive CTTA benchmarks, achieving excellent performance.
- Abstract（参考訳）: 連続的なテスト時間領域適応(CTTA)は、訓練済みのソースモデルを調整することを目的としており、非定常的なターゲット環境において、時間とともにうまく機能する。
従来の手法では適応プロセスの最適化に多大な努力を払ってきたが、重要な疑問が残る。
可塑性は、非定常環境に対する予測を継続的に調整するモデルの能力を指す。
本研究は, 可塑性, 持続的適応に欠かせない, 長期間の持続的適応を促進するために, しばしば見落とされがちな側面について考察する。
まず,ほとんどのCTTA法は,長期連続適応段階における塑性の安定的かつ一貫した低下を経験する。
さらに,可塑性の喪失はラベルフリップの変化と強く関連していることが判明した。
この相関関係に基づいて,モデルの可塑性を維持するための簡易かつ効果的なアダプティブ・スリンク・リストア (ASR) を提案する。
特に、ASRは適応間隔による重みの再初期化を行う。
ラベルフリップの変化に基づいて適応間隔を決定する。
提案手法は広範囲なCTTAベンチマークで検証され,優れた性能が得られた。
関連論文リスト
- Dynamic Weight Adjusting Deep Q-Networks for Real-Time Environmental Adaptation [3.2162648244439684]
本研究では、動的重み調整をDeep Q-Networks(DQN)に統合し、適応性を高めることを検討する。
これらの調整は、経験リプレイにおけるサンプリング確率を変更して、モデルがより重要な遷移に焦点を合わせるようにすることで実施する。
動的環境をうまくナビゲートする新しいDQNのためのインタラクティブ・ダイナミック・アセスメント・メソッド(IDEM)を設計する。
論文 参考訳（メタデータ） (2024-11-04T19:47:23Z) - FASTopic: Pretrained Transformer is a Fast, Adaptive, Stable, and Transferable Topic Model [76.509837704596]
本稿では,高速で適応的で,安定で,移動可能なトピックモデルであるFASTopicを提案する。
我々はDSR(Dual Semantic-Relation Reconstruction)を用いて潜在トピックをモデル化する。
また, セマンティック関係を最適輸送計画として正規化するためのETP(Embedding Transport Plan)を提案する。
論文 参考訳（メタデータ） (2024-05-28T09:06:38Z) - Fast TRAC: A Parameter-Free Optimizer for Lifelong Reinforcement Learning [6.388725318524439]
生涯の強化学習における主要な課題は、可塑性の喪失である。
TRACと呼ばれる長寿命RLのパラメータフリーチューニングを提案する。
Procgen、Atari、Gym Controlの環境での実験では、TRACは驚くほどうまく機能している。
論文 参考訳（メタデータ） (2024-05-26T17:38:44Z) - Test-Time Model Adaptation with Only Forward Passes [68.11784295706995]
テストタイム適応は、トレーニング済みのモデルを、潜在的に分布シフトのある未確認テストサンプルに適応させるのに有効であることが証明されている。
テスト時間フォワード最適化適応法(FOA)を提案する。
FOAは量子化された8ビットのViTで動作し、32ビットのViTで勾配ベースのTENTより優れ、ImageNet-Cで最大24倍のメモリ削減を実現する。
論文 参考訳（メタデータ） (2024-04-02T05:34:33Z) - Persistent Test-time Adaptation in Recurring Testing Scenarios [12.024233973321756]
現在のテスト時間適応(TTA)アプローチは、継続的に変化する環境に機械学習モデルを適用することを目的としている。
しかし,TTA法が長期にわたって適応性を維持することができるかどうかは不明である。
本稿では,モデルが崩壊に向かって変動していることを検知し,適応戦略を調整する永続的TTA(PeTTA)を提案する。
論文 参考訳（メタデータ） (2023-11-30T02:24:44Z) - Layer-wise Auto-Weighting for Non-Stationary Test-Time Adaptation [40.03897994619606]
連続的および漸進的TTAのためのレイヤワイド自動重み付けアルゴリズムを提案する。
そこで我々は,指数関数的な min-maxスケーラを提案し,外圧を緩和しながら,特定の層をほぼ凍結させる。
CIFAR-10C, CIFAR-100C, ImageNet-Cを用いた実験により, 従来の連続TTA法および漸進TTA法よりも優れた性能を示した。
論文 参考訳（メタデータ） (2023-11-10T03:54:40Z) - Revisiting Plasticity in Visual Reinforcement Learning: Data, Modules and Training Stages [56.98243487769916]
ニューラルネットワークが新しいデータで進化する能力である塑性は、高性能でサンプル効率のよい視覚強化学習に不可欠である。
本稿では,批評家の可塑性レベルに基づいてリプレイ率を動的に調整するAdaptive RRを提案する。
論文 参考訳（メタデータ） (2023-10-11T12:05:34Z) - AR-TTA: A Simple Method for Real-World Continual Test-Time Adaptation [1.4530711901349282]
本稿では,自律運転のためのデータセット,すなわちCLAD-CとShiFTを用いたテスト時間適応手法の検証を提案する。
現在のテスト時間適応手法は、ドメインシフトの様々な程度を効果的に扱うのに苦労している。
モデル安定性を高めるために、小さなメモリバッファを組み込むことで、確立された自己学習フレームワークを強化する。
論文 参考訳（メタデータ） (2023-09-18T19:34:23Z) - PLASTIC: Improving Input and Label Plasticity for Sample Efficient
Reinforcement Learning [54.409634256153154]
強化学習(RL)では, サンプル効率の向上が重要である。
原則として、非政治的なRLアルゴリズムは、環境相互作用毎に複数の更新を可能にすることで、サンプル効率を向上させることができる。
本研究は, この現象の原因を, 塑性を2つの側面に分けて検討した。
論文 参考訳（メタデータ） (2023-06-19T06:14:51Z) - On Controller Tuning with Time-Varying Bayesian Optimization [74.57758188038375]
制御対象とその変更に関する適切な事前知識を用いて、時間変化最適化(TVBO)を用いて、変更環境におけるコントローラのオンラインチューニングを行う。
本研究では,不確実性注入(UI)を用いたTVBO戦略を提案する。
我々のモデルはTVBOの最先端手法よりも優れており、後悔の軽減と不安定なパラメータ構成の低減を実現している。
論文 参考訳（メタデータ） (2022-07-22T14:54:13Z) - Efficient Test-Time Model Adaptation without Forgetting [60.36499845014649]
テストタイム適応は、トレーニングとテストデータの間の潜在的な分散シフトに取り組むことを目指している。
信頼性および非冗長なサンプルを同定するためのアクティブなサンプル選択基準を提案する。
また、重要なモデルパラメータを劇的な変化から制約するFisher regularizerを導入します。
論文 参考訳（メタデータ） (2022-04-06T06:39:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。