Fugu-MT 論文翻訳(概要): Parameter-Selective Continual Test-Time Adaptation

論文の概要: Parameter-Selective Continual Test-Time Adaptation

arxiv url: http://arxiv.org/abs/2407.02253v1
Date: Tue, 2 Jul 2024 13:18:15 GMT
ステータス: 処理完了
システム内更新日: 2024-07-03 15:25:45.127489
Title: Parameter-Selective Continual Test-Time Adaptation
Title（参考訳）: パラメータ選択連続テスト時間適応
Authors: Jiaxu Tian, Fan Lyu,
Abstract要約: 継続的テスト時間適応(CTTA)は、継続的なドメインシフトの下でテスト期間中に、事前トレーニングされたモデルを常に変化する環境に適応することを目的としている。 PSMT法は、ドメインシフトの下でMTネットワーク内の臨界パラメータを効果的に更新することができる。
参考スコア（独自算出の注目度）: 3.480626767752489
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Continual Test-Time Adaptation (CTTA) aims to adapt a pretrained model to ever-changing environments during the test time under continuous domain shifts. Most existing CTTA approaches are based on the Mean Teacher (MT) structure, which contains a student and a teacher model, where the student is updated using the pseudo-labels from the teacher model, and the teacher is then updated by exponential moving average strategy. However, these methods update the MT model indiscriminately on all parameters of the model. That is, some critical parameters involving sharing knowledge across different domains may be erased, intensifying error accumulation and catastrophic forgetting. In this paper, we introduce Parameter-Selective Mean Teacher (PSMT) method, which is capable of effectively updating the critical parameters within the MT network under domain shifts. First, we introduce a selective distillation mechanism in the student model, which utilizes past knowledge to regularize novel knowledge, thereby mitigating the impact of error accumulation. Second, to avoid catastrophic forgetting, in the teacher model, we create a mask through Fisher information to selectively update parameters via exponential moving average, with preservation measures applied to crucial parameters. Extensive experimental results verify that PSMT outperforms state-of-the-art methods across multiple benchmark datasets. Our code is available at \url{https://github.com/JiaxuTian/PSMT}.
Abstract（参考訳）: 継続的テスト時間適応(CTTA)は、継続的なドメインシフトの下でテスト期間中に、事前トレーニングされたモデルを常に変化する環境に適応することを目的としている。既存のCTTAアプローチのほとんどは、学生と教師モデルを含む平均教師構造に基づいており、教師モデルから擬似ラベルを用いて生徒を更新し、指数移動平均戦略により教師を更新する。しかし、これらの手法はMTモデルの全てのパラメータを無差別に更新する。つまり、異なるドメイン間で知識を共有することに関わるいくつかの重要なパラメータは、削除され、エラーの蓄積が増加し、破滅的な忘れ物になる可能性がある。本稿では,パラメータ選択平均教師(PSMT)手法を提案する。この手法は,ドメインシフトの下でMTネットワーク内の臨界パラメータを効果的に更新することができる。まず,過去の知識を生かして新しい知識を規則化し,エラー蓄積の影響を緩和する,選択的蒸留機構を学生モデルに導入する。次に, 教師モデルにおいて, 指数移動平均を用いてパラメータを選択的に更新するマスクを作成した。大規模な実験の結果、PSMTは複数のベンチマークデータセットで最先端の手法より優れていることが確認された。我々のコードは \url{https://github.com/JiaxuTian/PSMT} で入手できる。

関連論文リスト

Drift-Resilient TabPFN: In-Context Learning Temporal Distribution Shifts on Tabular Data [39.40116554523575]
In-Context Learning with a Prior-Data Fitted Network に基づく新しいアプローチである Drift-Resilient TabPFN を提案する。先行した合成データセットのベイズ推定を近似することを学ぶ。精度は0.688から0.744に向上し、OC AUCは0.786から0.832に向上し、キャリブレーションも強化された。
論文参考訳（メタデータ） (2024-11-15T23:49:23Z)
Sparse Orthogonal Parameters Tuning for Continual Learning [34.462967722928724]
事前学習モデル(PTM)に基づく連続学習手法が近年注目されている。本稿では,SoTU(Sparse Orthogonal Parameters TUning)と呼ばれる新しい手法を提案する。
論文参考訳（メタデータ） (2024-11-05T05:19:09Z)
SMILE: Zero-Shot Sparse Mixture of Low-Rank Experts Construction From Pre-Trained Foundation Models [85.67096251281191]
我々は、ゼロショットスパースミクチャー(SMILE)と呼ばれるモデル融合に対する革新的なアプローチを提案する。 SMILEは、余分なデータやさらなるトレーニングなしに、ソースモデルをMoEモデルにアップスケーリングできる。画像分類やテキスト生成タスクなど,さまざまなシナリオに対して,フル微調整とLoRA微調整を用いて広範な実験を行う。
論文参考訳（メタデータ） (2024-08-19T17:32:15Z)
Adaptive Rentention & Correction for Continual Learning [114.5656325514408]
連続学習における一般的な問題は、最新のタスクに対する分類層のバイアスである。アダプティブ・リテンション・アンド・コレクション (ARC) のアプローチを例に挙げる。 ARCはCIFAR-100とImagenet-Rのデータセットで平均2.7%と2.6%のパフォーマンス向上を達成した。
論文参考訳（メタデータ） (2024-05-23T08:43:09Z)
Variational Continual Test-Time Adaptation [25.262385466354253]
事前のドリフトは、ラベルのないテストデータのみを使用するCTTA(Continuous Test-Time Adaptation)メソッドにおいて重要である。我々はCTTAにおける不確実性を測定するための変分ベイズ的アプローチであるVCoTTAを紹介する。 3つのデータセットによる実験結果から, ドリフト前の緩和効果が示された。
論文参考訳（メタデータ） (2024-02-13T02:41:56Z)
Periodically Exchange Teacher-Student for Source-Free Object Detection [7.222926042027062]
Source-free Object Detection (SFOD) は、ソースドメインデータがない場合に、未ラベルのターゲットドメインデータにソース検出器を適用することを目的としている。ほとんどのSFOD法は、学生モデルを1つの教師モデルのみで指導する平均教師(MT)フレームワークを用いて、同じ自己学習パラダイムに従っている。静的教師, 動的教師, 学生モデルからなる複数教師の枠組みを導入する, シンプルながら斬新な手法であるPETS法を提案する。
論文参考訳（メタデータ） (2023-11-23T11:30:54Z)
A Probabilistic Framework for Lifelong Test-Time Adaptation [34.07074915005366]
テスト時間適応(TTA)は、異なるターゲットドメインから与えられたテスト入力(s)の推測時間で事前訓練されたソースモデルを更新する問題である。 PETAL(Probabilistic lifElong Test-time Adaptation with seLf-training prior)は,確率的アプローチを用いて生涯TTAを解決する。本手法は, 様々なベンチマークにおいて, オンライン・ライフタイム・テスト・タイム・アダプティブの最先端技術よりも優れた結果が得られる。
論文参考訳（メタデータ） (2022-12-19T18:42:19Z)
TeST: Test-time Self-Training under Distribution Shift [99.68465267994783]
Test-Time Self-Training (TeST)は、あるソースデータとテスト時の新しいデータ分散に基づいてトレーニングされたモデルを入力する技術である。また,TeSTを用いたモデルでは,ベースラインテスト時間適応アルゴリズムよりも大幅に改善されていることがわかった。
論文参考訳（メタデータ） (2022-09-23T07:47:33Z)
Adapting the Mean Teacher for keypoint-based lung registration under geometric domain shifts [75.51482952586773]
ディープニューラルネットワークは一般的に、ラベル付きトレーニングデータが多く必要であり、トレーニングデータとテストデータの間のドメインシフトに弱い。本稿では,ラベル付きソースからラベル付きターゲットドメインへのモデルの適用により,画像登録のための幾何学的領域適応手法を提案する。本手法は,ベースラインモデルの精度を目標データに適合させながら,ベースラインモデルの50%/47%を継続的に改善する。
論文参考訳（メタデータ） (2022-07-01T12:16:42Z)
Hyperparameter-free Continuous Learning for Domain Classification in Natural Language Understanding [60.226644697970116]
ドメイン分類は自然言語理解(NLU)の基本課題である既存の継続的な学習アプローチの多くは、低い精度とパフォーマンスの変動に悩まされている。本研究では,テキストデータに対するパラメータフリー連続学習モデルを提案する。
論文参考訳（メタデータ） (2022-01-05T02:46:16Z)
Rethinking the Hyperparameters for Fine-tuning [78.15505286781293]
事前訓練されたImageNetモデルからの微調整は、様々なコンピュータビジョンタスクのデファクトスタンダードとなっている。ファインチューニングの現在のプラクティスは、通常、ハイパーパラメータのアドホックな選択を選択することである。本稿では、微調整のためのハイパーパラメータの設定に関するいくつかの一般的なプラクティスを再検討する。
論文参考訳（メタデータ） (2020-02-19T18:59:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。