論文の概要: CAFA: Class-Aware Feature Alignment for Test-Time Adaptation
- arxiv url: http://arxiv.org/abs/2206.00205v1
- Date: Wed, 1 Jun 2022 03:02:07 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-03 05:25:39.068664
- Title: CAFA: Class-Aware Feature Alignment for Test-Time Adaptation
- Title(参考訳): CAFA:テスト時間適応のためのクラス認識機能アライメント
- Authors: Sanghun Jung, Jungsoo Lee, Nanhee Kim, Jaegul Choo
- Abstract要約: テスト時間適応(TTA)は、モデルをテスト時間に基づいてラベル付けされていないテストデータに適用し、同時に予測することを目的としている。
本稿では,CAFA(Class-Aware Feature Alignment)と呼ばれる,簡易かつ効果的な特徴アライメント損失を提案する。
我々は広範な実験を行い、提案手法が既存のベースラインを一貫して上回ることを示す。
- 参考スコア(独自算出の注目度): 26.714353797698205
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Despite recent advancements in deep learning, deep networks still suffer from
performance degradation when they face new and different data from their
training distributions. Addressing such a problem, test-time adaptation (TTA)
aims to adapt a model to unlabeled test data on test time while making
predictions simultaneously. TTA applies to pretrained networks without
modifying their training procedures, which enables to utilize the already
well-formed source distribution for adaptation. One possible approach is to
align the representation space of test samples to the source distribution
(\textit{i.e.,} feature alignment). However, performing feature alignments in
TTA is especially challenging in that the access to labeled source data is
restricted during adaptation. That is, a model does not have a chance to learn
test data in a class-discriminative manner, which was feasible in other
adaptation tasks (\textit{e.g.,} unsupervised domain adaptation) via supervised
loss on the source data. Based on such an observation, this paper proposes
\emph{a simple yet effective} feature alignment loss, termed as Class-Aware
Feature Alignment (CAFA), which 1) encourages a model to learn target
representations in a class-discriminative manner and 2) effectively mitigates
the distribution shifts in test time, simultaneously. Our method does not
require any hyper-parameters or additional losses, which are required in the
previous approaches. We conduct extensive experiments and show our proposed
method consistently outperforms existing baselines.
- Abstract(参考訳): ディープラーニングの最近の進歩にもかかわらず、深層ネットワークは、トレーニングディストリビューションから新しく異なるデータに直面すると、パフォーマンスの低下に苦しむ。
このような問題に対処するため、テスト時間適応(TTA)は、同時に予測を行いながら、未ラベルのテストデータにモデルを適応させることを目的としている。
TTAはトレーニング手順を変更することなく事前訓練されたネットワークに適用できる。
可能なアプローチの1つは、テストサンプルの表現空間をソース分布に合わせることである(\textit{i,e,} 特徴のアライメント)。
しかし、TTAにおける特徴アライメントの実行は、ラベル付きソースデータへのアクセスが適応中に制限されるという点で特に困難である。
すなわち、モデルはクラス識別的な方法でテストデータを学ぶ機会がなく、ソースデータに対する教師付き損失を通じて他の適応タスク(\textit{e.g.} 教師なしドメイン適応)で実現可能であった。
このような観察に基づいて,本論文では,CAFA(Class-Aware Feature Alignment)と呼ばれる機能アライメントの損失について提案する。
1)クラス識別的な方法で対象表現を学習するようモデルに促す。
2) 試験時間における分散シフトを同時に効果的に緩和する。
提案手法では,従来の手法では必要とされていたハイパーパラメータや余分な損失は不要である。
広範な実験を行い,提案手法が既存のベースラインを一貫して上回っていることを示す。
関連論文リスト
- Channel-Selective Normalization for Label-Shift Robust Test-Time
Adaptation [17.375390435493017]
テスト時間適応は、推論中にモデルを新しいデータ分布に調整するアプローチである。
テスト時のバッチ正規化は、ドメインシフトベンチマークで魅力的なパフォーマンスを達成した、シンプルで一般的な方法である。
本稿では、ディープネットワークにおけるチャネルのみを選択的に適応させ、ラベルシフトに敏感な劇的な適応を最小化することで、この問題に対処することを提案する。
論文 参考訳(メタデータ) (2024-02-07T15:41:01Z) - A Comprehensive Survey on Test-Time Adaptation under Distribution Shifts [143.14128737978342]
新たなパラダイムであるテスト時適応は、事前トレーニングされたモデルをテスト中にラベルのないデータに適用し、予測を行う可能性がある。
このパラダイムの最近の進歩は、推論に先立って自己適応モデルのトレーニングにラベルのないデータを活用するという大きな利点を浮き彫りにしている。
論文 参考訳(メタデータ) (2023-03-27T16:32:21Z) - Learning to Adapt to Online Streams with Distribution Shifts [22.155844301575883]
テスト時間適応(TTA)は、推論中にラベルのないテストデータを活用することにより、トレーニングセットとテストセットの間の分散ギャップを低減する手法である。
この作業では、TTAをより実践的なシナリオに拡張し、テストデータは、時間とともに分散の変化を経験するオンラインストリームの形式で提供される。
本稿では,メタトレーニング中にネットワークに分散シフトするオンラインストリームに適応するように教えるメタラーニング手法を提案する。その結果,トレーニングされたモデルはバッチサイズ制限にかかわらず,テスト中の分散シフトに連続的に適応することができる。
論文 参考訳(メタデータ) (2023-03-02T23:36:10Z) - DELTA: degradation-free fully test-time adaptation [59.74287982885375]
テスト時間バッチ正規化(BN)や自己学習といった,一般的な適応手法では,2つの好ましくない欠陥が隠されていることがわかった。
まず、テスト時間BNにおける正規化統計は、現在受信されているテストサンプルに完全に影響され、その結果、不正確な推定結果が得られることを明らかにする。
第二に、テスト時間適応中にパラメータ更新が支配的なクラスに偏っていることを示す。
論文 参考訳(メタデータ) (2023-01-30T15:54:00Z) - Preserving Fairness in AI under Domain Shift [15.820660013260584]
AIの公正性を保証するための既存のアルゴリズムは、単発トレーニング戦略を使用している。
ドメインシフトの下で公正な状態を維持するために公正なモデルを適用するアルゴリズムを開発する。
論文 参考訳(メタデータ) (2023-01-29T06:13:40Z) - TeST: Test-time Self-Training under Distribution Shift [99.68465267994783]
Test-Time Self-Training (TeST)は、あるソースデータとテスト時の新しいデータ分散に基づいてトレーニングされたモデルを入力する技術である。
また,TeSTを用いたモデルでは,ベースラインテスト時間適応アルゴリズムよりも大幅に改善されていることがわかった。
論文 参考訳(メタデータ) (2022-09-23T07:47:33Z) - Listen, Adapt, Better WER: Source-free Single-utterance Test-time
Adaptation for Automatic Speech Recognition [65.84978547406753]
Test-time Adaptationは、ソースドメインでトレーニングされたモデルに適応して、テストサンプルの予測を改善することを目的としている。
単一発話テスト時間適応 (SUTA) は音声領域における最初のTTA研究である。
論文 参考訳(メタデータ) (2022-03-27T06:38:39Z) - Unsupervised neural adaptation model based on optimal transport for
spoken language identification [54.96267179988487]
トレーニングセットとテストセット間の音響音声の統計的分布のミスマッチにより,音声言語識別(SLID)の性能が大幅に低下する可能性がある。
SLIDの分布ミスマッチ問題に対処するために,教師なしニューラル適応モデルを提案する。
論文 参考訳(メタデータ) (2020-12-24T07:37:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。