論文の概要: CAFA: Class-Aware Feature Alignment for Test-Time Adaptation

• arxiv url: http://arxiv.org/abs/2206.00205v1
• Date: Wed, 1 Jun 2022 03:02:07 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-03 05:25:39.068664
• Title: CAFA: Class-Aware Feature Alignment for Test-Time Adaptation
• Title（参考訳）: CAFA:テスト時間適応のためのクラス認識機能アライメント
• Authors: Sanghun Jung, Jungsoo Lee, Nanhee Kim, Jaegul Choo
• Abstract要約: テスト時間適応(TTA)は、モデルをテスト時間に基づいてラベル付けされていないテストデータに適用し、同時に予測することを目的としている。 本稿では,CAFA(Class-Aware Feature Alignment)と呼ばれる,簡易かつ効果的な特徴アライメント損失を提案する。 我々は広範な実験を行い、提案手法が既存のベースラインを一貫して上回ることを示す。
• 参考スコア（独自算出の注目度）: 26.714353797698205
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite recent advancements in deep learning, deep networks still suffer from performance degradation when they face new and different data from their training distributions. Addressing such a problem, test-time adaptation (TTA) aims to adapt a model to unlabeled test data on test time while making predictions simultaneously. TTA applies to pretrained networks without modifying their training procedures, which enables to utilize the already well-formed source distribution for adaptation. One possible approach is to align the representation space of test samples to the source distribution (\textit{i.e.,} feature alignment). However, performing feature alignments in TTA is especially challenging in that the access to labeled source data is restricted during adaptation. That is, a model does not have a chance to learn test data in a class-discriminative manner, which was feasible in other adaptation tasks (\textit{e.g.,} unsupervised domain adaptation) via supervised loss on the source data. Based on such an observation, this paper proposes \emph{a simple yet effective} feature alignment loss, termed as Class-Aware Feature Alignment (CAFA), which 1) encourages a model to learn target representations in a class-discriminative manner and 2) effectively mitigates the distribution shifts in test time, simultaneously. Our method does not require any hyper-parameters or additional losses, which are required in the previous approaches. We conduct extensive experiments and show our proposed method consistently outperforms existing baselines.
• Abstract（参考訳）: ディープラーニングの最近の進歩にもかかわらず、深層ネットワークは、トレーニングディストリビューションから新しく異なるデータに直面すると、パフォーマンスの低下に苦しむ。 このような問題に対処するため、テスト時間適応(TTA)は、同時に予測を行いながら、未ラベルのテストデータにモデルを適応させることを目的としている。 TTAはトレーニング手順を変更することなく事前訓練されたネットワークに適用できる。 可能なアプローチの1つは、テストサンプルの表現空間をソース分布に合わせることである(\textit{i,e,} 特徴のアライメント)。 しかし、TTAにおける特徴アライメントの実行は、ラベル付きソースデータへのアクセスが適応中に制限されるという点で特に困難である。 すなわち、モデルはクラス識別的な方法でテストデータを学ぶ機会がなく、ソースデータに対する教師付き損失を通じて他の適応タスク(\textit{e.g.} 教師なしドメイン適応)で実現可能であった。 このような観察に基づいて,本論文では,CAFA(Class-Aware Feature Alignment)と呼ばれる機能アライメントの損失について提案する。 1)クラス識別的な方法で対象表現を学習するようモデルに促す。 2) 試験時間における分散シフトを同時に効果的に緩和する。 提案手法では,従来の手法では必要とされていたハイパーパラメータや余分な損失は不要である。 広範な実験を行い,提案手法が既存のベースラインを一貫して上回っていることを示す。

関連論文リスト

• BoostAdapter: Improving Vision-Language Test-Time Adaptation via Regional Bootstrapping [64.8477128397529]
  本稿では,テスト時間適応フレームワークを提案する。 我々は、インスタンスに依存しない履歴サンプルとインスタンスを意識したブースティングサンプルから特徴を検索するための軽量なキー値メモリを維持している。 理論的には,本手法の背後にある合理性を正当化し,アウト・オブ・ディストリビューションとクロスドメイン・データセットの両方において,その有効性を実証的に検証する。
  論文  参考訳（メタデータ） (2024-10-20T15:58:43Z)
• Distribution Alignment for Fully Test-Time Adaptation with Dynamic Online Data Streams [19.921480334048756]
  TTA(Test-Time Adaptation)は、テストデータストリームの適応と推論を可能にする。 本稿では,TTAにおける新しい配電アライメント損失を提案する。 我々は、非i.d.シナリオにおける既存の手法を超越し、理想的なi.d.仮定の下で競争性能を維持する。
  論文  参考訳（メタデータ） (2024-07-16T19:33:23Z)
• Data Adaptive Traceback for Vision-Language Foundation Models in Image Classification [34.37262622415682]
  我々はData Adaptive Tracebackと呼ばれる新しい適応フレームワークを提案する。 具体的には、ゼロショット法を用いて、事前学習データの最もダウンストリームなタスク関連サブセットを抽出する。 我々は、擬似ラベルに基づく半教師付き手法を採用し、事前学習画像の再利用と、半教師付き学習における確証バイアス問題に対処するための視覚言語コントラスト学習手法を提案する。
  論文  参考訳（メタデータ） (2024-07-11T18:01:58Z)
• Channel-Selective Normalization for Label-Shift Robust Test-Time Adaptation [16.657929958093824]
  テスト時間適応は、推論中にモデルを新しいデータ分布に調整するアプローチである。 テスト時のバッチ正規化は、ドメインシフトベンチマークで魅力的なパフォーマンスを達成した、シンプルで一般的な方法である。 本稿では、ディープネットワークにおけるチャネルのみを選択的に適応させ、ラベルシフトに敏感な劇的な適応を最小化することで、この問題に対処することを提案する。
  論文  参考訳（メタデータ） (2024-02-07T15:41:01Z)
• A Comprehensive Survey on Test-Time Adaptation under Distribution Shifts [143.14128737978342]
  新たなパラダイムであるテスト時適応は、事前トレーニングされたモデルをテスト中にラベルのないデータに適用し、予測を行う可能性がある。 このパラダイムの最近の進歩は、推論に先立って自己適応モデルのトレーニングにラベルのないデータを活用するという大きな利点を浮き彫りにしている。
  論文  参考訳（メタデータ） (2023-03-27T16:32:21Z)
• DELTA: degradation-free fully test-time adaptation [59.74287982885375]
  テスト時間バッチ正規化(BN)や自己学習といった,一般的な適応手法では,2つの好ましくない欠陥が隠されていることがわかった。 まず、テスト時間BNにおける正規化統計は、現在受信されているテストサンプルに完全に影響され、その結果、不正確な推定結果が得られることを明らかにする。 第二に、テスト時間適応中にパラメータ更新が支配的なクラスに偏っていることを示す。
  論文  参考訳（メタデータ） (2023-01-30T15:54:00Z)
• TeST: Test-time Self-Training under Distribution Shift [99.68465267994783]
  Test-Time Self-Training (TeST)は、あるソースデータとテスト時の新しいデータ分散に基づいてトレーニングされたモデルを入力する技術である。 また,TeSTを用いたモデルでは,ベースラインテスト時間適応アルゴリズムよりも大幅に改善されていることがわかった。
  論文  参考訳（メタデータ） (2022-09-23T07:47:33Z)
• Listen, Adapt, Better WER: Source-free Single-utterance Test-time Adaptation for Automatic Speech Recognition [65.84978547406753]
  Test-time Adaptationは、ソースドメインでトレーニングされたモデルに適応して、テストサンプルの予測を改善することを目的としている。 単一発話テスト時間適応 (SUTA) は音声領域における最初のTTA研究である。
  論文  参考訳（メタデータ） (2022-03-27T06:38:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。