論文の概要: Covariance-aware Feature Alignment with Pre-computed Source Statistics
for Test-time Adaptation
- arxiv url: http://arxiv.org/abs/2204.13263v1
- Date: Thu, 28 Apr 2022 02:50:43 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-29 14:25:23.466136
- Title: Covariance-aware Feature Alignment with Pre-computed Source Statistics
for Test-time Adaptation
- Title（参考訳）: テスト時間適応のための共分散認識特徴と事前計算ソース統計
- Authors: Kazuki Adachi, Shin'ya Yamaguchi, Atsutoshi Kumagai
- Abstract要約: テスト環境における特徴の分布がトレーニング環境と異なる場合、ディープニューラルネットワークの精度は低下する。
劣化を軽減するため、ソースデータセットにアクセスせずにテスト環境でテスト時間適応(TTA)を使用することができる。
本稿では,テスト時の特徴分布と特徴分布を明示的に整列する新しいTTA手法であるCovariance-Aware Featureアライメント(CAFe)を提案する。
- 参考スコア（独自算出の注目度）: 11.859913430860335
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The accuracy of deep neural networks is degraded when the distribution of
features in the test environment (target domain) differs from that of the
training (source) environment. To mitigate the degradation, test-time
adaptation (TTA), where a model adapts to the target domain without access to
the source dataset, can be used in the test environment. However, the existing
TTA methods lack feature distribution alignment between the source and target
domains, which unsupervised domain adaptation mainly addresses, because
accessing the source dataset is prohibited in the TTA setting. In this paper,
we propose a novel TTA method, named Covariance-Aware Feature alignment (CAFe),
which explicitly aligns the source and target feature distributions at test
time. To perform alignment without accessing the source data, CAFe uses
auxiliary feature statistics (mean and covariance) pre-computed on the source
domain, which are lightweight and easily prepared. Further, to improve
efficiency and stability, we propose feature grouping, which splits the feature
dimensions into groups according to their correlations by using spectral
clustering to avoid degeneration of the covariance matrix. We empirically show
that CAFe outperforms prior TTA methods on a variety of distribution shifts.
- Abstract（参考訳）: テスト環境(ターゲットドメイン)における特徴の分布がトレーニング環境(ソース)環境と異なる場合、ディープニューラルネットワークの精度は低下する。
劣化を軽減するために、モデルがソースデータセットにアクセスせずにターゲットドメインに適応するテスト時間適応(TTA)をテスト環境で使用することができる。
しかし、既存のTTAメソッドは、ソースデータセットへのアクセスがTTA設定で禁止されているため、教師なしのドメイン適応に主に対処するソースドメインとターゲットドメイン間の特徴分散アライメントを欠いている。
本稿では,テスト時のソースとターゲットの特徴分布を明示的にアライメントする新しいTTA手法であるCovariance-Aware Feature alignment (CAFe)を提案する。
ソースデータにアクセスすることなくアライメントを実行するために、CAFeはソースドメインに事前計算された補助的特徴統計(平均と共分散)を使用し、軽量で容易に準備できる。
さらに,効率と安定性を向上させるために,スペクトルクラスタリングを用いて特徴次元をグループに分割し,共分散行列の劣化を回避する特徴群を提案する。
種々の分布シフトにおいて,CAFeが先行TTA法より優れていることを示す。
関連論文リスト
- Efficient Diffusion-Driven Corruption Editor for Test-Time Adaptation [37.67328706787212]
テスト時間適応(TTA)は、テスト時間中に発生する予期せぬ分散シフトに対処する。
本稿では,遅延拡散モデル(LDM)に基づく画像編集モデルを利用した新しいTTA手法を提案する。
我々のモデルは拡散ベースベースラインよりも100倍高速なランタイムで最高の性能を達成する。
論文 参考訳（メタデータ） (2024-03-16T12:18:20Z) - Dynamic Batch Norm Statistics Update for Natural Robustness [5.366500153474747]
本稿では,汚職検出モデルとBN統計更新からなる統合フレームワークを提案する。
CIFAR10-CとImageNet-Cの精度は8%, 4%向上した。
論文 参考訳（メタデータ） (2023-10-31T17:20:30Z) - Universal Test-time Adaptation through Weight Ensembling, Diversity
Weighting, and Prior Correction [3.5139431332194198]
テスト時適応(TTA)はデプロイ後もモデルを更新し続け、現在のテストデータを活用する。
我々は、自己学習ベースの手法が対処しなければならないいくつかの課題を特定し、強調する。
モデルがバイアスを受けるのを防ぐために、データセットとモデルに依存しない確実性と多様性の重み付けを利用する。
論文 参考訳（メタデータ） (2023-06-01T13:16:10Z) - Ambient Diffusion: Learning Clean Distributions from Corrupted Data [77.34772355241901]
本稿では,高度に破損したサンプルのみを用いて未知の分布を学習できる拡散型フレームワークを提案する。
このアプローチのもうひとつのメリットは、個々のトレーニングサンプルを記憶しにくい生成モデルをトレーニングできることです。
論文 参考訳（メタデータ） (2023-05-30T17:43:33Z) - Masked Images Are Counterfactual Samples for Robust Fine-tuning [77.82348472169335]
微調整の深層学習モデルは、分布内(ID)性能と分布外(OOD)堅牢性の間のトレードオフにつながる可能性がある。
そこで本研究では,マスク付き画像を対物サンプルとして用いて,ファインチューニングモデルのロバスト性を向上させる新しいファインチューニング手法を提案する。
論文 参考訳（メタデータ） (2023-03-06T11:51:28Z) - On-the-Fly Test-time Adaptation for Medical Image Segmentation [63.476899335138164]
ソースモデルをテスト時にターゲットデータに適応させることは、データシフト問題に対する効率的な解決策である。
本稿では、各畳み込みブロックに適応バッチ正規化層を設けるAdaptive UNetという新しいフレームワークを提案する。
テスト期間中、モデルは新しいテストイメージのみを取り込み、ドメインコードを生成して、テストデータに従ってソースモデルの特徴を適応させる。
論文 参考訳（メタデータ） (2022-03-10T18:51:29Z) - SITA: Single Image Test-time Adaptation [48.789568233682296]
テスト時間適応(TTA)では、あるソースデータに基づいてトレーニングされたモデルを考えると、異なるディストリビューションからテストインスタンスに対してより良い予測を行うように適応することが目標である。
我々は、TTAをSITA(Single Image Test-time Adaptation)と呼ぶより実践的な環境で考える。
ここでは、各予測を行う場合、モデルはインスタンスのバッチではなく、与えられた単一のテストインスタンスにのみアクセスすることができる。
本稿では,前進保存伝播のみを必要とするSITA設定のための新しいアプローチAugBNを提案する。
論文 参考訳（メタデータ） (2021-12-04T15:01:35Z) - Benchmarks for Corruption Invariant Person Re-identification [31.919264399996475]
本研究では,マーケット-1501,CUHK03,MSMT17,RegDB,SYSU-MM01など,単品間および多品間データセットにおける汚い不変性学習について検討した。
トランスフォーマーベースのモデルは、CNNベースのモデルと比較して、破損したイメージに対してより堅牢である。
クロスデータセットの一般化は、腐敗の堅牢性を高めることで改善される。
論文 参考訳（メタデータ） (2021-11-01T12:14:28Z) - A Hierarchical Transformation-Discriminating Generative Model for Few
Shot Anomaly Detection [93.38607559281601]
各トレーニングイメージのマルチスケールパッチ分布をキャプチャする階層的生成モデルを開発した。
この異常スコアは、スケール及び画像領域にわたる正しい変換のパッチベースの投票を集約して得られる。
論文 参考訳（メタデータ） (2021-04-29T17:49:48Z) - Improving robustness against common corruptions with frequency biased
models [112.65717928060195]
目に見えない画像の腐敗は 驚くほど大きなパフォーマンス低下を引き起こします
画像の破損タイプは周波数スペクトルで異なる特性を持ち、ターゲットタイプのデータ拡張の恩恵を受けます。
畳み込み特徴マップの総変動(TV)を最小限に抑え、高周波堅牢性を高める新しい正規化方式を提案する。
論文 参考訳（メタデータ） (2021-03-30T10:44:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。