論文の概要: ActMAD: Activation Matching to Align Distributions for
Test-Time-Training
- arxiv url: http://arxiv.org/abs/2211.12870v1
- Date: Wed, 23 Nov 2022 11:21:00 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-24 15:23:05.225920
- Title: ActMAD: Activation Matching to Align Distributions for
Test-Time-Training
- Title(参考訳): ActMAD: テスト時間トレーニングのためのアラインディストリビューションへのアクティベーションマッチング
- Authors: Muhammad Jehanzeb Mirza, Pol Jan\'e Soneira, Wei Lin, Mateusz
Kozinski, Horst Possegger, Horst Bischof
- Abstract要約: Test-Time-Training (TTT)は、テスト時に発生する分散シフトにトレーニングされたモデルを適用することで、アウト・オブ・ディストリビューション(OOD)データに対処するアプローチである。
我々は,この適応をアクティベーションマッチング (ActMAD): モデルのアクティベーションを分析し,OODテストデータのアクティベーション統計をトレーニングデータと照合する。
- 参考スコア(独自算出の注目度): 15.706895922715992
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Test-Time-Training (TTT) is an approach to cope with out-of-distribution
(OOD) data by adapting a trained model to distribution shifts occurring at
test-time. We propose to perform this adaptation via Activation Matching
(ActMAD): We analyze activations of the model and align activation statistics
of the OOD test data to those of the training data. In contrast to existing
methods, which model the distribution of entire channels in the ultimate layer
of the feature extractor, we model the distribution of each feature in multiple
layers across the network. This results in a more fine-grained supervision and
makes ActMAD attain state of the art performance on CIFAR-100C and Imagenet-C.
ActMAD is also architecture- and task-agnostic, which lets us go beyond image
classification, and score 15.4% improvement over previous approaches when
evaluating a KITTI-trained object detector on KITTI-Fog. Our experiments
highlight that ActMAD can be applied to online adaptation in realistic
scenarios, requiring little data to attain its full performance.
- Abstract(参考訳): TTT(Test-Time-Training)は、テスト時に発生する分散シフトにトレーニングされたモデルを適用することで、アウト・オブ・ディストリビューション(OOD)データに対処するアプローチである。
そこで本研究では,モデルのアクティベーションマッチング(actmad)を用いて,モデルのアクティベーションを分析し,oodテストデータのアクティベーション統計をトレーニングデータと整合させる手法を提案する。
特徴抽出器の終端層におけるチャネル全体の分布をモデル化する既存の手法とは対照的に,ネットワーク上の複数の層における各特徴の分布をモデル化する。
これにより、よりきめ細かい監督が可能となり、ActMADはCIFAR-100CおよびImagenet-C上でのアートパフォーマンスの状態を達成できる。
ActMADはまた、アーキテクチャとタスクに依存しないので、画像分類を超えて、KITTI-Fog上でKITTIで訓練されたオブジェクト検出器を評価する際に、以前のアプローチよりも15.4%改善できる。
実験の結果、ActMADは現実的なシナリオにおけるオンライン適応に適用可能であり、完全なパフォーマンスを得るためにはほとんどデータを必要としないことがわかった。
関連論文リスト
- Adversarial Augmentation Training Makes Action Recognition Models More
Robust to Realistic Video Distribution Shifts [13.752169303624147]
アクション認識モデルは、トレーニングデータとテストデータの間の自然な分散シフトに直面したとき、堅牢性を欠くことが多い。
そこで本研究では,そのような分布格差に対するモデルレジリエンスを評価するための2つの新しい評価手法を提案する。
提案手法は,3つの動作認識モデルにまたがるベースラインよりも優れた性能を示す。
論文 参考訳(メタデータ) (2024-01-21T05:50:39Z) - TEA: Test-time Energy Adaptation [67.4574269851666]
テスト時間適応(TTA)は、テストデータがトレーニング分布から分岐する際のモデル一般化性を改善することを目的としている。
本稿では,対象データ分布に対するモデルによる認識を高めるための,新しいエネルギーベース視点を提案する。
論文 参考訳(メタデータ) (2023-11-24T10:49:49Z) - pSTarC: Pseudo Source Guided Target Clustering for Fully Test-Time
Adaptation [15.621092104244003]
テスト時間適応(TTA)は機械学習において重要な概念であり、モデルが現実世界のシナリオでうまく機能することを可能にする。
そこで本研究では,TTAの比較的未探索領域を実世界のドメインシフト下で解決する手法として,擬似ソースガイドターゲットクラスタリング(pSTarC)を提案する。
論文 参考訳(メタデータ) (2023-09-02T07:13:47Z) - ALP: Action-Aware Embodied Learning for Perception [60.64801970249279]
認知のための行動認識型身体学習(ALP)について紹介する。
ALPは、強化学習ポリシーと逆ダイナミクス予測目標を最適化することにより、行動情報を表現学習に組み込む。
ALPは、複数の下流認識タスクにおいて、既存のベースラインよりも優れていることを示す。
論文 参考訳(メタデータ) (2023-06-16T21:51:04Z) - Learning to Adapt to Online Streams with Distribution Shifts [22.155844301575883]
テスト時間適応(TTA)は、推論中にラベルのないテストデータを活用することにより、トレーニングセットとテストセットの間の分散ギャップを低減する手法である。
この作業では、TTAをより実践的なシナリオに拡張し、テストデータは、時間とともに分散の変化を経験するオンラインストリームの形式で提供される。
本稿では,メタトレーニング中にネットワークに分散シフトするオンラインストリームに適応するように教えるメタラーニング手法を提案する。その結果,トレーニングされたモデルはバッチサイズ制限にかかわらず,テスト中の分散シフトに連続的に適応することができる。
論文 参考訳(メタデータ) (2023-03-02T23:36:10Z) - Effective Robustness against Natural Distribution Shifts for Models with
Different Training Data [113.21868839569]
効果的ロバスト性」は、分配内(ID)性能から予測できる以上の余分な分配外ロバスト性を測定する。
異なるデータに基づいてトレーニングされたモデルの有効ロバスト性を評価・比較するための新しい評価指標を提案する。
論文 参考訳(メタデータ) (2023-02-02T19:28:41Z) - CLIPood: Generalizing CLIP to Out-of-Distributions [73.86353105017076]
対照的に、CLIP(Language-image Pre-training)モデルでは、印象的なゼロショット能力を示しているが、下流タスクにおけるCLIPのさらなる適応は、OODのパフォーマンスを好ましくない劣化させる。
ドメインシフトとオープンクラスの両方が見えないテストデータ上で発生する可能性があるOOD状況にCLIPモデルを適用するための微調整手法であるCLIPoodを提案する。
さまざまなOODシナリオによるさまざまなデータセットの実験は、CLIPoodが既存の一般化テクニックを一貫して上回っていることを示している。
論文 参考訳(メタデータ) (2023-02-02T04:27:54Z) - CAFA: Class-Aware Feature Alignment for Test-Time Adaptation [50.26963784271912]
テスト時間適応(TTA)は、テスト時にラベルのないデータにモデルを適応させることによって、この問題に対処することを目的としている。
本稿では,クラス認識特徴アライメント(CAFA, Class-Aware Feature Alignment)と呼ばれる単純な機能アライメント損失を提案する。
論文 参考訳(メタデータ) (2022-06-01T03:02:07Z) - DLTTA: Dynamic Learning Rate for Test-time Adaptation on Cross-domain
Medical Images [56.72015587067494]
DLTTAと呼ばれるテスト時間適応のための新しい動的学習率調整法を提案する。
本手法は,現在最先端のテスト時間適応法よりも一貫した性能向上を図り,有効かつ高速なテスト時間適応を実現する。
論文 参考訳(メタデータ) (2022-05-27T02:34:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。