論文の概要: ActMAD: Activation Matching to Align Distributions for
Test-Time-Training
- arxiv url: http://arxiv.org/abs/2211.12870v2
- Date: Thu, 23 Mar 2023 16:29:04 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-24 17:49:25.061829
- Title: ActMAD: Activation Matching to Align Distributions for
Test-Time-Training
- Title（参考訳）: ActMAD: テスト時間トレーニングのためのアラインディストリビューションへのアクティベーションマッチング
- Authors: Muhammad Jehanzeb Mirza, Pol Jan\'e Soneira, Wei Lin, Mateusz
Kozinski, Horst Possegger, Horst Bischof
- Abstract要約: Test-Time-Training (TTT)は、テスト時に発生する分散シフトにトレーニングされたモデルを適用することで、アウト・オブ・ディストリビューション(OOD)データに対処するアプローチである。
我々は,この適応をアクティベーションマッチング (ActMAD): モデルのアクティベーションを分析し,OODテストデータのアクティベーション統計をトレーニングデータと照合する。
- 参考スコア（独自算出の注目度）: 15.706895922715992
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Test-Time-Training (TTT) is an approach to cope with out-of-distribution
(OOD) data by adapting a trained model to distribution shifts occurring at
test-time. We propose to perform this adaptation via Activation Matching
(ActMAD): We analyze activations of the model and align activation statistics
of the OOD test data to those of the training data. In contrast to existing
methods, which model the distribution of entire channels in the ultimate layer
of the feature extractor, we model the distribution of each feature in multiple
layers across the network. This results in a more fine-grained supervision and
makes ActMAD attain state of the art performance on CIFAR-100C and Imagenet-C.
ActMAD is also architecture- and task-agnostic, which lets us go beyond image
classification, and score 15.4% improvement over previous approaches when
evaluating a KITTI-trained object detector on KITTI-Fog. Our experiments
highlight that ActMAD can be applied to online adaptation in realistic
scenarios, requiring little data to attain its full performance.
- Abstract（参考訳）: TTT(Test-Time-Training)は、テスト時に発生する分散シフトにトレーニングされたモデルを適用することで、アウト・オブ・ディストリビューション(OOD)データに対処するアプローチである。
そこで本研究では,モデルのアクティベーションマッチング(actmad)を用いて,モデルのアクティベーションを分析し,oodテストデータのアクティベーション統計をトレーニングデータと整合させる手法を提案する。
特徴抽出器の終端層におけるチャネル全体の分布をモデル化する既存の手法とは対照的に,ネットワーク上の複数の層における各特徴の分布をモデル化する。
これにより、よりきめ細かい監督が可能となり、ActMADはCIFAR-100CおよびImagenet-C上でのアートパフォーマンスの状態を達成できる。
ActMADはまた、アーキテクチャとタスクに依存しないので、画像分類を超えて、KITTI-Fog上でKITTIで訓練されたオブジェクト検出器を評価する際に、以前のアプローチよりも15.4%改善できる。
実験の結果、ActMADは現実的なシナリオにおけるオンライン適応に適用可能であり、完全なパフォーマンスを得るためにはほとんどデータを必要としないことがわかった。
関連論文リスト
- BoostAdapter: Improving Vision-Language Test-Time Adaptation via Regional Bootstrapping [64.8477128397529]
本稿では,テスト時間適応フレームワークを提案する。
我々は、インスタンスに依存しない履歴サンプルとインスタンスを意識したブースティングサンプルから特徴を検索するための軽量なキー値メモリを維持している。
理論的には,本手法の背後にある合理性を正当化し,アウト・オブ・ディストリビューションとクロスドメイン・データセットの両方において,その有効性を実証的に検証する。
論文 参考訳（メタデータ） (2024-10-20T15:58:43Z) - Logit Scaling for Out-of-Distribution Detection [13.017887434494373]
トレーニングデータ配信へのアクセスを必要としない簡易なポストホック手法を提案する。
当社の方法である Logit Scaling (LTS) は, 物流内分布(ID) と OOD サンプルを効果的に区別する方法でロジットをスケールする。
CIFAR-10, CIFAR-100, ImageNet, OpenOOD など,様々なスケールでベンチマークを行った。
論文 参考訳（メタデータ） (2024-09-02T11:10:44Z) - Test-Time Training on Graphs with Large Language Models (LLMs) [68.375487369596]
グラフニューラルネットワーク(GNN)をトレーニングするための有望なアプローチとして,TTT(Test-Time Training)が提案されている。
テキスト分散グラフ(TAG)上でのLLM(Large Language Models)の優れたアノテーション能力に着想を得て,LLMをアノテータとしてグラフ上でのテスト時間トレーニングを強化することを提案する。
2段階のトレーニング戦略は、限定的でノイズの多いラベルでテストタイムモデルを調整するように設計されている。
論文 参考訳（メタデータ） (2024-04-21T08:20:02Z) - Gradient-Regularized Out-of-Distribution Detection [28.542499196417214]
現実のアプリケーションにおけるニューラルネットワークの課題の1つは、これらのモデルが元のトレーニングディストリビューションからデータが送られていないときに犯す過信エラーである。
本稿では,学習中の損失関数の勾配に埋め込まれた情報を活用して,ネットワークが各サンプルに対して所望のOODスコアを学習できるようにする方法を提案する。
また、トレーニング期間中に、より情報性の高いOODサンプルにネットワークを露出させるための、新しいエネルギーベースのサンプリング手法を開発した。
論文 参考訳（メタデータ） (2024-04-18T17:50:23Z) - Active Test-Time Adaptation: Theoretical Analyses and An Algorithm [51.84691955495693]
テスト時間適応(TTA)は、教師なし設定でストリーミングテストデータの分散シフトに対処する。
完全TTA設定内に能動学習を統合する能動テスト時間適応(ATTA)の新たな問題設定を提案する。
論文 参考訳（メタデータ） (2024-04-07T22:31:34Z) - pSTarC: Pseudo Source Guided Target Clustering for Fully Test-Time
Adaptation [15.621092104244003]
テスト時間適応(TTA)は機械学習において重要な概念であり、モデルが現実世界のシナリオでうまく機能することを可能にする。
そこで本研究では,TTAの比較的未探索領域を実世界のドメインシフト下で解決する手法として,擬似ソースガイドターゲットクラスタリング(pSTarC)を提案する。
論文 参考訳（メタデータ） (2023-09-02T07:13:47Z) - ALP: Action-Aware Embodied Learning for Perception [60.64801970249279]
認知のための行動認識型身体学習(ALP)について紹介する。
ALPは、強化学習ポリシーと逆ダイナミクス予測目標を最適化することにより、行動情報を表現学習に組み込む。
ALPは、複数の下流認識タスクにおいて、既存のベースラインよりも優れていることを示す。
論文 参考訳（メタデータ） (2023-06-16T21:51:04Z) - Learning to Adapt to Online Streams with Distribution Shifts [22.155844301575883]
テスト時間適応(TTA)は、推論中にラベルのないテストデータを活用することにより、トレーニングセットとテストセットの間の分散ギャップを低減する手法である。
この作業では、TTAをより実践的なシナリオに拡張し、テストデータは、時間とともに分散の変化を経験するオンラインストリームの形式で提供される。
本稿では,メタトレーニング中にネットワークに分散シフトするオンラインストリームに適応するように教えるメタラーニング手法を提案する。その結果,トレーニングされたモデルはバッチサイズ制限にかかわらず,テスト中の分散シフトに連続的に適応することができる。
論文 参考訳（メタデータ） (2023-03-02T23:36:10Z) - Effective Robustness against Natural Distribution Shifts for Models with
Different Training Data [113.21868839569]
効果的ロバスト性」は、分配内(ID)性能から予測できる以上の余分な分配外ロバスト性を測定する。
異なるデータに基づいてトレーニングされたモデルの有効ロバスト性を評価・比較するための新しい評価指標を提案する。
論文 参考訳（メタデータ） (2023-02-02T19:28:41Z) - CLIPood: Generalizing CLIP to Out-of-Distributions [73.86353105017076]
対照的に、CLIP(Language-image Pre-training)モデルでは、印象的なゼロショット能力を示しているが、下流タスクにおけるCLIPのさらなる適応は、OODのパフォーマンスを好ましくない劣化させる。
ドメインシフトとオープンクラスの両方が見えないテストデータ上で発生する可能性があるOOD状況にCLIPモデルを適用するための微調整手法であるCLIPoodを提案する。
さまざまなOODシナリオによるさまざまなデータセットの実験は、CLIPoodが既存の一般化テクニックを一貫して上回っていることを示している。
論文 参考訳（メタデータ） (2023-02-02T04:27:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。