論文の概要: Parameter-free Online Test-time Adaptation

• arxiv url: http://arxiv.org/abs/2201.05718v1
• Date: Sat, 15 Jan 2022 00:29:16 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-22 17:53:41.905870
• Title: Parameter-free Online Test-time Adaptation
• Title（参考訳）: パラメータフリーオンラインテストタイム適応
• Authors: Malik Boudiaf, Romain Mueller, Ismail Ben Ayed, Luca Bertinetto
• Abstract要約: 実世界の様々なシナリオにおいて,テスト時間適応手法が事前学習されたモデルにどのような効果をもたらすかを示す。 我々は特に「保守的」なアプローチを提案し、ラプラシアン適応最大推定(LAME)を用いてこの問題に対処する。 提案手法では,既存の手法よりもシナリオの平均精度がはるかに高く,メモリフットプリントもはるかに高速である。
• 参考スコア（独自算出の注目度）: 19.279048049267388
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Training state-of-the-art vision models has become prohibitively expensive for researchers and practitioners. For the sake of accessibility and resource reuse, it is important to focus on adapting these models to a variety of downstream scenarios. An interesting and practical paradigm is online test-time adaptation, according to which training data is inaccessible, no labelled data from the test distribution is available, and adaptation can only happen at test time and on a handful of samples. In this paper, we investigate how test-time adaptation methods fare for a number of pre-trained models on a variety of real-world scenarios, significantly extending the way they have been originally evaluated. We show that they perform well only in narrowly-defined experimental setups and sometimes fail catastrophically when their hyperparameters are not selected for the same scenario in which they are being tested. Motivated by the inherent uncertainty around the conditions that will ultimately be encountered at test time, we propose a particularly "conservative" approach, which addresses the problem with a Laplacian Adjusted Maximum-likelihood Estimation (LAME) objective. By adapting the model's output (not its parameters), and solving our objective with an efficient concave-convex procedure, our approach exhibits a much higher average accuracy across scenarios than existing methods, while being notably faster and have a much lower memory footprint. Code available at https://github.com/fiveai/LAME.
• Abstract（参考訳）: 最先端のビジョンモデルのトレーニングは、研究者や実践者にとって違法に高価になっている。 アクセシビリティとリソース再利用のためには、これらのモデルをさまざまなダウンストリームシナリオに適応させることに集中することが重要です。 興味深い、実践的なパラダイムは、オンラインのテスト時間適応であり、トレーニングデータがアクセス不能であり、テストディストリビューションからのラベル付きデータは利用できず、テスト時間と少数のサンプルでのみ適応できる。 本稿では,様々な実世界のシナリオで事前学習されたモデルに対して,テスト時間適応手法が与える効果について検討し,その評価方法を大幅に拡張する。 実験では, 狭い範囲でしか動作しないが, 過パラメータがテスト中と同じシナリオで選択されない場合, 時には破滅的に失敗する。 テスト時に最終的に遭遇する条件に関する本質的不確実性に動機づけられ,ラプラシアン調整最大類似度推定(lame)の課題に対処する,特に「保守的」な手法を提案する。 モデルの出力(パラメータではなく)を適応させ、効率的な凹凸法で目的を解決することで、従来の手法よりも高い平均精度を示しつつ、メモリフットプリントも大幅に低減した。 コードはhttps://github.com/fiveai/lameで入手できる。

関連論文リスト

• DOTA: Distributional Test-Time Adaptation of Vision-Language Models [52.98590762456236]
  トレーニングフリーテスト時動的アダプタ(TDA)は、この問題に対処するための有望なアプローチである。 単体テスト時間適応法(Dota)の簡易かつ効果的な方法を提案する。 Dotaは継続的にテストサンプルの分布を推定し、モデルがデプロイメント環境に継続的に適応できるようにします。
  論文  参考訳（メタデータ） (2024-09-28T15:03:28Z)
• On Pitfalls of Test-Time Adaptation [82.8392232222119]
  TTA(Test-Time Adaptation)は、分散シフトの下で堅牢性に取り組むための有望なアプローチとして登場した。 TTABは,10の最先端アルゴリズム,多種多様な分散シフト,および2つの評価プロトコルを含むテスト時間適応ベンチマークである。
  論文  参考訳（メタデータ） (2023-06-06T09:35:29Z)
• DELTA: degradation-free fully test-time adaptation [59.74287982885375]
  テスト時間バッチ正規化(BN)や自己学習といった,一般的な適応手法では,2つの好ましくない欠陥が隠されていることがわかった。 まず、テスト時間BNにおける正規化統計は、現在受信されているテストサンプルに完全に影響され、その結果、不正確な推定結果が得られることを明らかにする。 第二に、テスト時間適応中にパラメータ更新が支配的なクラスに偏っていることを示す。
  論文  参考訳（メタデータ） (2023-01-30T15:54:00Z)
• CAFA: Class-Aware Feature Alignment for Test-Time Adaptation [50.26963784271912]
  テスト時間適応(TTA)は、テスト時にラベルのないデータにモデルを適応させることによって、この問題に対処することを目的としている。 本稿では,クラス認識特徴アライメント(CAFA, Class-Aware Feature Alignment)と呼ばれる単純な機能アライメント損失を提案する。
  論文  参考訳（メタデータ） (2022-06-01T03:02:07Z)
• Efficient Test-Time Model Adaptation without Forgetting [60.36499845014649]
  テストタイム適応は、トレーニングとテストデータの間の潜在的な分散シフトに取り組むことを目指している。 信頼性および非冗長なサンプルを同定するためのアクティブなサンプル選択基準を提案する。 また、重要なモデルパラメータを劇的な変化から制約するFisher regularizerを導入します。
  論文  参考訳（メタデータ） (2022-04-06T06:39:40Z)
• MEMO: Test Time Robustness via Adaptation and Augmentation [131.28104376280197]
  テスト時間ロバスト化の問題、すなわちモデルロバスト性を改善するためにテストインプットを用いて検討する。 最近の先行研究ではテスト時間適応法が提案されているが、それぞれ追加の仮定を導入している。 モデルが確率的で適応可能な任意のテスト環境で使用できるシンプルなアプローチを提案する。
  論文  参考訳（メタデータ） (2021-10-18T17:55:11Z)
• Model adaptation and unsupervised learning with non-stationary batch data under smooth concept drift [8.068725688880772]
  ほとんどの予測モデルは、トレーニングとテストデータは定常的なプロセスから生成されると仮定する。 我々は、データソースの非定常性に起因する段階的な概念の漂流のシナリオを考察する。 予測モデルの教師なし適応のための新しい反復アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-02-10T21:29:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。