論文の概要: Test-Time Adaptation with Principal Component Analysis

• arxiv url: http://arxiv.org/abs/2209.05779v1
• Date: Tue, 13 Sep 2022 07:24:40 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-14 12:04:07.508430
• Title: Test-Time Adaptation with Principal Component Analysis
• Title（参考訳）: 主成分分析によるテスト時間適応
• Authors: Thomas Cordier and Victor Bouvier and Gilles H\'enaff and C\'eline Hudelot
• Abstract要約: 主成分分析を用いたテスト時間適応法(TTAwPCA)を提案する。 与えられた層の出力は、主成分分析(PCA)を使用しており、その特異値のペナル化によってフィルタリングされ、PCA逆変換で再構成される。 CIFAR-10-CとCIFAR-100-Cの実験により,本手法の有効性と限界が示された。
• 参考スコア（独自算出の注目度）: 1.0323063834827415
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Machine Learning models are prone to fail when test data are different from training data, a situation often encountered in real applications known as distribution shift. While still valid, the training-time knowledge becomes less effective, requiring a test-time adaptation to maintain high performance. Following approaches that assume batch-norm layer and use their statistics for adaptation, we propose a Test-Time Adaptation with Principal Component Analysis (TTAwPCA), which presumes a fitted PCA and adapts at test time a spectral filter based on the singular values of the PCA for robustness to corruptions. TTAwPCA combines three components: the output of a given layer is decomposed using a Principal Component Analysis (PCA), filtered by a penalization of its singular values, and reconstructed with the PCA inverse transform. This generic enhancement adds fewer parameters than current methods. Experiments on CIFAR-10-C and CIFAR- 100-C demonstrate the effectiveness and limits of our method using a unique filter of 2000 parameters.
• Abstract（参考訳）: 機械学習モデルは、テストデータがトレーニングデータと異なる場合に失敗する傾向にあり、分散シフトとして知られる実際のアプリケーションでよく発生する状況である。 まだ有効ではあるが、トレーニング時の知識はより効果的になり、高いパフォーマンスを維持するためにはテスト時の適応が必要である。 バッチノーム層を仮定し,それらの統計値を用いて適応する手法に従えば,PCAの適合性を推定し,PCAの特異値に基づくスペクトルフィルタを試験時に適応し,破損に対する堅牢性を示すTTAwPCA(Test-Time Adaptation with principal Component Analysis)を提案する。 TTAwPCAは、与えられた層の出力を主成分分析(PCA)を用いて分解し、その特異値のペナル化によってフィルタし、PCA逆変換で再構成する。 このジェネリック拡張は現在のメソッドよりもパラメータを少なくする。 CIFAR-10-C と CIFAR-100-C の実験は,2000 パラメータのユニークなフィルタを用いて,本手法の有効性と限界を示す。

関連論文リスト

• ETAGE: Enhanced Test Time Adaptation with Integrated Entropy and Gradient Norms for Robust Model Performance [18.055032898349438]
  テスト時間適応(TTA)は、トレーニング分布から逸脱した未確認のテストデータを扱うために、ディープラーニングモデルを備えている。 本稿では,エントロピー最小化と勾配ノルム,PLPDを統合した改良TTA手法ETAGEを紹介する。 提案手法は,高エントロピーと高勾配ノルムを適応から組み合わせることで,不安定を生じにくいサンプルを優先する。
  論文  参考訳（メタデータ） (2024-09-14T01:25:52Z)
• Test-Time Model Adaptation with Only Forward Passes [68.11784295706995]
  テストタイム適応は、トレーニング済みのモデルを、潜在的に分布シフトのある未確認テストサンプルに適応させるのに有効であることが証明されている。 テスト時間フォワード最適化適応法(FOA)を提案する。 FOAは量子化された8ビットのViTで動作し、32ビットのViTで勾配ベースのTENTより優れ、ImageNet-Cで最大24倍のメモリ削減を実現する。
  論文  参考訳（メタデータ） (2024-04-02T05:34:33Z)
• REALM: Robust Entropy Adaptive Loss Minimization for Improved Single-Sample Test-Time Adaptation [5.749155230209001]
  フルテスト時間適応(F-TTA)は、列車とテストデータの分散シフトによる性能損失を軽減することができる。 本稿では,F-TTAの雑音に対する堅牢性向上のための一般的な枠組みについて述べる。
  論文  参考訳（メタデータ） (2023-09-07T18:44:58Z)
• Functional PCA and Deep Neural Networks-based Bayesian Inverse Uncertainty Quantification with Transient Experimental Data [1.6328866317851187]
  逆UQは実験データに基づいてモデルの入力不確実性を逆定量化するプロセスである。 この研究は、機能主成分分析(PCA)とディープニューラルネットワーク(DNN)に基づくサロゲートモデルを用いて、時間依存応答のための逆UQプロセスの開発に焦点を当てる。
  論文  参考訳（メタデータ） (2023-07-10T18:07:17Z)
• DELTA: degradation-free fully test-time adaptation [59.74287982885375]
  テスト時間バッチ正規化(BN)や自己学習といった,一般的な適応手法では,2つの好ましくない欠陥が隠されていることがわかった。 まず、テスト時間BNにおける正規化統計は、現在受信されているテストサンプルに完全に影響され、その結果、不正確な推定結果が得られることを明らかにする。 第二に、テスト時間適応中にパラメータ更新が支配的なクラスに偏っていることを示す。
  論文  参考訳（メタデータ） (2023-01-30T15:54:00Z)
• TTAPS: Test-Time Adaption by Aligning Prototypes using Self-Supervision [70.05605071885914]
  本研究では,単体テストサンプルに適用可能な自己教師付きトレーニングアルゴリズムSwaVの新たな改良を提案する。 ベンチマークデータセットCIFAR10-Cにおいて,本手法の有効性を示す。
  論文  参考訳（メタデータ） (2022-05-18T05:43:06Z)
• Efficient Test-Time Model Adaptation without Forgetting [60.36499845014649]
  テストタイム適応は、トレーニングとテストデータの間の潜在的な分散シフトに取り組むことを目指している。 信頼性および非冗長なサンプルを同定するためのアクティブなサンプル選択基準を提案する。 また、重要なモデルパラメータを劇的な変化から制約するFisher regularizerを導入します。
  論文  参考訳（メタデータ） (2022-04-06T06:39:40Z)
• AgFlow: Fast Model Selection of Penalized PCA via Implicit Regularization Effects of Gradient Flow [64.81110234990888]
  主成分分析(PCA)は特徴抽出と次元減少の有効な手法として広く用いられている。 High Dimension Low Sample Size (HDLSS) 設定では、ペナル化ロードを備えた修正主成分が好まれる。 ペナル化PCAの高速モデル選択法として近似勾配流(AgFlow)を提案する。
  論文  参考訳（メタデータ） (2021-10-07T08:57:46Z)
• FAST-PCA: A Fast and Exact Algorithm for Distributed Principal Component Analysis [12.91948651812873]
  主成分分析(PCA)は、機械学習の世界における基本的なデータ前処理ツールである。 本稿では,FAST-PCA (Fast and exact distributed PCA) と呼ばれる分散PCAアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-08-27T16:10:59Z)
• Unsupervised Domain Adaptation for Speech Recognition via Uncertainty Driven Self-Training [55.824641135682725]
  WSJ をソースドメインとし,TED-Lium 3 とSWITCHBOARD を併用したドメイン適応実験を行った。
  論文  参考訳（メタデータ） (2020-11-26T18:51:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。