論文の概要: SODA: Robust Training of Test-Time Data Adaptors

• arxiv url: http://arxiv.org/abs/2310.11093v1
• Date: Tue, 17 Oct 2023 09:22:20 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-18 16:53:44.601173
• Title: SODA: Robust Training of Test-Time Data Adaptors
• Title（参考訳）: SODA: テスト時間データアダプタのロバストトレーニング
• Authors: Zige Wang, Yonggang Zhang, Zhen Fang, Long Lan, Wenjing Yang, Bo Han
• Abstract要約: 分散テストにモデルを適用することで、分散シフトによるパフォーマンス劣化を軽減することができる。 1つの有望なアプローチは、ゼロ階最適化(ZOO)を使用して、データアダプタをトレーニングして、デプロイされたモデルに適合するようにテストデータを適用することである。 擬似ラベル・ロバストデータ適応(SODA)を提案する。
• 参考スコア（独自算出の注目度）: 39.211230006612894
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Adapting models deployed to test distributions can mitigate the performance degradation caused by distribution shifts. However, privacy concerns may render model parameters inaccessible. One promising approach involves utilizing zeroth-order optimization (ZOO) to train a data adaptor to adapt the test data to fit the deployed models. Nevertheless, the data adaptor trained with ZOO typically brings restricted improvements due to the potential corruption of data features caused by the data adaptor. To address this issue, we revisit ZOO in the context of test-time data adaptation. We find that the issue directly stems from the unreliable estimation of the gradients used to optimize the data adaptor, which is inherently due to the unreliable nature of the pseudo-labels assigned to the test data. Based on this observation, we propose pseudo-label-robust data adaptation (SODA) to improve the performance of data adaptation. Specifically, SODA leverages high-confidence predicted labels as reliable labels to optimize the data adaptor with ZOO for label prediction. For data with low-confidence predictions, SODA encourages the adaptor to preserve data information to mitigate data corruption. Empirical results indicate that SODA can significantly enhance the performance of deployed models in the presence of distribution shifts without requiring access to model parameters.
• Abstract（参考訳）: テストディストリビューションにデプロイされたモデルの適用は、分散シフトに起因するパフォーマンス低下を軽減することができる。 しかし、プライバシの懸念はモデルパラメータをアクセス不能にする可能性がある。 有望なアプローチのひとつは、データアダプタをトレーニングし、デプロイされたモデルに適合するテストデータを適用するために、ゼロ次最適化(zoo)を活用することだ。 それでも、ZOOでトレーニングされたデータアダプタは、データアダプタによって引き起こされるデータ機能の破損により、一般的に制限された改善をもたらす。 この問題に対処するため、テスト時間データ適応の文脈でZOOを再考する。 この問題は、テストデータに割り当てられた擬似ラベルの信頼性の低い性質のため、データ適応器の最適化に使用される勾配の信頼性が低いことに直接起因している。 そこで本研究では,データ適応性能を向上させるために,擬似ラベル・ロバストデータ適応(SODA)を提案する。 具体的には、高い信頼度を持つ予測ラベルを信頼できるラベルとして活用し、zooによるデータアダプタを最適化してラベル予測を行う。 信頼性の低いデータに対して、SODAは、データ破損を軽減するためにデータ情報を保存することをアダプタに推奨する。 実験結果から,SODAはモデルパラメータへのアクセスを必要とせずに,分散シフトが存在する場合の配置モデルの性能を大幅に向上させることができることが示された。

関連論文リスト

• Parameter-tuning-free data entry error unlearning with adaptive selective synaptic dampening [51.34904967046097]
  本稿では,パラメータチューニングの必要性を排除した選択的シナプス減衰アンラーニング法の拡張を提案する。 本稿では,ResNet18とVision Transformerの未学習タスクにおける適応選択的シナプス減衰(ASSD)の性能を示す。 このアプローチの適用は、サプライチェーン管理などの産業環境において特に魅力的である。
  論文  参考訳（メタデータ） (2024-02-06T14:04:31Z)
• An Adaptive Method for Weak Supervision with Drifting Data [11.035811912078216]
  非定常的な環境では,厳格な品質保証を施した適応手法を導入する。 我々は、弱い監督源の精度が時間とともにドリフトできる非定常的なケースに焦点を当てる。 我々のアルゴリズムはドリフトの大きさに関する仮定を一切必要とせず、入力に基づいて適応する。
  論文  参考訳（メタデータ） (2023-06-02T16:27:34Z)
• Back to the Source: Diffusion-Driven Test-Time Adaptation [77.4229736436935]
  テスト時間適応はテスト入力を利用し、シフトしたターゲットデータ上でテストした場合、ソースデータに基づいてトレーニングされたモデルの精度を向上させる。 代わりに、生成拡散モデルを用いて、すべてのテスト入力をソース領域に向けて投影することで、ターゲットデータを更新する。
  論文  参考訳（メタデータ） (2022-07-07T17:14:10Z)
• CAFA: Class-Aware Feature Alignment for Test-Time Adaptation [50.26963784271912]
  テスト時間適応(TTA)は、テスト時にラベルのないデータにモデルを適応させることによって、この問題に対処することを目的としている。 本稿では,クラス認識特徴アライメント(CAFA, Class-Aware Feature Alignment)と呼ばれる単純な機能アライメント損失を提案する。
  論文  参考訳（メタデータ） (2022-06-01T03:02:07Z)
• Test-Time Adaptation to Distribution Shift by Confidence Maximization and Input Transformation [44.494319305269535]
  ニューラルネットワークは、トレインタイムのデータ分散下ではありそうもないデータに対して、低いパフォーマンスを示すことが多い。 本稿では,対象分布からのラベル付きデータのみを必要とする完全テスト時間適応設定に焦点をあてる。 本稿では,初期収束とエントロピー最小化の不安定性の両方に対処することにより,テスト時間適応を改善する新しい損失を提案する。
  論文  参考訳（メタデータ） (2021-06-28T22:06:10Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)
• Evaluating Prediction-Time Batch Normalization for Robustness under Covariate Shift [81.74795324629712]
  我々は予測時間バッチ正規化と呼び、共変量シフト時のモデル精度とキャリブレーションを大幅に改善する。 予測時間バッチ正規化は、既存の最先端アプローチに相補的な利点をもたらし、ロバスト性を向上させることを示します。 この手法は、事前トレーニングと併用して使用すると、さまざまな結果が得られるが、より自然なタイプのデータセットシフトでは、パフォーマンスが良くないようだ。
  論文  参考訳（メタデータ） (2020-06-19T05:08:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。