論文の概要: Label Shift Adapter for Test-Time Adaptation under Covariate and Label Shifts

• arxiv url: http://arxiv.org/abs/2308.08810v1
• Date: Thu, 17 Aug 2023 06:37:37 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-21 17:46:32.840880
• Title: Label Shift Adapter for Test-Time Adaptation under Covariate and Label Shifts
• Title（参考訳）: 共変量およびラベルシフト下におけるテスト時間適応のためのラベルシフトアダプタ
• Authors: Sunghyun Park, Seunghan Yang, Jaegul Choo, Sungrack Yun
• Abstract要約: テスト時間適応(TTA)は、推論中にバッチ・バイ・バッチ方式で、事前訓練されたモデルをターゲットドメインに適応することを目的としている。 これまでのほとんどのTTAアプローチは、ソースとターゲットのドメインのデータセットがバランスの取れたラベルの分布を持っていると仮定している。 本稿では,ラベルシフトを効果的に扱うために,既存のTTAアプローチに組み込む新しいラベルシフトアダプタを提案する。
• 参考スコア（独自算出の注目度）: 48.83127071288469
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Test-time adaptation (TTA) aims to adapt a pre-trained model to the target domain in a batch-by-batch manner during inference. While label distributions often exhibit imbalances in real-world scenarios, most previous TTA approaches typically assume that both source and target domain datasets have balanced label distribution. Due to the fact that certain classes appear more frequently in certain domains (e.g., buildings in cities, trees in forests), it is natural that the label distribution shifts as the domain changes. However, we discover that the majority of existing TTA methods fail to address the coexistence of covariate and label shifts. To tackle this challenge, we propose a novel label shift adapter that can be incorporated into existing TTA approaches to deal with label shifts during the TTA process effectively. Specifically, we estimate the label distribution of the target domain to feed it into the label shift adapter. Subsequently, the label shift adapter produces optimal parameters for the target label distribution. By predicting only the parameters for a part of the pre-trained source model, our approach is computationally efficient and can be easily applied, regardless of the model architectures. Through extensive experiments, we demonstrate that integrating our strategy with TTA approaches leads to substantial performance improvements under the joint presence of label and covariate shifts.
• Abstract（参考訳）: テスト時間適応(TTA)は、推論中にバッチ・バイ・バッチ方式で、事前訓練されたモデルをターゲットドメインに適応することを目的としている。 ラベル分布はしばしば現実世界のシナリオで不均衡を示すが、ほとんどのttaアプローチは、ソースとターゲットの両方のドメインデータセットがラベル分布のバランスをとると仮定している。 特定のクラスが特定のドメイン(例えば、都市の建物、森林の木)でより頻繁に現れるという事実から、ドメインが変化するにつれてラベルの分布が変化するのは自然である。 しかし,既存のTTA手法の大部分は,共変量およびラベルシフトの共存に対処できないことがわかった。 この課題に対処するために,既存のTTAアプローチに組み込んで,TTAプロセス中にラベルシフトを効果的に処理できる新しいラベルシフトアダプタを提案する。 具体的には,対象領域のラベル分布を推定し,ラベルシフトアダプタに入力する。 その後、ラベルシフトアダプタは、ターゲットラベル分布の最適パラメータを生成する。 事前学習したソースモデルの一部のパラメータのみを予測することで、我々のアプローチは計算効率が高く、モデルアーキテクチャに関係なく容易に適用できる。 広範な実験を通じて,TTAアプローチと戦略の統合は,ラベルと共変量シフトの併用による大幅な性能向上につながることを示した。

関連論文リスト

• Label Distribution Shift-Aware Prediction Refinement for Test-Time Adaptation [12.231303059518229]
  テスト時間適応(DART)のためのラベル分散シフト予測の改良について紹介する。 DARTは、クラスワイドの混乱パターンに着目して予測を洗練する新しいTTA手法である。 CIFAR-10Cではラベル分布シフトがない場合,CIFAR-10Cでは精度が5-18%向上する。
  論文  参考訳（メタデータ） (2024-11-20T05:58:52Z)
• Channel-Selective Normalization for Label-Shift Robust Test-Time Adaptation [16.657929958093824]
  テスト時間適応は、推論中にモデルを新しいデータ分布に調整するアプローチである。 テスト時のバッチ正規化は、ドメインシフトベンチマークで魅力的なパフォーマンスを達成した、シンプルで一般的な方法である。 本稿では、ディープネットワークにおけるチャネルのみを選択的に適応させ、ラベルシフトに敏感な劇的な適応を最小化することで、この問題に対処することを提案する。
  論文  参考訳（メタデータ） (2024-02-07T15:41:01Z)
• ELSA: Efficient Label Shift Adaptation through the Lens of Semiparametric Models [2.73424570009809]
  ラベルシフトのコンテキスト下では、ラベルの限界分布はトレーニングとテストデータセットによって異なる。 本稿では,影響関数の幾何学に基づくラベルシフト適応のためのモーメントマッチングフレームワークを提案する。 このような枠組みの下では、 underlineEfficient underlineLabel underlineShift underline Adaptation (ELSA) という新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-05-30T15:31:44Z)
• RLSbench: Domain Adaptation Under Relaxed Label Shift [39.845383643588356]
  ラベルシフトを緩和するための大規模ベンチマークであるRSbenchを紹介する。 13の一般的なドメイン適応手法を評価し、ラベル比のシフトにより、従来よりも広範な障害を示す。 我々は、ほとんどのドメイン適応と互換性のある効果的な2段階メタアルゴリズムを開発する。
  論文  参考訳（メタデータ） (2023-02-06T18:57:14Z)
• Instance-Dependent Partial Label Learning [69.49681837908511]
  部分ラベル学習は、典型的には弱教師付き学習問題である。 既存のほとんどのアプローチでは、トレーニングサンプルの間違ったラベルがランダムに候補ラベルとして選択されていると仮定している。 本稿では,各例が実数で構成された潜在ラベル分布と関連していると仮定する。
  論文  参考訳（メタデータ） (2021-10-25T12:50:26Z)
• Semi-Supervised Domain Adaptation with Prototypical Alignment and Consistency Learning [86.6929930921905]
  本稿では,いくつかの対象サンプルがラベル付けされていれば,ドメインシフトに対処するのにどの程度役立つか検討する。 ランドマークの可能性を最大限に追求するために、ランドマークから各クラスのターゲットプロトタイプを計算するプロトタイプアライメント(PA)モジュールを組み込んでいます。 具体的には,ラベル付き画像に深刻な摂動を生じさせ,PAを非自明にし,モデル一般化性を促進する。
  論文  参考訳（メタデータ） (2021-04-19T08:46:08Z)
• Cycle Self-Training for Domain Adaptation [85.14659717421533]
  Cycle Self-Training (CST) は、ドメイン間の一般化に擬似ラベルを強制する、原則付き自己学習アルゴリズムである。 CSTは目標の真理を回復し、不変の機能学習とバニラ自己訓練の両方が失敗する。 実験結果から,標準的なUDAベンチマークでは,CSTは先行技術よりも大幅に改善されていることが示唆された。
  論文  参考訳（メタデータ） (2021-03-05T10:04:25Z)
• Coping with Label Shift via Distributionally Robust Optimisation [72.80971421083937]
  分散ロバスト最適化(DRO)に基づく目的最小化モデルを提案する。 そこで我々は,提案した目的を最適化するために,大規模問題に適した勾配降下近位ミラー上昇アルゴリズムを設計し,解析する。
  論文  参考訳（メタデータ） (2020-10-23T08:33:04Z)
• Few-shot Slot Tagging with Collapsed Dependency Transfer and Label-enhanced Task-adaptive Projection Network [61.94394163309688]
  本稿では,現在最先端の少数ショット分類モデルであるTapNetに基づくラベル強化タスク適応プロジェクションネットワーク(L-TapNet)を提案する。 実験結果から,本モデルは1ショット設定で14.64点のF1スコアで最強の少ショット学習ベースラインを著しく上回っていることがわかった。
  論文  参考訳（メタデータ） (2020-06-10T07:50:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。