論文の概要: Exploring Human-in-the-Loop Test-Time Adaptation by Synergizing Active Learning and Model Selection

• arxiv url: http://arxiv.org/abs/2405.18911v3
• Date: Tue, 24 Dec 2024 08:47:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-25 15:52:44.714585
• Title: Exploring Human-in-the-Loop Test-Time Adaptation by Synergizing Active Learning and Model Selection
• Title（参考訳）: 能動学習とモデル選択の相乗化による対人テスト時間適応の探索
• Authors: Yushu Li, Yongyi Su, Xulei Yang, Kui Jia, Xun Xu,
• Abstract要約: 既存のテスト時間適応(TTA)アプローチは、ラベルのないテストデータストリームでモデルに適応することが多い。 能動的学習とモデル選択を相乗化してHILTTAにアプローチすることを提案する。 提案手法は市販のTTA手法と互換性があることを5つのTTAデータセットで示す。
• 参考スコア（独自算出の注目度）: 40.06196132637536
• License:
• Abstract: Existing test-time adaptation (TTA) approaches often adapt models with the unlabeled testing data stream. A recent attempt relaxed the assumption by introducing limited human annotation, referred to as Human-In-the-Loop Test-Time Adaptation (HILTTA) in this study. The focus of existing HILTTA studies lies in selecting the most informative samples to label, a.k.a. active learning. In this work, we are motivated by a pitfall of TTA, i.e. sensitivity to hyper-parameters, and propose to approach HILTTA by synergizing active learning and model selection. Specifically, we first select samples for human annotation (active learning) and then use the labeled data to select optimal hyper-parameters (model selection). To prevent the model selection process from overfitting to local distributions, multiple regularization techniques are employed to complement the validation objective. A sample selection strategy is further tailored by considering the balance between active learning and model selection purposes. We demonstrate on 5 TTA datasets that the proposed HILTTA approach is compatible with off-the-shelf TTA methods and such combinations substantially outperform the state-of-the-art HILTTA methods. Importantly, our proposed method can always prevent choosing the worst hyper-parameters on all off-the-shelf TTA methods. The source code is available at https://github.com/Yushu-Li/HILTTA.
• Abstract（参考訳）: 既存のテスト時間適応(TTA)アプローチは、ラベルのないテストデータストリームでモデルに適応することが多い。 近年の研究では,Human-In-the-Loop Test-Time Adaptation (HILTTA)と呼ばれる,限定的な人間のアノテーションを導入することで,仮説を緩和した。 既存のHILTTA研究の焦点は、最も情報に富むサンプル、すなわちアクティブラーニングの選択にある。 本研究では,TTAの落とし穴,すなわちハイパーパラメータに対する感受性に動機付けられ,能動的学習とモデル選択の相乗化によってHILTTAにアプローチすることを提案する。 具体的には、まず人間のアノテーション(能動的学習)のサンプルを選択し、次にラベル付きデータを用いて最適なハイパーパラメータ(モデル選択)を選択する。 モデル選択プロセスが局所分布に過度に適合するのを防止するため,複数の正則化手法を用いて検証対象を補完する。 アクティブラーニングとモデル選択の目的とのバランスを考慮し、サンプル選択戦略をさらに調整する。 提案手法は市販のTTA手法と互換性があり,その組み合わせは最先端のHILTTA手法よりも大幅に優れていることを示す。 重要な点として,本提案手法は,市販のTTA方式で常に最悪の過度パラメータの選択を防止できる。 ソースコードはhttps://github.com/Yushu-Li/HILTTAで入手できる。

関連論文リスト

• Learning the Regularization Strength for Deep Fine-Tuning via a Data-Emphasized Variational Objective [4.453137996095194]
  グリッド検索は計算コストが高く、検証セットを彫り出す必要があり、実践者は候補値を指定する必要がある。 提案手法はグリッド探索の3つの欠点をすべて克服する。 いくつかのデータセットにおける画像分類タスクの有効性を実証し,既存の手法に匹敵するホールドアウト精度を得た。
  論文  参考訳（メタデータ） (2024-10-25T16:32:11Z)
• Realistic Evaluation of Test-Time Adaptation Algorithms: Unsupervised Hyperparameter Selection [1.4530711901349282]
  TTA(Test-Time Adaptation)は、分散シフト下での機械学習モデルロバストネスの問題に対処するための有望な戦略として登場した。 我々は,サロゲートベースのhp選択戦略を用いて既存のTTA手法を評価し,その性能をより現実的に評価する。
  論文  参考訳（メタデータ） (2024-07-19T11:58:30Z)
• Active Test-Time Adaptation: Theoretical Analyses and An Algorithm [51.84691955495693]
  テスト時間適応(TTA)は、教師なし設定でストリーミングテストデータの分散シフトに対処する。 完全TTA設定内に能動学習を統合する能動テスト時間適応(ATTA)の新たな問題設定を提案する。
  論文  参考訳（メタデータ） (2024-04-07T22:31:34Z)
• Towards Free Data Selection with General-Purpose Models [71.92151210413374]
  望ましいデータ選択アルゴリズムは、限られたアノテーション予算の有用性を最大化するために、最も情報性の高いサンプルを効率的に選択することができる。 アクティブな学習手法で表現された現在のアプローチは、通常、時間を要するモデルのトレーニングとバッチデータ選択を繰り返し繰り返す、面倒なパイプラインに従う。 FreeSelは重いバッチ選択プロセスをバイパスし、効率を大幅に改善し、既存のアクティブラーニングメソッドよりも530倍高速である。
  論文  参考訳（メタデータ） (2023-09-29T15:50:14Z)
• A Comprehensive Survey on Test-Time Adaptation under Distribution Shifts [117.72709110877939]
  テスト時間適応(TTA)は、事前訓練されたモデルをテスト中に、予測する前にラベルのないデータに適応する可能性がある。 TTAはテスト時間領域適応、テスト時間バッチ適応、オンラインテスト時間適応といったテストデータの形態に基づいて、いくつかの異なるグループに分類される。
  論文  参考訳（メタデータ） (2023-03-27T16:32:21Z)
• Learning to Maximize Mutual Information for Dynamic Feature Selection [13.821253491768168]
  本稿では,現在利用可能な情報に基づいてモデルを逐次クエリする動的特徴選択(DFS)問題を考察する。 条件付き相互情報に基づいて,特徴を欲求的に選択する,よりシンプルなアプローチについて検討する。 提案手法は,最適性を訓練した際の欲求を回復し,既存の特徴選択法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-01-02T08:31:56Z)
• CAFA: Class-Aware Feature Alignment for Test-Time Adaptation [50.26963784271912]
  テスト時間適応(TTA)は、テスト時にラベルのないデータにモデルを適応させることによって、この問題に対処することを目的としている。 本稿では,クラス認識特徴アライメント(CAFA, Class-Aware Feature Alignment)と呼ばれる単純な機能アライメント損失を提案する。
  論文  参考訳（メタデータ） (2022-06-01T03:02:07Z)
• Efficient Test-Time Model Adaptation without Forgetting [60.36499845014649]
  テストタイム適応は、トレーニングとテストデータの間の潜在的な分散シフトに取り組むことを目指している。 信頼性および非冗長なサンプルを同定するためのアクティブなサンプル選択基準を提案する。 また、重要なモデルパラメータを劇的な変化から制約するFisher regularizerを導入します。
  論文  参考訳（メタデータ） (2022-04-06T06:39:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。