論文の概要: Exploring Human-in-the-Loop Test-Time Adaptation by Synergizing Active Learning and Model Selection

• arxiv url: http://arxiv.org/abs/2405.18911v2
• Date: Tue, 27 Aug 2024 08:22:54 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-28 19:09:27.376122
• Title: Exploring Human-in-the-Loop Test-Time Adaptation by Synergizing Active Learning and Model Selection
• Title（参考訳）: 能動学習とモデル選択の相乗化による対人テスト時間適応の探索
• Authors: Yushu Li, Yongyi Su, Xulei Yang, Kui Jia, Xun Xu,
• Abstract要約: 既存のテスト時間適応(TTA)アプローチは、ラベルのないテストデータストリームでモデルに適応することが多い。 能動的学習とモデル選択を相乗化してHILTTAにアプローチすることを提案する。 提案手法は市販のTTA手法と互換性があることを5つのTTAデータセットで示す。
• 参考スコア（独自算出の注目度）: 40.06196132637536
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing test-time adaptation (TTA) approaches often adapt models with the unlabeled testing data stream. A recent attempt relaxed the assumption by introducing limited human annotation, referred to as Human-In-the-Loop Test-Time Adaptation (HILTTA) in this study. The focus of existing HILTTA studies lies in selecting the most informative samples to label, a.k.a. active learning. In this work, we are motivated by a pitfall of TTA, i.e. sensitivity to hyper-parameters, and propose to approach HILTTA by synergizing active learning and model selection. Specifically, we first select samples for human annotation (active learning) and then use the labeled data to select optimal hyper-parameters (model selection). To prevent the model selection process from overfitting to local distributions, multiple regularization techniques are employed to complement the validation objective. A sample selection strategy is further tailored by considering the balance between active learning and model selection purposes. We demonstrate on 5 TTA datasets that the proposed HILTTA approach is compatible with off-the-shelf TTA methods and such combinations substantially outperform the state-of-the-art HILTTA methods. Importantly, our proposed method can always prevent choosing the worst hyper-parameters on all off-the-shelf TTA methods. The source code will be released upon publication.
• Abstract（参考訳）: 既存のテスト時間適応(TTA)アプローチは、ラベルのないテストデータストリームでモデルに適応することが多い。 近年の研究では,Human-In-the-Loop Test-Time Adaptation (HILTTA)と呼ばれる,限定的な人間のアノテーションを導入することで,仮説を緩和した。 既存のHILTTA研究の焦点は、最も情報に富むサンプル、すなわちアクティブラーニングの選択にある。 本研究では,TTAの落とし穴,すなわちハイパーパラメータに対する感受性に動機付けられ,能動的学習とモデル選択の相乗化によってHILTTAにアプローチすることを提案する。 具体的には、まず人間のアノテーション(能動的学習)のサンプルを選択し、次にラベル付きデータを用いて最適なハイパーパラメータ(モデル選択)を選択する。 モデル選択プロセスが局所分布に過度に適合するのを防止するため,複数の正則化手法を用いて検証対象を補完する。 アクティブラーニングとモデル選択の目的とのバランスを考慮し、サンプル選択戦略をさらに調整する。 提案手法は市販のTTA手法と互換性があり,その組み合わせは最先端のHILTTA手法よりも大幅に優れていることを示す。 重要な点として,本提案手法は,市販のTTA方式で常に最悪の過度パラメータの選択を防止できる。 ソースコードは公開時に公開される。

関連論文リスト

• Learning the Regularization Strength for Deep Fine-Tuning via a Data-Emphasized Variational Objective [4.453137996095194]
  グリッド検索は計算コストが高く、検証セットを彫り出す必要があり、実践者は候補値を指定する必要がある。 提案手法はグリッド探索の3つの欠点をすべて克服する。 いくつかのデータセットにおける画像分類タスクの有効性を実証し,既存の手法に匹敵するホールドアウト精度を得た。
  論文  参考訳（メタデータ） (2024-10-25T16:32:11Z)
• Realistic Evaluation of Test-Time Adaptation Algorithms: Unsupervised Hyperparameter Selection [1.4530711901349282]
  TTA(Test-Time Adaptation)は、分散シフト下での機械学習モデルロバストネスの問題に対処するための有望な戦略として登場した。 我々は,サロゲートベースのhp選択戦略を用いて既存のTTA手法を評価し,その性能をより現実的に評価する。
  論文  参考訳（メタデータ） (2024-07-19T11:58:30Z)
• Active Test-Time Adaptation: Theoretical Analyses and An Algorithm [51.84691955495693]
  テスト時間適応(TTA)は、教師なし設定でストリーミングテストデータの分散シフトに対処する。 完全TTA設定内に能動学習を統合する能動テスト時間適応(ATTA)の新たな問題設定を提案する。
  論文  参考訳（メタデータ） (2024-04-07T22:31:34Z)
• Towards Free Data Selection with General-Purpose Models [71.92151210413374]
  望ましいデータ選択アルゴリズムは、限られたアノテーション予算の有用性を最大化するために、最も情報性の高いサンプルを効率的に選択することができる。 アクティブな学習手法で表現された現在のアプローチは、通常、時間を要するモデルのトレーニングとバッチデータ選択を繰り返し繰り返す、面倒なパイプラインに従う。 FreeSelは重いバッチ選択プロセスをバイパスし、効率を大幅に改善し、既存のアクティブラーニングメソッドよりも530倍高速である。
  論文  参考訳（メタデータ） (2023-09-29T15:50:14Z)
• A Comprehensive Survey on Test-Time Adaptation under Distribution Shifts [143.14128737978342]
  新たなパラダイムであるテスト時適応は、事前トレーニングされたモデルをテスト中にラベルのないデータに適用し、予測を行う可能性がある。 このパラダイムの最近の進歩は、推論に先立って自己適応モデルのトレーニングにラベルのないデータを活用するという大きな利点を浮き彫りにしている。
  論文  参考訳（メタデータ） (2023-03-27T16:32:21Z)
• CAFA: Class-Aware Feature Alignment for Test-Time Adaptation [50.26963784271912]
  テスト時間適応(TTA)は、テスト時にラベルのないデータにモデルを適応させることによって、この問題に対処することを目的としている。 本稿では,クラス認識特徴アライメント(CAFA, Class-Aware Feature Alignment)と呼ばれる単純な機能アライメント損失を提案する。
  論文  参考訳（メタデータ） (2022-06-01T03:02:07Z)
• Efficient Test-Time Model Adaptation without Forgetting [60.36499845014649]
  テストタイム適応は、トレーニングとテストデータの間の潜在的な分散シフトに取り組むことを目指している。 信頼性および非冗長なサンプルを同定するためのアクティブなサンプル選択基準を提案する。 また、重要なモデルパラメータを劇的な変化から制約するFisher regularizerを導入します。
  論文  参考訳（メタデータ） (2022-04-06T06:39:40Z)
• Message Passing Adaptive Resonance Theory for Online Active Semi-supervised Learning [30.19936050747407]
  オンラインのアクティブ半教師あり学習のためのメッセージパッシング適応共振理論(MPART)を提案する。 MPARTはラベルのないデータのクラスを推論し、トポロジグラフ上のノード間のメッセージパッシングを通じて情報的および代表的サンプルを選択する。 我々は,MPARTがオンラインのアクティブ学習環境において,競合モデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-12-02T14:14:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。