論文の概要: Ranked Entropy Minimization for Continual Test-Time Adaptation

• arxiv url: http://arxiv.org/abs/2505.16441v1
• Date: Thu, 22 May 2025 09:29:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-23 17:12:48.189254
• Title: Ranked Entropy Minimization for Continual Test-Time Adaptation
• Title（参考訳）: 連続テスト時間適応のためのランク付きエントロピー最小化
• Authors: Jisu Han, Jaemin Na, Wonjun Hwang,
• Abstract要約: テストタイム適応は、テスト時間中に学習することで、オンラインで現実的な環境に適応することを目的としている。 エントロピーの最小化は、その効率性と適応性のためにテスト時間適応の主要な戦略として現れている。 本稿では,エントロピー最小化法の安定性問題を軽減するために,ランク付けエントロピー最小化を提案する。
• 参考スコア（独自算出の注目度）: 7.5140668729696145
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Test-time adaptation aims to adapt to realistic environments in an online manner by learning during test time. Entropy minimization has emerged as a principal strategy for test-time adaptation due to its efficiency and adaptability. Nevertheless, it remains underexplored in continual test-time adaptation, where stability is more important. We observe that the entropy minimization method often suffers from model collapse, where the model converges to predicting a single class for all images due to a trivial solution. We propose ranked entropy minimization to mitigate the stability problem of the entropy minimization method and extend its applicability to continuous scenarios. Our approach explicitly structures the prediction difficulty through a progressive masking strategy. Specifically, it gradually aligns the model's probability distributions across different levels of prediction difficulty while preserving the rank order of entropy. The proposed method is extensively evaluated across various benchmarks, demonstrating its effectiveness through empirical results. Our code is available at https://github.com/pilsHan/rem
• Abstract（参考訳）: テストタイム適応は、テスト時間中に学習することで、オンラインで現実的な環境に適応することを目的としている。 エントロピーの最小化は、その効率性と適応性のためにテスト時間適応の主要な戦略として現れている。 それでも、安定性がより重要である連続的なテスト時間適応において、まだ探索されていない。 エントロピー最小化法はしばしばモデル崩壊に悩まされ、モデルが収束して、自明な解のため、すべての画像に対して単一のクラスを予測する。 本稿では,エントロピー最小化法の安定性問題を緩和し,連続シナリオへの適用性を高めるために,ランク付けエントロピー最小化を提案する。 提案手法は,プログレッシブマスキング戦略により予測難易度を明示的に構成する。 具体的には、エントロピーのランク順を保ちながら、モデルの確率分布を様々なレベルの予測困難度で徐々に調整する。 提案手法は様々なベンチマークで広範に評価され,実験結果を通じてその有効性を示す。 私たちのコードはhttps://github.com/pilsHan/remで利用可能です。

関連論文リスト

• Online Decision-Focused Learning [63.83903681295497]
  意思決定中心学習(DFL)は、意思決定タスクで出力が使用される予測モデルを訓練するパラダイムとして、ますます人気が高まっている。 対象関数が時間とともに進化しない動的環境におけるDFLについて検討する。 決定空間が単純空間であるときと一般有界凸ポリトープであるときの両方において、期待される動的後悔の限界を確立する。
  論文  参考訳（メタデータ） (2025-05-19T10:40:30Z)
• COME: Test-time adaption by Conservatively Minimizing Entropy [45.689829178140634]
  保守的に最小化されるエントロピー (COME) は従来のエントロピー (EM) の代替品である COMEはモデル予測よりもディリクレ事前分布を特徴付けることによって、不確実性を明示的にモデル化する。 我々はCOMEが一般的なベンチマークで最先端のパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2024-10-12T09:20:06Z)
• Meta-TTT: A Meta-learning Minimax Framework For Test-Time Training [5.9631503543049895]
  テスト時ドメイン適応は、推論中に制限された未ラベルのターゲットデータに事前訓練されたモデルを適用することを目的とした、困難なタスクである。 本稿では,バッチ正規化レイヤ上でのテスト時間トレーニングを行うためのメタラーニングミニマックスフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-02T16:16:05Z)
• The Entropy Enigma: Success and Failure of Entropy Minimization [30.083332640328642]
  エントロピー最小化(EM)は、テスト時に新しいデータに直面した場合に、分類モデルの精度を高めるために頻繁に使用される。 EMがいくつかのステップでモデルを適用するときに機能する理由と、多くのステップで適応した後に最終的に失敗する理由を分析します。 本稿では,与えられた任意のデータセットに対して,ラベルにアクセスすることなくモデルの精度を推定する,実用的な問題を解決する方法を提案する。
  論文  参考訳（メタデータ） (2024-05-08T12:26:15Z)
• Improved Online Conformal Prediction via Strongly Adaptive Online Learning [86.4346936885507]
  我々は、強い適応的後悔を最小限に抑える新しいオンライン共形予測手法を開発した。 提案手法は,すべての区間において,ほぼ最適に適応的な後悔を同時に達成できることを実証する。 実験により,本手法は実世界のタスクにおける既存の手法よりも,より優れたカバレッジと予測セットが得られることがわかった。
  論文  参考訳（メタデータ） (2023-02-15T18:59:30Z)
• Continual Test-Time Domain Adaptation [94.51284735268597]
  テスト時ドメイン適応は、ソースデータを使用しずに、ソース事前訓練されたモデルをターゲットドメインに適応することを目的としている。 CoTTAは実装が容易で、市販の事前訓練モデルに簡単に組み込むことができる。
  論文  参考訳（メタデータ） (2022-03-25T11:42:02Z)
• Domain-Adjusted Regression or: ERM May Already Learn Features Sufficient for Out-of-Distribution Generalization [52.7137956951533]
  既存の特徴から予測器を学習するためのよりシンプルな手法を考案することは、将来の研究にとって有望な方向である、と我々は主張する。 本稿では,線形予測器を学習するための凸目標である領域調整回帰(DARE)を紹介する。 自然モデルの下では、DARE解が制限されたテスト分布の集合に対する最小最適予測器であることを証明する。
  論文  参考訳（メタデータ） (2022-02-14T16:42:16Z)
• Being Patient and Persistent: Optimizing An Early Stopping Strategy for Deep Learning in Profiled Attacks [2.7748013252318504]
  本稿では,学習中のモデルの最適状態を確実に認識する早期停止アルゴリズムを提案する。 ディープラーニングモデルが最適であるためには,永続性と忍耐という2つの条件を定式化する。
  論文  参考訳（メタデータ） (2021-11-29T09:54:45Z)
• Minimum-Delay Adaptation in Non-Stationary Reinforcement Learning via Online High-Confidence Change-Point Detection [7.685002911021767]
  非定常環境におけるポリシーを効率的に学習するアルゴリズムを導入する。 これは、リアルタイム、高信頼な変更点検出統計において、潜在的に無限のデータストリームと計算を解析する。 i) このアルゴリズムは, 予期せぬ状況変化が検出されるまでの遅延を最小限に抑え, 迅速な応答を可能にする。
  論文  参考訳（メタデータ） (2021-05-20T01:57:52Z)
• Tent: Fully Test-time Adaptation by Entropy Minimization [77.85911673550851]
  モデルは、テスト中に新しいデータや異なるデータに一般化するように適応する必要があります。 この完全なテスト時間適応の設定では、モデルはテストデータとそれ自身のパラメータしか持たない。 実験エントロピー最小化(tent): 予測のエントロピーによって測定された信頼度に対するモデルを最適化する。
  論文  参考訳（メタデータ） (2020-06-18T17:55:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。