論文の概要: Mixup for Test-Time Training
- arxiv url: http://arxiv.org/abs/2210.01640v1
- Date: Tue, 4 Oct 2022 14:37:25 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-05 15:01:13.433528
- Title: Mixup for Test-Time Training
- Title（参考訳）: テスト時間トレーニングのためのミックスアップ
- Authors: Bochao Zhang, Rui Shao, Jingda Du, PC Yuen
- Abstract要約: 本稿では,モデルパラメータの変化を制御し,テストタイムの手続きを完了させるテストタイムトレーニング(MixTTT)のミックスアップを提案する。
テスト時間トレーニングにおける特定の正規化効果として,更新部と静的部のミスマッチ問題を軽減することへの寄与を理論的に示す。
- 参考スコア（独自算出の注目度）: 4.913013713982677
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Test-time training provides a new approach solving the problem of domain
shift. In its framework, a test-time training phase is inserted between
training phase and test phase. During test-time training phase, usually parts
of the model are updated with test sample(s). Then the updated model will be
used in the test phase. However, utilizing test samples for test-time training
has some limitations. Firstly, it will lead to overfitting to the test-time
procedure thus hurt the performance on the main task. Besides, updating part of
the model without changing other parts will induce a mismatch problem. Thus it
is hard to perform better on the main task. To relieve above problems, we
propose to use mixup in test-time training (MixTTT) which controls the change
of model's parameters as well as completing the test-time procedure. We
theoretically show its contribution in alleviating the mismatch problem of
updated part and static part for the main task as a specific regularization
effect for test-time training. MixTTT can be used as an add-on module in
general test-time training based methods to further improve their performance.
Experimental results show the effectiveness of our method.
- Abstract（参考訳）: テスト時のトレーニングは、ドメインシフトの問題を解決する新しいアプローチを提供する。
そのフレームワークでは、トレーニングフェーズとテストフェーズの間にテストタイムトレーニングフェーズが挿入される。
テスト時のトレーニングフェーズでは、通常はモデルの一部がテストサンプルで更新される。
その後、更新されたモデルはテストフェーズで使用される。
しかし、テスト時間トレーニングにテストサンプルを利用することにはいくつかの制限がある。
まず第一に、テスト時の手順に過度に適合するので、メインタスクのパフォーマンスが損なわれる。
さらに、他の部分を変更することなくモデルの一部を更新すると、ミスマッチの問題が発生する。
したがって、メインタスクでより良く実行するのは難しい。
上記の問題を緩和するため,我々はmixupをテスト時間トレーニング(mixttt)で使用し,モデルのパラメータの変更を制御し,テスト時間手順を完了させる。
実験時間トレーニングの具体的正規化効果として,メインタスクの更新部分と静的部分のミスマッチ問題の軽減に理論的に寄与していることを示す。
mixtttは、パフォーマンスをさらに向上させるために、一般的なテスト時間トレーニングベースのメソッドでアドオンモジュールとして使用できる。
実験の結果,本手法の有効性が示された。
関連論文リスト
- Training on the Test Task Confounds Evaluation and Emergence [16.32378359459614]
テストタスクのトレーニングは、相対モデル評価と創発的能力に関するクレームの両方に矛盾があることを示します。
ベンチマーク評価において,テストタスクに対するトレーニングの効果を効果的に調整する手法を提案する。
論文 参考訳（メタデータ） (2024-07-10T17:57:58Z) - Combating Missing Modalities in Egocentric Videos at Test Time [92.38662956154256]
現実のアプリケーションは、プライバシの懸念、効率性の必要性、ハードウェアの問題により、不完全なモダリティを伴う問題に直面することが多い。
再トレーニングを必要とせずに,テスト時にこの問題に対処する新しい手法を提案する。
MiDlは、欠落したモダリティをテスト時にのみ扱う、自己管理型のオンラインソリューションとしては初めてのものだ。
論文 参考訳（メタデータ） (2024-04-23T16:01:33Z) - NC-TTT: A Noise Contrastive Approach for Test-Time Training [19.0284321951354]
ノイズコントラストテストタイムトレーニング(NC-TTT)は,ノイズの特徴マップの識別に基づく非教師なしTTT技術である。
予測された特徴写像のノイズの多いビューを分類し、新しい領域に応じてモデルを適応させることで、分類性能を重要なマージンで回復させることができる。
論文 参考訳（メタデータ） (2024-04-12T10:54:11Z) - Active Test-Time Adaptation: Theoretical Analyses and An Algorithm [51.84691955495693]
テスト時間適応(TTA)は、教師なし設定でストリーミングテストデータの分散シフトに対処する。
完全TTA設定内に能動学習を統合する能動テスト時間適応(ATTA)の新たな問題設定を提案する。
論文 参考訳（メタデータ） (2024-04-07T22:31:34Z) - Point-TTA: Test-Time Adaptation for Point Cloud Registration Using
Multitask Meta-Auxiliary Learning [17.980649681325406]
我々は、ポイントクラウド登録(PCR)のための新しいテスト時間適応フレームワークであるPoint-TTAを提案する。
我々のモデルは、テストデータの事前の知識を必要とせずに、テスト時に目に見えない分布に適応することができる。
訓練中は, 補助タスクによる適応モデルにより主タスクの精度が向上するように, メタ補助学習アプローチを用いて訓練を行う。
論文 参考訳（メタデータ） (2023-08-31T06:32:11Z) - Test-Time Adaptation with Perturbation Consistency Learning [32.58879780726279]
そこで本研究では, 分布変化のあるサンプルに対して, 安定な予測を行うための簡易なテスト時間適応手法を提案する。
提案手法は,強力なPLMバックボーンよりも推論時間が少なく,高い,あるいは同等の性能を実現することができる。
論文 参考訳（メタデータ） (2023-04-25T12:29:22Z) - A Comprehensive Survey on Test-Time Adaptation under Distribution Shifts [117.72709110877939]
テスト時間適応(TTA)は、事前訓練されたモデルをテスト中に、予測する前にラベルのないデータに適応する可能性がある。
TTAはテスト時間領域適応、テスト時間バッチ適応、オンラインテスト時間適応といったテストデータの形態に基づいて、いくつかの異なるグループに分類される。
論文 参考訳（メタデータ） (2023-03-27T16:32:21Z) - Feature Alignment and Uniformity for Test Time Adaptation [8.209137567840811]
テスト時間適応は、分散テストドメインサンプルの受信時にディープニューラルネットワークを適用することを目的としている。
この設定では、モデルはトレーニングドメイン上のオンラインのラベルなしテストサンプルと事前トレーニングされたモデルにのみアクセスすることができる。
論文 参考訳（メタデータ） (2023-03-20T06:44:49Z) - DELTA: degradation-free fully test-time adaptation [59.74287982885375]
テスト時間バッチ正規化(BN)や自己学習といった,一般的な適応手法では,2つの好ましくない欠陥が隠されていることがわかった。
まず、テスト時間BNにおける正規化統計は、現在受信されているテストサンプルに完全に影響され、その結果、不正確な推定結果が得られることを明らかにする。
第二に、テスト時間適応中にパラメータ更新が支配的なクラスに偏っていることを示す。
論文 参考訳（メタデータ） (2023-01-30T15:54:00Z) - Efficient Test-Time Model Adaptation without Forgetting [60.36499845014649]
テストタイム適応は、トレーニングとテストデータの間の潜在的な分散シフトに取り組むことを目指している。
信頼性および非冗長なサンプルを同定するためのアクティブなサンプル選択基準を提案する。
また、重要なモデルパラメータを劇的な変化から制約するFisher regularizerを導入します。
論文 参考訳（メタデータ） (2022-04-06T06:39:40Z) - MT3: Meta Test-Time Training for Self-Supervised Test-Time Adaption [69.76837484008033]
ディープラーニングの未解決の問題は、ニューラルネットワークがテスト時間中のドメインシフトに対処する能力である。
メタラーニング、自己監督、テストタイムトレーニングを組み合わせて、目に見えないテスト分布に適応する方法を学びます。
この手法はcifar-10による画像分類ベンチマークの最先端結果を大幅に改善する。
論文 参考訳（メタデータ） (2021-03-30T09:33:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。