論文の概要: Open-World Test-Time Training: Self-Training with Contrast Learning
- arxiv url: http://arxiv.org/abs/2409.09591v1
- Date: Sun, 15 Sep 2024 02:36:26 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-17 20:07:53.465758
- Title: Open-World Test-Time Training: Self-Training with Contrast Learning
- Title（参考訳）: オープンワールドテストタイムトレーニング:コントラスト学習による自己学習
- Authors: Houcheng Su, Mengzhu Wang, Jiao Li, Bingli Wang, Daixian Liu, Zeheng Wang,
- Abstract要約: Open-World Test-Time Training (OWTTT)は、ディープラーニングモデルを未知のドメイン分布に一般化するという課題に対処する。
既存のTTメソッドは、強力なout-of-Distribution(OOD)データに直面すると、パフォーマンスを維持するのに苦労することが多い。
オープンワールド・ダイナミック・コントラシブ・ラーニング(OWDCL)は,コントラッシブ・ラーニング(コントラスト・ラーニング,コントラスト・ラーニング,コントラスト・ラーニング)を利用して,正のサンプル・ペアを増強する革新的な手法である。
- 参考スコア（独自算出の注目度）: 2.9411451120583787
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Traditional test-time training (TTT) methods, while addressing domain shifts, often assume a consistent class set, limiting their applicability in real-world scenarios characterized by infinite variety. Open-World Test-Time Training (OWTTT) addresses the challenge of generalizing deep learning models to unknown target domain distributions, especially in the presence of strong Out-of-Distribution (OOD) data. Existing TTT methods often struggle to maintain performance when confronted with strong OOD data. In OWTTT, the focus has predominantly been on distinguishing between overall strong and weak OOD data. However, during the early stages of TTT, initial feature extraction is hampered by interference from strong OOD and corruptions, resulting in diminished contrast and premature classification of certain classes as strong OOD. To address this, we introduce Open World Dynamic Contrastive Learning (OWDCL), an innovative approach that utilizes contrastive learning to augment positive sample pairs. This strategy not only bolsters contrast in the early stages but also significantly enhances model robustness in subsequent stages. In comparison datasets, our OWDCL model has produced the most advanced performance.
- Abstract（参考訳）: 従来のテストタイムトレーニング(TTT)メソッドは、ドメインシフトに対処しながら、一貫したクラスセットを仮定し、無限の多様性によって特徴づけられる現実のシナリオで適用性を制限する。
Open-World Test-Time Training (OWTTT)は、特に強力なout-of-Distribution(OOD)データが存在する場合、ディープラーニングモデルを未知のドメイン分布に一般化するという課題に対処する。
既存のTTメソッドは、強いOODデータに直面すると、パフォーマンスを維持するのに苦労することが多い。
OWTTTでは、主に、全体的な強いOODデータと弱いOODデータの区別に焦点が当てられている。
しかし, TTTの初期段階では, 強いOODの干渉や腐敗によって特徴抽出が妨げられ, コントラストが低下し, 特定のクラスが強いOODとして早期に分類される。
これに対処するために, コントラスト学習を利用して正のサンプルペアを増やす革新的な手法である Open World Dynamic Contrastive Learning (OWDCL) を導入する。
この戦略は初期のコントラストを補強するだけでなく、その後の段階でモデルの堅牢性を著しく向上させる。
比較データセットでは,OWDCLモデルが最も高度な性能を実現している。
関連論文リスト
- CRoFT: Robust Fine-Tuning with Concurrent Optimization for OOD Generalization and Open-Set OOD Detection [42.33618249731874]
トレーニングデータにおけるエネルギースコアの最大化は、ドメイン一貫性のあるヘッセンの分類損失につながることを示す。
我々は,両タスクの同時最適化を可能にする統合された微調整フレームワークを開発した。
論文 参考訳（メタデータ） (2024-05-26T03:28:59Z) - Towards Robust Federated Learning via Logits Calibration on Non-IID Data [49.286558007937856]
Federated Learning(FL)は、エッジネットワークにおける分散デバイスの共同モデルトレーニングに基づく、プライバシ保護のための分散管理フレームワークである。
近年の研究では、FLは敵の例に弱いことが示されており、その性能は著しく低下している。
本研究では,対戦型訓練(AT)フレームワークを用いて,対戦型実例(AE)攻撃に対するFLモデルの堅牢性を向上させる。
論文 参考訳（メタデータ） (2024-03-05T09:18:29Z) - On the Robustness of Open-World Test-Time Training: Self-Training with
Dynamic Prototype Expansion [46.30241353155658]
ディープラーニングモデルを低レイテンシで未知のターゲット領域分布に一般化することは、テスト時間トレーニング/適応(TTT/TTA)の研究を動機付けている。
多くの最先端手法は、ターゲットドメインが強いアウト・オブ・ディストリビューション(OOD)データで汚染されると性能を維持することができない。
我々は,自己学習型TTT法の有効性を向上させる適応型強力なOODプルーニングを開発した。
我々は,分散アライメントによる自己学習を正規化し,その組み合わせにより,OWTTTベンチマークの最先端性能が得られる。
論文 参考訳（メタデータ） (2023-08-19T08:27:48Z) - TWINS: A Fine-Tuning Framework for Improved Transferability of
Adversarial Robustness and Generalization [89.54947228958494]
本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。
本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。
TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
論文 参考訳（メタデータ） (2023-03-20T14:12:55Z) - Improving Out-of-Distribution Generalization by Adversarial Training
with Structured Priors [17.936426699670864]
サンプルワイド・アドバイザリ・トレーニング (AT) では, アウト・オブ・ディストリビューション (OOD) の一般化が限定的に改善されていることを示す。
OOD-robustモデルのトレーニングのために,低ランク構造をもつ2つのAT変種を提案する。
提案手法は,経験的リスク最小化(ERM)とサンプルワイドATより優れている。
論文 参考訳（メタデータ） (2022-10-13T07:37:42Z) - Latent Boundary-guided Adversarial Training [61.43040235982727]
モデルトレーニングに敵の例を注入する最も効果的な戦略は、敵のトレーニングであることが証明されている。
本稿では, LAtent bounDary-guided aDvErsarial tRaining という新たな逆トレーニングフレームワークを提案する。
論文 参考訳（メタデータ） (2022-06-08T07:40:55Z) - Alleviating Robust Overfitting of Adversarial Training With Consistency
Regularization [9.686724616328874]
対戦訓練(AT)は、ディープニューラルネットワーク(DNN)を敵の攻撃から守る最も効果的な方法の1つであることが証明されている。
強靭性は特定の段階で急激に低下し、常にATの間に存在する。
半教師付き学習の一般的なテクニックである一貫性の正規化は、ATと同じような目標を持ち、堅牢なオーバーフィッティングを軽減するために使用できる。
論文 参考訳（メタデータ） (2022-05-24T03:18:43Z) - Robust Pre-Training by Adversarial Contrastive Learning [120.33706897927391]
近年の研究では、敵の訓練と統合されると、自己監督型事前訓練が最先端の堅牢性につながることが示されている。
我々は,データ強化と対向的摂動の両面に整合した学習表現により,ロバストネスを意識した自己指導型事前学習を改善する。
論文 参考訳（メタデータ） (2020-10-26T04:44:43Z) - Adversarial Distributional Training for Robust Deep Learning [53.300984501078126]
逆行訓練(AT)は、逆行例によるトレーニングデータを増やすことにより、モデルロバスト性を改善する最も効果的な手法の一つである。
既存のAT手法の多くは、敵の例を作らせるために特定の攻撃を採用しており、他の目に見えない攻撃に対する信頼性の低い堅牢性につながっている。
本稿では,ロバストモデル学習のための新しいフレームワークであるADTを紹介する。
論文 参考訳（メタデータ） (2020-02-14T12:36:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。