論文の概要: On the Robustness of Open-World Test-Time Training: Self-Training with Dynamic Prototype Expansion

• arxiv url: http://arxiv.org/abs/2308.09942v1
• Date: Sat, 19 Aug 2023 08:27:48 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-22 18:59:55.136429
• Title: On the Robustness of Open-World Test-Time Training: Self-Training with Dynamic Prototype Expansion
• Title（参考訳）: オープンワールドテストタイムトレーニングのロバスト性について:動的プロトタイプ拡張による自己学習
• Authors: Yushu Li, Xun Xu, Yongyi Su, Kui Jia
• Abstract要約: ディープラーニングモデルを低レイテンシで未知のターゲット領域分布に一般化することは、テスト時間トレーニング/適応(TTT/TTA)の研究を動機付けている。 多くの最先端手法は、ターゲットドメインが強いアウト・オブ・ディストリビューション(OOD)データで汚染されると性能を維持することができない。 我々は,自己学習型TTT法の有効性を向上させる適応型強力なOODプルーニングを開発した。 我々は,分散アライメントによる自己学習を正規化し,その組み合わせにより,OWTTTベンチマークの最先端性能が得られる。
• 参考スコア（独自算出の注目度）: 46.30241353155658
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generalizing deep learning models to unknown target domain distribution with low latency has motivated research into test-time training/adaptation (TTT/TTA). Existing approaches often focus on improving test-time training performance under well-curated target domain data. As figured out in this work, many state-of-the-art methods fail to maintain the performance when the target domain is contaminated with strong out-of-distribution (OOD) data, a.k.a. open-world test-time training (OWTTT). The failure is mainly due to the inability to distinguish strong OOD samples from regular weak OOD samples. To improve the robustness of OWTTT we first develop an adaptive strong OOD pruning which improves the efficacy of the self-training TTT method. We further propose a way to dynamically expand the prototypes to represent strong OOD samples for an improved weak/strong OOD data separation. Finally, we regularize self-training with distribution alignment and the combination yields the state-of-the-art performance on 5 OWTTT benchmarks. The code is available at https://github.com/Yushu-Li/OWTTT.
• Abstract（参考訳）: ディープラーニングモデルを低レイテンシで未知のターゲット領域分布に一般化することは、テスト時間トレーニング/適応(TTT/TTA)の研究を動機付けている。 既存のアプローチは、しばしば、適切なターゲットドメインデータの下でのテスト時間トレーニングパフォーマンスを改善することに焦点を合わせています。 この研究で明らかになったように、多くの最先端の手法は、ターゲットドメインが強力なアウト・オブ・ディストリビューション(OOD)データ、すなわちオープンワールドテストタイムトレーニング(OWTTT)で汚染されると性能を維持することができない。 この失敗は主に、強いOODサンプルと通常の弱いOODサンプルを区別できないためである。 OWTTTの堅牢性を向上させるために,我々はまず,自己学習型TTT法の有効性を向上させる適応型強力なOODプルーニングを開発した。 さらに,プロトタイプを動的に拡張して強力なOODサンプルを表現し,弱い/強いOODデータ分離を改善する方法を提案する。 最後に, 分散アライメントによる自己学習を規則化し, 5つのowtttベンチマークの最先端性能を得る。 コードはhttps://github.com/Yushu-Li/OWTTTで公開されている。

関連論文リスト

• BoostAdapter: Improving Vision-Language Test-Time Adaptation via Regional Bootstrapping [64.8477128397529]
  本稿では,テスト時間適応フレームワークを提案する。 我々は、インスタンスに依存しない履歴サンプルとインスタンスを意識したブースティングサンプルから特徴を検索するための軽量なキー値メモリを維持している。 理論的には,本手法の背後にある合理性を正当化し,アウト・オブ・ディストリビューションとクロスドメイン・データセットの両方において,その有効性を実証的に検証する。
  論文  参考訳（メタデータ） (2024-10-20T15:58:43Z)
• Open-World Test-Time Training: Self-Training with Contrast Learning [2.9411451120583787]
  Open-World Test-Time Training (OWTTT)は、ディープラーニングモデルを未知のドメイン分布に一般化するという課題に対処する。 既存のTTメソッドは、強力なout-of-Distribution(OOD)データに直面すると、パフォーマンスを維持するのに苦労することが多い。 オープンワールド・ダイナミック・コントラシブ・ラーニング(OWDCL)は,コントラッシブ・ラーニング(コントラスト・ラーニング,コントラスト・ラーニング,コントラスト・ラーニング)を利用して,正のサンプル・ペアを増強する革新的な手法である。
  論文  参考訳（メタデータ） (2024-09-15T02:36:26Z)
• AUTO: Adaptive Outlier Optimization for Online Test-Time OOD Detection [81.49353397201887]
  オープンソースアプリケーションに機械学習モデルをデプロイするには、アウト・オブ・ディストリビューション(OOD)検出が不可欠だ。 我々は、未ラベルのオンラインデータをテスト時に直接利用してOOD検出性能を向上させる、テスト時OOD検出と呼ばれる新しいパラダイムを導入する。 本稿では,入出力フィルタ,IDメモリバンク,意味的に一貫性のある目的からなる適応外乱最適化(AUTO)を提案する。
  論文  参考訳（メタデータ） (2023-03-22T02:28:54Z)
• Pseudo-OOD training for robust language models [78.15712542481859]
  OOD検出は、あらゆる産業規模のアプリケーションに対する信頼性の高い機械学習モデルの鍵となるコンポーネントである。 In-distribution(IND)データを用いて擬似OODサンプルを生成するPOORE-POORE-POSthoc pseudo-Ood Regularizationを提案する。 我々は3つの現実世界の対話システムに関する枠組みを広く評価し、OOD検出における新たな最先端技術を実現した。
  論文  参考訳（メタデータ） (2022-10-17T14:32:02Z)
• Improving Out-of-Distribution Generalization by Adversarial Training with Structured Priors [17.936426699670864]
  サンプルワイド・アドバイザリ・トレーニング (AT) では, アウト・オブ・ディストリビューション (OOD) の一般化が限定的に改善されていることを示す。 OOD-robustモデルのトレーニングのために,低ランク構造をもつ2つのAT変種を提案する。 提案手法は,経験的リスク最小化(ERM)とサンプルワイドATより優れている。
  論文  参考訳（メタデータ） (2022-10-13T07:37:42Z)
• DAFT: Distilling Adversarially Fine-tuned Models for Better OOD Generalization [35.53270942633211]
  我々は,OOD一般化の課題について考察する。その目的は,トレーニング分布と異なるテスト分布でよく機能するモデルをトレーニングすることである。 我々は,多数のリッチな特徴を逆向きに頑健に組み合わせることで,OODの堅牢性を実現するという直感に基づく新しい手法,DAFTを提案する。 我々は、DomainBedフレームワークの標準ベンチマーク上でDAFTを評価し、DAFTが現在の最先端OOD一般化法よりも大幅に改善できることを実証した。
  論文  参考訳（メタデータ） (2022-08-19T03:48:17Z)
• RODD: A Self-Supervised Approach for Robust Out-of-Distribution Detection [12.341250124228859]
  本稿では,分散データセットに依存しない簡易かつ効果的なOOD検出手法を提案する。 提案手法は, コンパクトな低次元空間上に埋没するトレーニングサンプルの自己教師型特徴学習に依存する。 自己教師付きコントラスト学習を用いた事前学習モデルでは、潜伏空間における一次元特徴学習のより良いモデルが得られることを実証的に示す。
  論文  参考訳（メタデータ） (2022-04-06T03:05:58Z)
• Enhancing the Generalization for Intent Classification and Out-of-Domain Detection in SLU [70.44344060176952]
  インテント分類は、音声言語理解(SLU)における主要な課題である 近年の研究では、余分なデータやラベルを使用することで、OOD検出性能が向上することが示されている。 本稿では、IND意図分類とOOD検出の両方をサポートしながら、INDデータのみを用いてモデルを訓練することを提案する。
  論文  参考訳（メタデータ） (2021-06-28T08:27:38Z)
• Robust Out-of-distribution Detection for Neural Networks [51.19164318924997]
  既存の検出機構は, 分布内およびOOD入力の評価において, 極めて脆弱であることを示す。 ALOE と呼ばれる実効性のあるアルゴリズムを提案する。このアルゴリズムは,逆向きに構築された逆数と外数の両方の例にモデルを公開することにより,堅牢なトレーニングを行う。
  論文  参考訳（メタデータ） (2020-03-21T17:46:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。