論文の概要: Semi-Supervised Domain Generalization with Stochastic StyleMatch
- arxiv url: http://arxiv.org/abs/2106.00592v1
- Date: Tue, 1 Jun 2021 16:00:08 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-02 14:41:33.696433
- Title: Semi-Supervised Domain Generalization with Stochastic StyleMatch
- Title（参考訳）: 確率的スタイルマッチを用いた半教師付き領域一般化
- Authors: Kaiyang Zhou, Chen Change Loy, Ziwei Liu
- Abstract要約: 実世界のアプリケーションでは、アノテーションのコストが高いため、各ソースドメインから利用可能なラベルはわずかです。
本研究では,より現実的で実践的な半教師付き領域一般化について検討する。
提案手法であるStyleMatchは,擬似ラベルに基づく最先端の半教師付き学習手法であるFixMatchに着想を得たものである。
- 参考スコア（独自算出の注目度）: 90.98288822165482
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Most existing research on domain generalization assumes source data gathered
from multiple domains are fully annotated. However, in real-world applications,
we might have only a few labels available from each source domain due to high
annotation cost, along with abundant unlabeled data that are much easier to
obtain. In this work, we investigate semi-supervised domain generalization
(SSDG), a more realistic and practical setting. Our proposed approach,
StyleMatch, is inspired by FixMatch, a state-of-the-art semi-supervised
learning method based on pseudo-labeling, with several new ingredients tailored
to solve SSDG. Specifically, 1) to mitigate overfitting in the scarce labeled
source data while improving robustness against noisy pseudo labels, we
introduce stochastic modeling to the classifier's weights, seen as class
prototypes, with Gaussian distributions. 2) To enhance generalization under
domain shift, we upgrade FixMatch's two-view consistency learning paradigm
based on weak and strong augmentations to a multi-view version with style
augmentation as the third complementary view. To provide a comprehensive study
and evaluation, we establish two SSDG benchmarks, which cover a wide range of
strong baseline methods developed in relevant areas including domain
generalization and semi-supervised learning. Extensive experiments demonstrate
that StyleMatch achieves the best out-of-distribution generalization
performance in the low-data regime. We hope our approach and benchmarks can
pave the way for future research on data-efficient and generalizable learning
systems.
- Abstract（参考訳）: ドメイン一般化に関する既存の研究の多くは、複数のドメインから集めたソースデータが完全に注釈付けされていると仮定している。
しかし、現実世界のアプリケーションでは、アノテーションのコストが高いため、各ソースドメインから利用可能なラベルはわずかにしかありません。
本研究では,より現実的で実用的な半教師付き領域一般化(SSDG)について検討する。
提案手法であるStyleMatchは,疑似ラベルをベースとした最先端の半教師付き学習手法であるFixMatchに触発され,SSDGを解くための新しい材料がいくつか提案されている。
具体的には,うるさい擬似ラベルに対するロバスト性を改善しつつ,希少ラベル付きソースデータの過剰フィットを軽減するため,ガウス分布を持つクラスプロトタイプと見なされる分類器の重みに対する確率的モデリングを導入する。
2) ドメインシフト下での一般化を促進するために,fixmatch の 2-view 一貫性学習パラダイムを,スタイル拡張を第3の補完的視点として,マルチビュー版への弱みと強い拡張性に基づいてアップグレードする。
そこで本研究では,ドメイン一般化や半教師付き学習など,幅広い領域で開発された強力なベースライン手法を網羅した2つのSSDGベンチマークを構築した。
大規模な実験により、StyleMatchは低データ方式で最適な分布外一般化性能を達成することが示された。
われわれのアプローチとベンチマークが、データ効率と一般化可能な学習システムに関する将来の研究の道を開くことを願っている。
関連論文リスト
- Divide and Contrast: Source-free Domain Adaptation via Adaptive
Contrastive Learning [122.62311703151215]
Divide and Contrast (DaC) は、それぞれの制限を回避しつつ、両方の世界の善良な端を接続することを目的としている。
DaCは、ターゲットデータをソースライクなサンプルとターゲット固有なサンプルに分割する。
さらに、ソースライクなドメインと、メモリバンクベースの最大平均離散性(MMD)損失を用いて、ターゲット固有のサンプルとを整合させて、分散ミスマッチを低減する。
論文 参考訳（メタデータ） (2022-11-12T09:21:49Z) - FIXED: Frustratingly Easy Domain Generalization with Mixup [34.4058904958683]
ドメイン一般化(Domain Generalization, DG)は、複数のトレーニングドメインから一般化可能なモデルを学ぶことを目的としている。
一般的な戦略は、Mixupcitezhang 2018mixupのようなメソッドによる一般化のためにトレーニングデータを拡張することである。
我々は、MixupベースのDG、すなわちドメイン不変の特徴mIXup(FIX)の簡易かつ効果的な拡張を提案する。
提案手法は,9つの最先端手法よりも優れており,試験精度の面では,ベースラインの平均6.5%を上回っている。
論文 参考訳（メタデータ） (2022-11-07T09:38:34Z) - Compound Domain Generalization via Meta-Knowledge Encoding [55.22920476224671]
マルチモーダル分布を再正規化するために,スタイル駆動型ドメイン固有正規化(SDNorm)を導入する。
組込み空間における関係モデリングを行うために,プロトタイプ表現,クラスセントロイドを利用する。
4つの標準ドメイン一般化ベンチマークの実験により、COMENはドメインの監督なしに最先端のパフォーマンスを上回ることが判明した。
論文 参考訳（メタデータ） (2022-03-24T11:54:59Z) - Improving Multi-Domain Generalization through Domain Re-labeling [31.636953426159224]
本稿では,事前特定ドメインラベルと一般化性能の関連性について検討する。
マルチドメイン一般化のための一般的なアプローチであるMulDEnsを導入し,ERMをベースとした深層アンサンブルバックボーンを用いた。
我々は、MulDEnsがデータセット固有の拡張戦略やトレーニングプロセスの調整を必要としないことを示す。
論文 参考訳（メタデータ） (2021-12-17T23:21:50Z) - Better Pseudo-label: Joint Domain-aware Label and Dual-classifier for
Semi-supervised Domain Generalization [26.255457629490135]
本稿では,高品質な擬似ラベルを生成するために,共同ドメイン認識ラベルと二重分類器を用いた新しいフレームワークを提案する。
ドメインシフト中の正確な擬似ラベルを予測するために、ドメイン対応擬似ラベルモジュールを開発する。
また、一般化と擬似ラベルの矛盾した目標を考えると、訓練過程において擬似ラベルとドメインの一般化を独立に行うために二重分類器を用いる。
論文 参考訳（メタデータ） (2021-10-10T15:17:27Z) - Curriculum Graph Co-Teaching for Multi-Target Domain Adaptation [78.28390172958643]
マルチターゲットドメイン適応(MTDA)における複数のドメインシフトを軽減するのに役立つ2つの重要な側面を同定する。
本論文では,二重分類器ヘッドを用いたCGCT(Curriculum Graph Co-Teaching)を提案する。そのうちの1つがグラフ畳み込みネットワーク(GCN)である。
ドメインラベルが利用可能になると、まずより簡単なターゲットドメインに適応し、続いて難しいドメインに適応する逐次適応戦略であるDomain-Aware Curriculum Learning (DCL)を提案する。
論文 参考訳（メタデータ） (2021-04-01T23:41:41Z) - Robust Domain-Free Domain Generalization with Class-aware Alignment [4.442096198968069]
ドメインフリードメイン一般化(DFDG)は、目に見えないテストドメインでより良い一般化性能を実現するモデル非依存の方法である。
DFDGは新しい戦略を用いてドメイン不変なクラス差別的特徴を学習する。
時系列センサと画像分類公開データセットの両方で競合性能を得る。
論文 参考訳（メタデータ） (2021-02-17T17:46:06Z) - Few-Shot Named Entity Recognition: A Comprehensive Study [92.40991050806544]
マルチショット設定のモデル一般化能力を向上させるための3つの手法を検討する。
ラベル付きデータの比率の異なる10の公開nerデータセットについて経験的比較を行う。
マルチショットとトレーニングフリーの両方の設定で最新の結果を作成します。
論文 参考訳（メタデータ） (2020-12-29T23:43:16Z) - Cross-Domain Facial Expression Recognition: A Unified Evaluation
Benchmark and Adversarial Graph Learning [85.6386289476598]
我々は,クロスドメイン全体的特徴共適応のための新しい逆グラフ表現適応(AGRA)フレームワークを開発した。
我々は,いくつかの一般的なベンチマークで広範囲かつ公平な評価を行い,提案したAGRAフレームワークが従来の最先端手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2020-08-03T15:00:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。