論文の概要: Self-training Avoids Using Spurious Features Under Domain Shift

• arxiv url: http://arxiv.org/abs/2006.10032v3
• Date: Mon, 7 Dec 2020 19:27:22 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-19 19:53:37.935762
• Title: Self-training Avoids Using Spurious Features Under Domain Shift
• Title（参考訳）: ドメインシフト下でのスプリアス機能を用いた自己学習回避
• Authors: Yining Chen, Colin Wei, Ananya Kumar, Tengyu Ma
• Abstract要約: 教師なし領域適応においては、条件付きエントロピー最小化と擬似ラベル処理は、既存の理論で解析されたものよりもドメインシフトがはるかに大きい場合であっても行われる。 ドメインシフトが大きくなる可能性のある特定の設定を特定・分析するが、特定のスパイラルな特徴はソースドメインのラベルと相関するが、ターゲットの独立なラベルである。
• 参考スコア（独自算出の注目度）: 54.794607791641745
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In unsupervised domain adaptation, existing theory focuses on situations where the source and target domains are close. In practice, conditional entropy minimization and pseudo-labeling work even when the domain shifts are much larger than those analyzed by existing theory. We identify and analyze one particular setting where the domain shift can be large, but these algorithms provably work: certain spurious features correlate with the label in the source domain but are independent of the label in the target. Our analysis considers linear classification where the spurious features are Gaussian and the non-spurious features are a mixture of log-concave distributions. For this setting, we prove that entropy minimization on unlabeled target data will avoid using the spurious feature if initialized with a decently accurate source classifier, even though the objective is non-convex and contains multiple bad local minima using the spurious features. We verify our theory for spurious domain shift tasks on semi-synthetic Celeb-A and MNIST datasets. Our results suggest that practitioners collect and self-train on large, diverse datasets to reduce biases in classifiers even if labeling is impractical.
• Abstract（参考訳）: 教師なし領域適応では、既存の理論はソースとターゲットドメインが近接している状況に焦点を当てている。 実際には、条件付きエントロピー最小化と擬似ラベル処理は、既存の理論で解析されたものよりもはるかに大きい。 ドメインシフトが大きくなる可能性のある特定の設定を特定・分析するが、これらのアルゴリズムは確実に機能する: 特定のスパイラルな特徴はソースドメインのラベルと相関するが、ターゲットのラベルとは独立している。 本解析では,スプリアス特徴がガウス的であり,非スプリアス特徴が対数凸分布の混合である線形分類を考える。 本研究では,未ラベル対象データに対するエントロピー最小化が,非凸かつ複数の悪質な局所最小値を含むにもかかわらず,適切な精度のソース分類器で初期化した場合,スプリアス機能の使用を回避できることを示す。 半合成Celeb-AおよびMNISTデータセット上での素早い領域シフトタスクの理論を検証する。 この結果から,ラベル付けが実用的でない場合でも,大規模で多様なデータセットを用いて自己学習を行い,分類器のバイアスを低減することが示唆された。

関連論文リスト

• Domain Adaptation Using Pseudo Labels [16.79672078512152]
  ラベル付き対象データがない場合、教師なしのドメイン適応アプローチは、ソースとターゲットドメインの限界分布を整合させようとする。 我々は,複数段階の擬似ラベル修正手法を用いて,対象ドメインの正確なラベルを決定するために事前訓練ネットワークをデプロイする。 複数のデータセットに対する結果から, 複雑な最先端技術と比較して, 簡単な手順の有効性が示された。
  論文  参考訳（メタデータ） (2024-02-09T22:15:11Z)
• Out-Of-Domain Unlabeled Data Improves Generalization [0.7589678255312519]
  本稿では,ラベルなしデータを半教師付き分類問題に組み込む新しい枠組みを提案する。 ラベルのないサンプルは一般化ギャップを狭めるために利用できることを示す。 我々は、さまざまな合成および実世界のデータセットで実施された実験を通じて、我々の主張を検証する。
  論文  参考訳（メタデータ） (2023-09-29T02:00:03Z)
• Adapting to Latent Subgroup Shifts via Concepts and Proxies [82.01141290360562]
  最適ターゲット予測器は、ソースドメインでのみ利用できる概念とプロキシ変数の助けを借りて、非パラメトリックに識別可能であることを示す。 本研究では,データ生成プロセスに特有の潜在変数モデルを提案する。
  論文  参考訳（メタデータ） (2022-12-21T18:30:22Z)
• Robust Target Training for Multi-Source Domain Adaptation [110.77704026569499]
  両レベル最適化に基づく新しいMSDAのためのロバスト目標訓練法(BORT$2$)を提案する。 提案手法は,大規模なDomainNetデータセットを含む3つのMSDAベンチマークにおいて,アートパフォーマンスの状態を達成している。
  論文  参考訳（メタデータ） (2022-10-04T15:20:01Z)
• Semantic Concentration for Domain Adaptation [23.706231329913113]
  ドメイン適応(DA)は、ラベル豊富なソースドメインから関連するがラベルのないターゲットドメインへの知識転送によるラベルアノテーションとデータセットバイアスの問題に対する道を開く。 DA手法の主流は、2つのドメインの特徴分布を整列させることである。 本稿では,ドメイン適応のためのセマンティック集中モデルを提案する。
  論文  参考訳（メタデータ） (2021-08-12T13:04:36Z)
• Instance Level Affinity-Based Transfer for Unsupervised Domain Adaptation [74.71931918541748]
  ILA-DAと呼ばれる適応中のソースからターゲットへの転送に対するインスタンス親和性に基づく基準を提案する。 まず、ソースとターゲットをまたいだ類似および異種サンプルを抽出し、マルチサンプルのコントラスト損失を利用してドメインアライメントプロセスを駆動する信頼性が高く効率的な手法を提案する。 ILA-DAの有効性は、様々なベンチマークデータセットに対する一般的なドメイン適応手法よりも精度が一貫した改善を観察することによって検証する。
  論文  参考訳（メタデータ） (2021-04-03T01:33:14Z)
• A Free Lunch for Unsupervised Domain Adaptive Object Detection without Source Data [69.091485888121]
  教師なしドメイン適応(unsupervised domain adaptation) ソースとターゲットのドメインデータは自由に利用でき、通常、ドメイン間のギャップを減らすために一緒に訓練される。 ノイズの多いラベルで学習する問題にモデル化することで,ソースデータのないドメイン適応オブジェクト検出(SFOD)フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-12-10T01:42:35Z)
• Learning Target Domain Specific Classifier for Partial Domain Adaptation [85.71584004185031]
  非教師付きドメイン適応(UDA)は、ラベル付きソースドメインからラベル付きターゲットドメインに知識を転送する際の分散不一致を低減することを目的としている。 本稿では,ターゲットラベル空間をソースラベル空間に仮定する,より現実的なUDAシナリオに焦点を当てる。
  論文  参考訳（メタデータ） (2020-08-25T02:28:24Z)
• MiniMax Entropy Network: Learning Category-Invariant Features for Domain Adaptation [29.43532067090422]
  逆学習に基づくMMEN(MiniMax Entropy Networks)と呼ばれる実装が容易な手法を提案する。 ドメイン差に対処するためにジェネレータを使用する既存のアプローチとは異なり、MMENはラベルのないターゲットサンプルからカテゴリ情報を学習することに重点を置いている。
  論文  参考訳（メタデータ） (2019-04-21T13:39:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。