論文の概要: Spuriosity Didn't Kill the Classifier: Using Invariant Predictions to Harness Spurious Features

• arxiv url: http://arxiv.org/abs/2307.09933v1
• Date: Wed, 19 Jul 2023 12:15:06 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-20 14:06:48.002741
• Title: Spuriosity Didn't Kill the Classifier: Using Invariant Predictions to Harness Spurious Features
• Title（参考訳）: Spuriosityは分類器を殺さなかった:不変量予測を使って不純物特徴を識別する
• Authors: Cian Eastwood, Shashank Singh, Andrei Liviu Nicolicioiu, Marin Vlastelica, Julius von K\"ugelgen, Bernhard Sch\"olkopf
• Abstract要約: ラベルなしで、テスト領域で不安定な機能を使う方法を学ぶことができることを示す。 本研究では、安定かつ条件に依存しない不安定な特徴を分離する予測器の学習アルゴリズムである安定特徴ブースティング(SFB)を提案する。
• 参考スコア（独自算出の注目度）: 14.445854052924114
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: To avoid failures on out-of-distribution data, recent works have sought to extract features that have a stable or invariant relationship with the label across domains, discarding the "spurious" or unstable features whose relationship with the label changes across domains. However, unstable features often carry complementary information about the label that could boost performance if used correctly in the test domain. Our main contribution is to show that it is possible to learn how to use these unstable features in the test domain without labels. In particular, we prove that pseudo-labels based on stable features provide sufficient guidance for doing so, provided that stable and unstable features are conditionally independent given the label. Based on this theoretical insight, we propose Stable Feature Boosting (SFB), an algorithm for: (i) learning a predictor that separates stable and conditionally-independent unstable features; and (ii) using the stable-feature predictions to adapt the unstable-feature predictions in the test domain. Theoretically, we prove that SFB can learn an asymptotically-optimal predictor without test-domain labels. Empirically, we demonstrate the effectiveness of SFB on real and synthetic data.
• Abstract（参考訳）: アウトオブディストリビューションデータの障害を回避するために、近年の研究では、ドメイン間でラベルが変化した場合に、安定した、あるいは不変な関係を持つ特徴を抽出しようと試みている。 しかしながら、不安定な機能には、テストドメインで正しく使用すればパフォーマンスが向上する可能性のあるラベルに関する補完的な情報があることが多い。 当社の主な貢献は、ラベルなしでテストドメインでこれらの不安定な機能の使い方を学べることを示しています。 特に,安定な特徴に基づく擬似ラベルが,安定かつ不安定な特徴が条件付き独立であることから,それを行うための十分なガイダンスを提供することを示す。 この理論的な洞察に基づいて,我々は次のアルゴリズムであるstable feature boosting (sfb)を提案する。 一 安定かつ条件に依存しない不安定な特徴を区別する予測器の学習 (ii)安定特徴予測を用いて、テスト領域における不安定特徴予測を適応させる。 理論的には、SFBはテストドメインラベルなしで漸近的に最適な予測器を学習できることを示す。 実データおよび合成データに対するSFBの有効性を実証的に示す。

関連論文リスト

• Adapting to Shifting Correlations with Unlabeled Data Calibration [6.84735357291896]
  サイト間の分散シフトは、不安定な相関を利用する傾向にあるため、モデル性能を著しく低下させる可能性がある。 本稿では,モデル予測を予測対象と共同設立者間のシフト相関に適応させるフレキシブルな手法であるGeneralized Prevalence Adjustment (GPA)を提案する。 GPAは、これらのサイトからの未ラベルのサンプルを使用して、新しいサイトのターゲットと共同創設者の相互作用を推測することができる。
  論文  参考訳（メタデータ） (2024-09-09T18:45:43Z)
• Confident Sinkhorn Allocation for Pseudo-Labeling [40.883130133661304]
  半教師付き学習は、ラベル付きデータへの機械学習の依存を減らす重要なツールである。 本稿では,疑似ラベル作成における不確実性の役割を理論的に研究し,CSA(Confident Sinkhorn Allocation)を提案する。 CSAは、信頼度の高いサンプルのみへの最適な輸送を通して、最高の擬似ラベル割り当てを特定する。
  論文  参考訳（メタデータ） (2022-06-13T02:16:26Z)
• Training on Test Data with Bayesian Adaptation for Covariate Shift [96.3250517412545]
  ディープニューラルネットワークは、信頼できない不確実性推定で不正確な予測を行うことが多い。 分布シフトの下でのラベルなし入力とモデルパラメータとの明確に定義された関係を提供するベイズモデルを導出する。 本手法は精度と不確実性の両方を向上することを示す。
  論文  参考訳（メタデータ） (2021-09-27T01:09:08Z)
• Unsupervised Robust Domain Adaptation without Source Data [75.85602424699447]
  我々は、利用できないターゲットラベルとソースデータのコンテキストにおけるロバストなドメイン適応の問題について研究する。 4つのベンチマークデータセットでテストされたベースラインに対して10%以上の精度で一貫したパフォーマンス改善を示す。
  論文  参考訳（メタデータ） (2021-03-26T16:42:28Z)
• In Defense of Pseudo-Labeling: An Uncertainty-Aware Pseudo-label Selection Framework for Semi-Supervised Learning [53.1047775185362]
  Pseudo-labeling (PL) は一般的な SSL アプローチで、この制約はありませんが、当初の処方では比較的不十分です。 PLは不整合モデルからの誤った高い信頼度予測により性能が低下していると論じる。 そこで本研究では,疑似ラベリング精度を向上させるための不確実性認識型擬似ラベル選択(ups)フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-01-15T23:29:57Z)
• Exploiting Sample Uncertainty for Domain Adaptive Person Re-Identification [137.9939571408506]
  各サンプルに割り当てられた擬似ラベルの信頼性を推定・活用し,ノイズラベルの影響を緩和する。 不確実性に基づく最適化は大幅な改善をもたらし、ベンチマークデータセットにおける最先端のパフォーマンスを達成します。
  論文  参考訳（メタデータ） (2020-12-16T04:09:04Z)
• Self-training Avoids Using Spurious Features Under Domain Shift [54.794607791641745]
  教師なし領域適応においては、条件付きエントロピー最小化と擬似ラベル処理は、既存の理論で解析されたものよりもドメインシフトがはるかに大きい場合であっても行われる。 ドメインシフトが大きくなる可能性のある特定の設定を特定・分析するが、特定のスパイラルな特徴はソースドメインのラベルと相関するが、ターゲットの独立なラベルである。
  論文  参考訳（メタデータ） (2020-06-17T17:51:42Z)
• Stable Prediction via Leveraging Seed Variable [73.9770220107874]
  従来の機械学習手法は、非因果変数によって誘導されるトレーニングデータにおいて、微妙に刺激的な相関を利用して予測する。 本研究では, 条件付き独立性テストに基づくアルゴリズムを提案し, 種子変数を先行変数とする因果変数を分離し, 安定な予測に採用する。 我々のアルゴリズムは、安定した予測のための最先端の手法より優れている。
  論文  参考訳（メタデータ） (2020-06-09T06:56:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。