論文の概要: Stratified Learning: a general-purpose statistical method for improved
learning under Covariate Shift
- arxiv url: http://arxiv.org/abs/2106.11211v1
- Date: Mon, 21 Jun 2021 15:53:20 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-22 17:07:51.873088
- Title: Stratified Learning: a general-purpose statistical method for improved
learning under Covariate Shift
- Title(参考訳): 階層学習:共変量シフト下での学習改善のための汎用統計手法
- Authors: Maximilian Autenrieth, David A. van Dyk, Roberto Trotta, David C.
Stenning
- Abstract要約: 共変量シフトの対象となるソースデータに基づいて訓練された教師付きモデルは、対象データに対する一般化の低さに悩まされる可能性がある。
本稿では,共変量シフト条件下での学習を改善するための,統計的に理論的に正当化された新しい手法を提案する。
条件付けにより,共変量シフトの影響を低減あるいは完全に排除できることを示す。
観測宇宙論における現代の研究課題に対する汎用手法の有効性を実証する。
- 参考スコア(独自算出の注目度): 1.5293427903448025
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Covariate shift arises when the labelled training (source) data is not
representative of the unlabelled (target) data due to systematic differences in
the covariate distributions. A supervised model trained on the source data
subject to covariate shift may suffer from poor generalization on the target
data. We propose a novel, statistically principled and theoretically justified
method to improve learning under covariate shift conditions, based on
propensity score stratification, a well-established methodology in causal
inference. We show that the effects of covariate shift can be reduced or
altogether eliminated by conditioning on propensity scores. In practice, this
is achieved by fitting learners on subgroups ("strata") constructed by
partitioning the data based on the estimated propensity scores, leading to
balanced covariates and much-improved target prediction. We demonstrate the
effectiveness of our general-purpose method on contemporary research questions
in observational cosmology, and on additional benchmark examples, matching or
outperforming state-of-the-art importance weighting methods, widely studied in
the covariate shift literature. We obtain the best reported AUC (0.958) on the
updated "Supernovae photometric classification challenge" and improve upon
existing conditional density estimation of galaxy redshift from Sloan Data Sky
Survey (SDSS) data.
- Abstract(参考訳): 共変量シフトは、ラベル付きトレーニング(ソース)データが共変量分布の系統的差異のためにラベル付き(ターゲット)データの代表でない場合に発生する。
共変量シフトの対象となるソースデータに基づいて訓練された教師付きモデルは、対象データに対する一般化の低さに悩まされる可能性がある。
本稿では,共変量シフト条件下での学習を改善するための新しい,統計的に原理化された理論的正当化手法を提案する。
条件付けにより,共変量シフトの効果を低減あるいは完全に排除できることを示した。
実際には、推定された傾向スコアに基づいてデータを分割して構築したサブグループ(階層)に学習者を適合させることで、バランスの取れた共変量と大幅に改良された目標予測へと導かれる。
本研究では,観測宇宙論における現代研究問題に対する汎用的手法の有効性を実証し,さらに,共変量シフト文学で広く研究されている最先端の重み付け手法とのマッチングあるいは性能比較を行った。
Sloan Data Sky Survey (SDSS) データから, 更新された「超新星光度分類チャレンジ」に関する最良のAUC (0.958) を取得し, 既存の銀河赤方偏移の条件密度推定を改善する。
関連論文リスト
- Gradient Reweighting: Towards Imbalanced Class-Incremental Learning [9.96848829952036]
CIL(Class-Incremental Learning)は、非定常データから新しいクラスを継続的に認識するためにモデルを訓練する。
CILの大きな課題は、非一様分布を特徴とする実世界のデータに適用する場合である。
この二重不均衡問題により、FC層に偏りのある勾配更新が生じ、CILの過度/過度な適合と破滅的な忘れが引き起こされる。
論文 参考訳(メタデータ) (2024-02-28T18:08:03Z) - Relaxed Contrastive Learning for Federated Learning [53.48804883845343]
本稿では,フェデレート学習におけるデータ不均一性の課題に対処する,新しいコントラスト学習フレームワークを提案する。
当社のフレームワークは,既存のフェデレート学習アプローチを,標準ベンチマークにおいて大きなマージンで上回ります。
論文 参考訳(メタデータ) (2024-01-10T04:55:24Z) - Debias the Training of Diffusion Models [53.49637348771626]
本研究では,拡散モデルにおいて一定の損失重み戦略を用いることで,トレーニング期間中に偏りが生じるという理論的証拠を提供する。
理論的に偏りのない原理に基づくエレガントで効果的な重み付け戦略を提案する。
これらの分析は、拡散モデルの内部動作の理解とデミステレーションを促進することが期待されている。
論文 参考訳(メタデータ) (2023-10-12T16:04:41Z) - TWINS: A Fine-Tuning Framework for Improved Transferability of
Adversarial Robustness and Generalization [89.54947228958494]
本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。
本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。
TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
論文 参考訳(メタデータ) (2023-03-20T14:12:55Z) - Adapting to Continuous Covariate Shift via Online Density Ratio
Estimation [90.62832273403077]
分散シフトへの対処は、現代の機械学習における中心的な課題の1つだ。
我々の目標は、予測者が時間とともに蓄積される予測リスクを最小限に抑えるように、適応的に予測者を訓練することである。
論文 参考訳(メタデータ) (2023-02-06T04:03:33Z) - Blessings and Curses of Covariate Shifts: Adversarial Learning Dynamics,
Directional Convergence, and Equilibria [3.167685495996986]
共変量分布シフトと対向摂動は,従来の統計学習フレームワークに課題を呈する。
本稿では,無限次元環境下での回帰と分類の両面から,外挿領域を正確に特徴づける。
論文 参考訳(メタデータ) (2022-12-05T18:00:31Z) - Improving Covariance Conditioning of the SVD Meta-layer by Orthogonality [65.67315418971688]
最寄り直交勾配(NOG)と最適学習率(OLR)を提案する。
視覚認識実験は,共分散条件と一般化を同時に改善できることを実証した。
論文 参考訳(メタデータ) (2022-07-05T15:39:29Z) - Imitation Learning by State-Only Distribution Matching [2.580765958706854]
観察からの模倣学習は、人間の学習と同様の方法で政策学習を記述する。
本稿では,解釈可能な収束度と性能測定値とともに,非逆学習型観測手法を提案する。
論文 参考訳(メタデータ) (2022-02-09T08:38:50Z) - Revisiting Consistency Regularization for Semi-Supervised Learning [80.28461584135967]
そこで我々は,FeatDistLossというシンプルな手法により,一貫性の規則化を改良したフレームワークを提案する。
実験結果から,本モデルは様々なデータセットや設定のための新しい技術状態を定義する。
論文 参考訳(メタデータ) (2021-12-10T20:46:13Z) - Stable Adversarial Learning under Distributional Shifts [46.98655899839784]
経験的リスク最小化を伴う機械学習アルゴリズムは、分散シフトの下で脆弱である。
本研究では、異種データソースを活用してより実用的な不確実性セットを構築する安定適応学習(SAL)アルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-06-08T08:42:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。