論文の概要: Stratified Learning: A General-Purpose Statistical Method for Improved
Learning under Covariate Shift
- arxiv url: http://arxiv.org/abs/2106.11211v2
- Date: Wed, 17 May 2023 12:22:56 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-18 21:24:00.050342
- Title: Stratified Learning: A General-Purpose Statistical Method for Improved
Learning under Covariate Shift
- Title(参考訳): 階層型学習:共変量シフト下での学習改善のための汎用統計手法
- Authors: Maximilian Autenrieth, David A. van Dyk, Roberto Trotta, David C.
Stenning
- Abstract要約: 本稿では,学習セットが代表的でない場合の教師あり学習を改善するための,シンプルで統計的に原理化された理論的に正当化された手法を提案する。
因果推論において確立された方法論を基礎として,共変量シフトの影響を条件付けによって低減・排除できることを示す。
本稿では,宇宙論における2つの現代の研究課題に対する汎用的手法の有効性を実証する。
- 参考スコア(独自算出の注目度): 1.1470070927586016
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We propose a simple, statistically principled, and theoretically justified
method to improve supervised learning when the training set is not
representative, a situation known as covariate shift. We build upon a
well-established methodology in causal inference, and show that the effects of
covariate shift can be reduced or eliminated by conditioning on propensity
scores. In practice, this is achieved by fitting learners within strata
constructed by partitioning the data based on the estimated propensity scores,
leading to approximately balanced covariates and much-improved target
prediction. We demonstrate the effectiveness of our general-purpose method on
two contemporary research questions in cosmology, outperforming
state-of-the-art importance weighting methods. We obtain the best reported AUC
(0.958) on the updated "Supernovae photometric classification challenge", and
we improve upon existing conditional density estimation of galaxy redshift from
Sloan Data Sky Survey (SDSS) data.
- Abstract(参考訳): 本稿では,学習セットが代表的でない場合の教師付き学習を改善するための,単純,統計的,理論的に正当化された手法を提案する。
因果推論において確立された方法論を基礎として,共変量シフトの影響を条件付けによって低減・排除できることを示す。
実際には、推定確率スコアに基づいてデータを分割して構築したストラタ内に学習者を適合させることで、ほぼ平衡した共変量と大幅に改良された目標予測へと導かれる。
本稿では,宇宙論における2つの現代研究課題に対する汎用手法の有効性を実証する。
Sloan Data Sky Survey (SDSS)データから既存の銀河赤方偏移の条件付き密度推定を改善する。
関連論文リスト
- Gradient Reweighting: Towards Imbalanced Class-Incremental Learning [9.96848829952036]
CIL(Class-Incremental Learning)は、非定常データから新しいクラスを継続的に認識するためにモデルを訓練する。
CILの大きな課題は、非一様分布を特徴とする実世界のデータに適用する場合である。
この二重不均衡問題により、FC層に偏りのある勾配更新が生じ、CILの過度/過度な適合と破滅的な忘れが引き起こされる。
論文 参考訳(メタデータ) (2024-02-28T18:08:03Z) - Relaxed Contrastive Learning for Federated Learning [53.48804883845343]
本稿では,フェデレート学習におけるデータ不均一性の課題に対処する,新しいコントラスト学習フレームワークを提案する。
当社のフレームワークは,既存のフェデレート学習アプローチを,標準ベンチマークにおいて大きなマージンで上回ります。
論文 参考訳(メタデータ) (2024-01-10T04:55:24Z) - Debias the Training of Diffusion Models [53.49637348771626]
本研究では,拡散モデルにおいて一定の損失重み戦略を用いることで,トレーニング期間中に偏りが生じるという理論的証拠を提供する。
理論的に偏りのない原理に基づくエレガントで効果的な重み付け戦略を提案する。
これらの分析は、拡散モデルの内部動作の理解とデミステレーションを促進することが期待されている。
論文 参考訳(メタデータ) (2023-10-12T16:04:41Z) - TWINS: A Fine-Tuning Framework for Improved Transferability of
Adversarial Robustness and Generalization [89.54947228958494]
本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。
本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。
TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
論文 参考訳(メタデータ) (2023-03-20T14:12:55Z) - Adapting to Continuous Covariate Shift via Online Density Ratio
Estimation [90.62832273403077]
分散シフトへの対処は、現代の機械学習における中心的な課題の1つだ。
我々の目標は、予測者が時間とともに蓄積される予測リスクを最小限に抑えるように、適応的に予測者を訓練することである。
論文 参考訳(メタデータ) (2023-02-06T04:03:33Z) - Blessings and Curses of Covariate Shifts: Adversarial Learning Dynamics,
Directional Convergence, and Equilibria [3.167685495996986]
共変量分布シフトと対向摂動は,従来の統計学習フレームワークに課題を呈する。
本稿では,無限次元環境下での回帰と分類の両面から,外挿領域を正確に特徴づける。
論文 参考訳(メタデータ) (2022-12-05T18:00:31Z) - Improving Covariance Conditioning of the SVD Meta-layer by Orthogonality [65.67315418971688]
最寄り直交勾配(NOG)と最適学習率(OLR)を提案する。
視覚認識実験は,共分散条件と一般化を同時に改善できることを実証した。
論文 参考訳(メタデータ) (2022-07-05T15:39:29Z) - Imitation Learning by State-Only Distribution Matching [2.580765958706854]
観察からの模倣学習は、人間の学習と同様の方法で政策学習を記述する。
本稿では,解釈可能な収束度と性能測定値とともに,非逆学習型観測手法を提案する。
論文 参考訳(メタデータ) (2022-02-09T08:38:50Z) - Revisiting Consistency Regularization for Semi-Supervised Learning [80.28461584135967]
そこで我々は,FeatDistLossというシンプルな手法により,一貫性の規則化を改良したフレームワークを提案する。
実験結果から,本モデルは様々なデータセットや設定のための新しい技術状態を定義する。
論文 参考訳(メタデータ) (2021-12-10T20:46:13Z) - Stable Adversarial Learning under Distributional Shifts [46.98655899839784]
経験的リスク最小化を伴う機械学習アルゴリズムは、分散シフトの下で脆弱である。
本研究では、異種データソースを活用してより実用的な不確実性セットを構築する安定適応学習(SAL)アルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-06-08T08:42:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。