論文の概要: Stratified Learning: a general-purpose statistical method for improved
learning under Covariate Shift
- arxiv url: http://arxiv.org/abs/2106.11211v1
- Date: Mon, 21 Jun 2021 15:53:20 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-22 17:07:51.873088
- Title: Stratified Learning: a general-purpose statistical method for improved
learning under Covariate Shift
- Title（参考訳）: 階層学習:共変量シフト下での学習改善のための汎用統計手法
- Authors: Maximilian Autenrieth, David A. van Dyk, Roberto Trotta, David C.
Stenning
- Abstract要約: 共変量シフトの対象となるソースデータに基づいて訓練された教師付きモデルは、対象データに対する一般化の低さに悩まされる可能性がある。
本稿では,共変量シフト条件下での学習を改善するための,統計的に理論的に正当化された新しい手法を提案する。
条件付けにより,共変量シフトの影響を低減あるいは完全に排除できることを示す。
観測宇宙論における現代の研究課題に対する汎用手法の有効性を実証する。
- 参考スコア（独自算出の注目度）: 1.5293427903448025
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Covariate shift arises when the labelled training (source) data is not
representative of the unlabelled (target) data due to systematic differences in
the covariate distributions. A supervised model trained on the source data
subject to covariate shift may suffer from poor generalization on the target
data. We propose a novel, statistically principled and theoretically justified
method to improve learning under covariate shift conditions, based on
propensity score stratification, a well-established methodology in causal
inference. We show that the effects of covariate shift can be reduced or
altogether eliminated by conditioning on propensity scores. In practice, this
is achieved by fitting learners on subgroups ("strata") constructed by
partitioning the data based on the estimated propensity scores, leading to
balanced covariates and much-improved target prediction. We demonstrate the
effectiveness of our general-purpose method on contemporary research questions
in observational cosmology, and on additional benchmark examples, matching or
outperforming state-of-the-art importance weighting methods, widely studied in
the covariate shift literature. We obtain the best reported AUC (0.958) on the
updated "Supernovae photometric classification challenge" and improve upon
existing conditional density estimation of galaxy redshift from Sloan Data Sky
Survey (SDSS) data.
- Abstract（参考訳）: 共変量シフトは、ラベル付きトレーニング(ソース)データが共変量分布の系統的差異のためにラベル付き(ターゲット)データの代表でない場合に発生する。
共変量シフトの対象となるソースデータに基づいて訓練された教師付きモデルは、対象データに対する一般化の低さに悩まされる可能性がある。
本稿では,共変量シフト条件下での学習を改善するための新しい,統計的に原理化された理論的正当化手法を提案する。
条件付けにより,共変量シフトの効果を低減あるいは完全に排除できることを示した。
実際には、推定された傾向スコアに基づいてデータを分割して構築したサブグループ(階層)に学習者を適合させることで、バランスの取れた共変量と大幅に改良された目標予測へと導かれる。
本研究では,観測宇宙論における現代研究問題に対する汎用的手法の有効性を実証し,さらに,共変量シフト文学で広く研究されている最先端の重み付け手法とのマッチングあるいは性能比較を行った。
Sloan Data Sky Survey (SDSS) データから, 更新された「超新星光度分類チャレンジ」に関する最良のAUC (0.958) を取得し, 既存の銀河赤方偏移の条件密度推定を改善する。
関連論文リスト
- Enhancing Training Data Attribution for Large Language Models with Fitting Error Consideration [74.09687562334682]
Debias and Denoise Attribution (DDA) と呼ばれる新しいトレーニングデータ属性法を導入する。
提案手法は既存のアプローチよりも優れており,平均91.64%のAUCを実現している。
DDAは、様々なソースとLLaMA2、QWEN2、Mistralのような異なるスケールのモデルに対して、強力な汎用性とスケーラビリティを示す。
論文 参考訳（メタデータ） (2024-10-02T07:14:26Z) - Multi-Agent Reinforcement Learning from Human Feedback: Data Coverage and Algorithmic Techniques [65.55451717632317]
我々は,MARLHF(Multi-Agent Reinforcement Learning from Human Feedback)について検討し,理論的基礎と実証的検証の両方について検討した。
我々は,このタスクを,一般ゲームにおける嗜好のみのオフラインデータセットからナッシュ均衡を識別するものとして定義する。
本研究は,MARLHFの多面的アプローチを基礎として,効果的な嗜好に基づくマルチエージェントシステムの実現を目指している。
論文 参考訳（メタデータ） (2024-09-01T13:14:41Z) - Enhancing Fairness through Reweighting: A Path to Attain the Sufficiency Rule [23.335423207588466]
モデルトレーニングにおける経験的リスク最小化プロセスを強化するための革新的なアプローチを導入する。
このスキームは、最適予測器が多様なサブグループ間で整合性を維持することを保証することによって、公正性における十分性規則を維持することを目的としている。
論文 参考訳（メタデータ） (2024-08-26T09:19:58Z) - TransFusion: Covariate-Shift Robust Transfer Learning for High-Dimensional Regression [11.040033344386366]
対象タスクの学習性能を限定的なサンプルで向上させるため, 新規な融合正規化器を用いた2段階の手法を提案する。
対象モデルの推定誤差に対して、漸近的境界が提供される。
提案手法を分散設定に拡張し,事前学習ファインタニング戦略を実現する。
論文 参考訳（メタデータ） (2024-04-01T14:58:16Z) - Gradient Reweighting: Towards Imbalanced Class-Incremental Learning [8.438092346233054]
CIL(Class-Incremental Learning)は、非定常データから新しいクラスを継続的に認識するためにモデルを訓練する。
CILの大きな課題は、非一様分布を特徴とする実世界のデータに適用する場合である。
この二重不均衡問題により、FC層に偏りのある勾配更新が生じ、CILの過度/過度な適合と破滅的な忘れが引き起こされる。
論文 参考訳（メタデータ） (2024-02-28T18:08:03Z) - Relaxed Contrastive Learning for Federated Learning [48.96253206661268]
本稿では,フェデレート学習におけるデータ不均一性の課題に対処する,新しいコントラスト学習フレームワークを提案する。
当社のフレームワークは,既存のフェデレート学習アプローチを,標準ベンチマークにおいて大きなマージンで上回ります。
論文 参考訳（メタデータ） (2024-01-10T04:55:24Z) - TWINS: A Fine-Tuning Framework for Improved Transferability of
Adversarial Robustness and Generalization [89.54947228958494]
本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。
本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。
TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
論文 参考訳（メタデータ） (2023-03-20T14:12:55Z) - Adapting to Continuous Covariate Shift via Online Density Ratio Estimation [64.8027122329609]
分散シフトへの対処は、現代の機械学習における中心的な課題の1つだ。
歴史的情報を適切に再利用するオンライン手法を提案する。
我々の密度比推定法は, ダイナミックなリセットバウンドを楽しむことにより, 良好に動作できることが証明された。
論文 参考訳（メタデータ） (2023-02-06T04:03:33Z) - Improving Covariance Conditioning of the SVD Meta-layer by Orthogonality [65.67315418971688]
最寄り直交勾配(NOG)と最適学習率(OLR)を提案する。
視覚認識実験は,共分散条件と一般化を同時に改善できることを実証した。
論文 参考訳（メタデータ） (2022-07-05T15:39:29Z) - Imitation Learning by State-Only Distribution Matching [2.580765958706854]
観察からの模倣学習は、人間の学習と同様の方法で政策学習を記述する。
本稿では,解釈可能な収束度と性能測定値とともに,非逆学習型観測手法を提案する。
論文 参考訳（メタデータ） (2022-02-09T08:38:50Z) - Stable Adversarial Learning under Distributional Shifts [46.98655899839784]
経験的リスク最小化を伴う機械学習アルゴリズムは、分散シフトの下で脆弱である。
本研究では、異種データソースを活用してより実用的な不確実性セットを構築する安定適応学習(SAL)アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-06-08T08:42:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。