論文の概要: Blessings and Curses of Covariate Shifts: Adversarial Learning Dynamics,
Directional Convergence, and Equilibria
- arxiv url: http://arxiv.org/abs/2212.02457v1
- Date: Mon, 5 Dec 2022 18:00:31 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-06 16:21:05.204111
- Title: Blessings and Curses of Covariate Shifts: Adversarial Learning Dynamics,
Directional Convergence, and Equilibria
- Title（参考訳）: 共変量シフトの祝福と呪い--逆学習ダイナミクス、方向収束、平衡
- Authors: Tengyuan Liang
- Abstract要約: 逆の摂動は従来の統計学習の枠組みに課題をもたらす。
本稿では,無限次元環境下での回帰と分類の両面から,外挿領域を正確に特徴づける。
対戦型学習ゲームのダイナミクスを生かし、平衡学習と実験設計への共変量シフトの好奇効果を明らかにする。
- 参考スコア（独自算出の注目度）: 3.167685495996986
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Covariate distribution shifts and adversarial perturbations present
robustness challenges to the conventional statistical learning framework:
seemingly small unconceivable shifts in the test covariate distribution can
significantly affect the performance of the statistical model learned based on
the training distribution. The model performance typically deteriorates when
extrapolation happens: namely, covariates shift to a region where the training
distribution is scarce, and naturally, the learned model has little
information. For robustness and regularization considerations, adversarial
perturbation techniques are proposed as a remedy; however, more needs to be
studied about what extrapolation region adversarial covariate shift will focus
on, given a learned model. This paper precisely characterizes the extrapolation
region, examining both regression and classification in an infinite-dimensional
setting. We study the implications of adversarial covariate shifts to
subsequent learning of the equilibrium -- the Bayes optimal model -- in a
sequential game framework. We exploit the dynamics of the adversarial learning
game and reveal the curious effects of the covariate shift to equilibrium
learning and experimental design. In particular, we establish two directional
convergence results that exhibit distinctive phenomena: (1) a blessing in
regression, the adversarial covariate shifts in an exponential rate to an
optimal experimental design for rapid subsequent learning, (2) a curse in
classification, the adversarial covariate shifts in a subquadratic rate fast to
the hardest experimental design trapping subsequent learning.
- Abstract（参考訳）: 共変量分布の変化と逆の摂動は、従来の統計学習フレームワークに頑健な課題を呈している: テスト共変量分布の小さな変化は、トレーニング分布に基づいて学習された統計モデルの性能に著しく影響する。
モデルのパフォーマンスは通常、外挿(expolation)が発生すると低下する:すなわち、トレーニング分布が不足している領域への共変量シフト、そして当然、学習されたモデルにはほとんど情報がない。
頑健性や正規化の考慮においては, 対向摂動法を治療として提案するが, 学習モデルから, 対向的共変量シフトがどの領域に焦点を絞るかについて, さらに検討する必要がある。
本稿では,無限次元環境下での回帰と分類の両面から,外挿領域を正確に特徴づける。
逐次ゲームフレームワークにおける平衡モデル(ベイズ最適モデル)のその後の学習に対する逆共変量シフトの影響について検討する。
敵対的学習ゲームのダイナミクスを活用し,均衡学習への共変量シフトと実験設計の奇妙な効果を明らかにする。
特に,(1)回帰の祝福,(2)指数関数的速度での共変量シフト,(2)迅速な後続学習のための最適実験設計,(2)分類の呪い,(2)後続学習をトラッピングする最も難しい実験設計に高速に逆共変量シフト,という特徴ある現象を示す2つの方向収束結果を確立した。
関連論文リスト
- Counterfactual Generative Modeling with Variational Causal Inference [1.9287470458589586]
本稿では, 逆ファクト生成モデリングタスクを扱うための変分ベイズ因果推論フレームワークを提案する。
実験では, 反ファクト生成モデルにおける最先端モデルと比較して, フレームワークの利点を実証する。
論文 参考訳（メタデータ） (2024-10-16T16:44:12Z) - TransFusion: Covariate-Shift Robust Transfer Learning for High-Dimensional Regression [11.040033344386366]
対象タスクの学習性能を限定的なサンプルで向上させるため, 新規な融合正規化器を用いた2段階の手法を提案する。
対象モデルの推定誤差に対して、漸近的境界が提供される。
提案手法を分散設定に拡張し,事前学習ファインタニング戦略を実現する。
論文 参考訳（メタデータ） (2024-04-01T14:58:16Z) - Towards Fast and Stable Federated Learning: Confronting Heterogeneity
via Knowledge Anchor [18.696420390977863]
本稿では,異なる通信ラウンド間の局所訓練において,各クラスを忘れる程度を系統的に分析する。
これらの知見に触発され,FedKA(Federated Knowledge Anchor)と呼ばれる新しい,簡単なアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-12-05T01:12:56Z) - Adapting to Continuous Covariate Shift via Online Density Ratio Estimation [64.8027122329609]
分散シフトへの対処は、現代の機械学習における中心的な課題の1つだ。
歴史的情報を適切に再利用するオンライン手法を提案する。
我々の密度比推定法は, ダイナミックなリセットバウンドを楽しむことにより, 良好に動作できることが証明された。
論文 参考訳（メタデータ） (2023-02-06T04:03:33Z) - Enhancing Adversarial Training with Feature Separability [52.39305978984573]
本稿では,特徴分離性を備えた対人訓練(ATFS)により,クラス内特徴の類似性を向上し,クラス間特徴分散を増大させることができる,新たな対人訓練グラフ(ATG)を提案する。
包括的な実験を通じて、提案したATFSフレームワークがクリーンかつロバストなパフォーマンスを著しく改善することを示した。
論文 参考訳（メタデータ） (2022-05-02T04:04:23Z) - Towards Robust and Adaptive Motion Forecasting: A Causal Representation
Perspective [72.55093886515824]
本稿では,3つの潜伏変数群からなる動的過程として,運動予測の因果的形式化を導入する。
我々は、因果グラフを近似するために、不変なメカニズムやスタイルの共創者の表現を分解するモジュラーアーキテクチャを考案する。
合成および実データを用いた実験結果から,提案した3つの成分は,学習した動き表現の頑健性と再利用性を大幅に向上することが示された。
論文 参考訳（メタデータ） (2021-11-29T18:59:09Z) - Covariate Shift in High-Dimensional Random Feature Regression [44.13449065077103]
共変量シフトは、堅牢な機械学習モデルの開発において重要な障害である。
現代の機械学習の文脈における理論的理解を示す。
論文 参考訳（メタデータ） (2021-11-16T05:23:28Z) - Stratified Learning: A General-Purpose Statistical Method for Improved
Learning under Covariate Shift [1.1470070927586016]
本稿では,学習セットが代表的でない場合の教師あり学習を改善するための,シンプルで統計的に原理化された理論的に正当化された手法を提案する。
因果推論において確立された方法論を基礎として,共変量シフトの影響を条件付けによって低減・排除できることを示す。
本稿では,宇宙論における2つの現代の研究課題に対する汎用的手法の有効性を実証する。
論文 参考訳（メタデータ） (2021-06-21T15:53:20Z) - Adversarial Robustness through the Lens of Causality [105.51753064807014]
ディープニューラルネットワークの敵対的脆弱性は、機械学習において大きな注目を集めている。
我々は、因果関係を敵対的脆弱性の軽減に組み込むことを提案する。
我々の手法は、敵の脆弱性を緩和するために因果性を利用する最初の試みと見なすことができる。
論文 参考訳（メタデータ） (2021-06-11T06:55:02Z) - Double Robust Representation Learning for Counterfactual Prediction [68.78210173955001]
そこで本稿では, 対実予測のための2次ロバスト表現を学習するための, スケーラブルな新しい手法を提案する。
我々は、個々の治療効果と平均的な治療効果の両方に対して、堅牢で効率的な対実的予測を行う。
このアルゴリズムは,実世界の最先端技術と合成データとの競合性能を示す。
論文 参考訳（メタデータ） (2020-10-15T16:39:26Z) - A One-step Approach to Covariate Shift Adaptation [82.01909503235385]
多くの機械学習シナリオにおけるデフォルトの前提は、トレーニングとテストサンプルは同じ確率分布から引き出されることである。
予測モデルと関連する重みを1つの最適化で共同で学習する新しいワンステップアプローチを提案する。
論文 参考訳（メタデータ） (2020-07-08T11:35:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。