論文の概要: Understanding Why Generalized Reweighting Does Not Improve Over ERM
- arxiv url: http://arxiv.org/abs/2201.12293v1
- Date: Fri, 28 Jan 2022 17:58:38 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-31 15:50:26.188401
- Title: Understanding Why Generalized Reweighting Does Not Improve Over ERM
- Title(参考訳): ermよりも一般化された重み付けが改善しない理由を理解する
- Authors: Runtian Zhai, Chen Dan, Zico Kolter, Pradeep Ravikumar
- Abstract要約: 経験的リスク最小化(ERM)は、実際にはトレーニングとテスト分布が異なる分布シフトに対して非破壊的であることが知られている。
この問題を解決するために、重み付けや分散ロバスト最適化(DRO)の変種などの一連のアプローチが提案されている。
しかし、近年の一連の研究は、分散シフトを伴う実際のアプリケーションにおいて、これらのアプローチはERMよりも大幅に改善していないことを実証的に示している。
- 参考スコア(独自算出の注目度): 36.69039005731499
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Empirical risk minimization (ERM) is known in practice to be non-robust to
distributional shift where the training and the test distributions are
different. A suite of approaches, such as importance weighting, and variants of
distributionally robust optimization (DRO), have been proposed to solve this
problem. But a line of recent work has empirically shown that these approaches
do not significantly improve over ERM in real applications with distribution
shift. The goal of this work is to obtain a comprehensive theoretical
understanding of this intriguing phenomenon. We first posit the class of
Generalized Reweighting (GRW) algorithms, as a broad category of approaches
that iteratively update model parameters based on iterative reweighting of the
training samples. We show that when overparameterized models are trained under
GRW, the resulting models are close to that obtained by ERM. We also show that
adding small regularization which does not greatly affect the empirical
training accuracy does not help. Together, our results show that a broad
category of what we term GRW approaches are not able to achieve
distributionally robust generalization. Our work thus has the following
sobering takeaway: to make progress towards distributionally robust
generalization, we either have to develop non-GRW approaches, or perhaps devise
novel classification/regression loss functions that are adapted to the class of
GRW approaches.
- Abstract(参考訳): 経験的リスク最小化(experimental risk minimization, erm)は、トレーニングとテスト分布が異なる分散シフトに対する非ロバストであることが知られている。
重み付けや分散ロバスト最適化(DRO)の変種といった一連のアプローチがこの問題を解決するために提案されている。
しかし、最近の一連の研究は、分散シフトを伴う実際のアプリケーションにおいて、これらのアプローチがermを大幅に改善していないことを実証している。
この研究の目的は、この興味深い現象の総合的な理論的理解を得ることである。
まず、トレーニングサンプルの反復的再重み付けに基づいてモデルパラメータを反復的に更新するアプローチの幅広いカテゴリとして、一般再重み付け(GRW)アルゴリズムのクラスを仮定する。
GRWで過度パラメータ化モデルをトレーニングした場合,得られたモデルはERMで得られたモデルに近いことを示す。
また,経験的トレーニング精度に大きく影響しない小さな正規化を加えることは,効果がないことを示す。
以上より,grwアプローチの幅広いカテゴリは,分布的にロバストな一般化を実現することができないことを示した。
分布的に堅牢な一般化に向けて進むためには、非GRWアプローチを開発するか、あるいはGRWアプローチのクラスに適応した新しい分類/回帰損失関数を考案する必要がある。
関連論文リスト
- Mitigating Covariate Shift in Misspecified Regression with Applications
to Reinforcement Learning [39.02112341007981]
本研究では,分布変化がモデルミス種別の有無に及ぼす影響について検討した。
経験的リスク最小化(または標準最小二乗回帰)は、望ましくない不特定性の増幅をもたらす可能性があることを示す。
我々は、この好ましくない振る舞いを避ける新しいアルゴリズムを開発し、したがって、最適な統計率を得ながら、誤特定の増幅を行わない。
論文 参考訳(メタデータ) (2024-01-22T18:59:12Z) - Out of the Ordinary: Spectrally Adapting Regression for Covariate Shift [12.770658031721435]
本稿では,学習前のニューラル回帰モデルの最後の層の重みを適応させて,異なる分布から得られる入力データを改善する手法を提案する。
本稿では,この軽量なスペクトル適応手法により,合成および実世界のデータセットの分布外性能が向上することを示す。
論文 参考訳(メタデータ) (2023-12-29T04:15:58Z) - Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。
パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
論文 参考訳(メタデータ) (2022-04-13T12:43:12Z) - Stochastic Training is Not Necessary for Generalization [57.04880404584737]
勾配降下の暗黙的な正則化(SGD)は、ニューラルネットワークで観測される印象的な一般化の振る舞いに基礎的であると広く信じられている。
本研究では,SGDと同等のCIFAR-10において,非確率的フルバッチトレーニングが強力な性能を発揮することを示す。
論文 参考訳(メタデータ) (2021-09-29T00:50:00Z) - Predicting Deep Neural Network Generalization with Perturbation Response
Curves [58.8755389068888]
トレーニングネットワークの一般化能力を評価するための新しいフレームワークを提案する。
具体的には,一般化ギャップを正確に予測するための2つの新しい尺度を提案する。
PGDL(Predicting Generalization in Deep Learning)のNeurIPS 2020コンペティションにおけるタスクの大部分について、現在の最先端の指標よりも優れた予測スコアを得る。
論文 参考訳(メタデータ) (2021-06-09T01:37:36Z) - The Risks of Invariant Risk Minimization [52.7137956951533]
不変リスク最小化(Invariant Risk Minimization)は、データの深い不変性を学ぶという考え方に基づく目標である。
我々は、IRMの目的に基づく分類の最初の分析と、最近提案されたこれらの代替案について、かなり自然で一般的なモデルで分析する。
IRMは、テストデータがトレーニング分布と十分に類似していない限り、破滅的に失敗する可能性がある。
論文 参考訳(メタデータ) (2020-10-12T14:54:32Z) - Learning Invariant Representations and Risks for Semi-supervised Domain
Adaptation [109.73983088432364]
半教師付きドメイン適応(Semi-DA)の設定の下で不変表現とリスクを同時に学習することを目的とした最初の手法を提案する。
共同で textbfLearning textbfInvariant textbfRepresentations と textbfRisks の LIRR アルゴリズムを導入する。
論文 参考訳(メタデータ) (2020-10-09T15:42:35Z) - On the Benefits of Invariance in Neural Networks [56.362579457990094]
データ拡張によるトレーニングは、リスクとその勾配をよりよく見積もることを示し、データ拡張でトレーニングされたモデルに対して、PAC-Bayes一般化を提供する。
また,データ拡張と比べ,平均化は凸損失を伴う場合の一般化誤差を低減し,PAC-Bayes境界を狭めることを示した。
論文 参考訳(メタデータ) (2020-05-01T02:08:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。