論文の概要: Distributionally Robust Multiclass Classification and Applications in
Deep CNN Image Classifiers
- arxiv url: http://arxiv.org/abs/2109.12772v1
- Date: Mon, 27 Sep 2021 02:58:19 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-28 15:52:01.857389
- Title: Distributionally Robust Multiclass Classification and Applications in
Deep CNN Image Classifiers
- Title(参考訳): 分布ロバストなマルチクラス分類と深部CNN画像分類への応用
- Authors: Ruidi Chen, Boran Hao, Ioannis Paschalidis
- Abstract要約: マルチクラスロジスティック回帰(MLR)のための分布ロバスト最適化(DRO)の定式化を開発する。
経験的リスク最小化(ERM)と比較して,誤差率を最大49.49%,損失を最大68.93%向上させることができることを示す。
また,トレーニングセット内の摂動画像の少ない場合には,経験的リスク最小化と比較して49.49%の誤差率,最大68.93%の損失率を向上できることを示した。
- 参考スコア(独自算出の注目度): 4.361526134899725
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We develop a Distributionally Robust Optimization (DRO) formulation for
Multiclass Logistic Regression (MLR), which could tolerate data contaminated by
outliers. The DRO framework uses a probabilistic ambiguity set defined as a
ball of distributions that are close to the empirical distribution of the
training set in the sense of the Wasserstein metric. We relax the DRO
formulation into a regularized learning problem whose regularizer is a norm of
the coefficient matrix. We establish out-of-sample performance guarantees for
the solutions to our model, offering insights on the role of the regularizer in
controlling the prediction error. We apply the proposed method in rendering
deep CNN-based image classifiers robust to random and adversarial attacks.
Specifically, using the MNIST and CIFAR-10 datasets, we demonstrate reductions
in test error rate by up to 78.8% and loss by up to 90.8%. We also show that
with a limited number of perturbed images in the training set, our method can
improve the error rate by up to 49.49% and the loss by up to 68.93% compared to
Empirical Risk Minimization (ERM), converging faster to an ideal loss/error
rate as the number of perturbed images increases.
- Abstract(参考訳): 分散ロバスト最適化 (DRO) によるマルチクラスロジスティック回帰 (MLR) の定式化を行い, 異常値によるデータの汚染を許容する。
DROフレームワークは、ワッサーシュタイン計量の意味でのトレーニングセットの経験的分布に近い分布の球として定義される確率的曖昧性集合を使用する。
我々は DRO の定式化を、正則化が係数行列のノルムである正規化学習問題に緩和する。
予測誤差の制御における正則化器の役割についての洞察を提供するとともに,本モデルに対する解の正当性を保証する。
提案手法は,CNNに基づく画像分類器をランダムおよび逆攻撃に対して頑健にレンダリングする。
具体的には、MNISTとCIFAR-10データセットを使用して、テストエラー率を78.8%、損失を90.8%削減することを示した。
また,トレーニングセット内の摂動画像の限られた数で,経験的リスク最小化(ERM)と比較して最大49.49%の誤差率,最大68.93%の損失率を向上し,摂動画像の増加とともに理想的な損失/エラー率に収束することを示す。
関連論文リスト
- DRAUC: An Instance-wise Distributionally Robust AUC Optimization
Framework [133.26230331320963]
ROC曲線のエリア(AUC)は、長い尾の分類のシナリオにおいて広く用いられている指標である。
本研究では,分散ロバストAUC(DRAUC)のインスタンスワイドサロゲート損失を提案し,その上に最適化フレームワークを構築した。
論文 参考訳(メタデータ) (2023-11-06T12:15:57Z) - Robust Outlier Rejection for 3D Registration with Variational Bayes [70.98659381852787]
我々は、ロバストアライメントのための新しい変分非局所ネットワークベース外乱除去フレームワークを開発した。
そこで本稿では, 投票に基づく不整合探索手法を提案し, 変換推定のための高品質な仮説的不整合をクラスタリングする。
論文 参考訳(メタデータ) (2023-04-04T03:48:56Z) - Learning Against Distributional Uncertainty: On the Trade-off Between
Robustness and Specificity [24.874664446700272]
本稿では,3つのアプローチを統一し,上記の2つの課題に対処する新たな枠組みについて検討する。
提案したモデルのモンテカルロ法に基づく解法(例えば、一貫性と正規性)、非漸近性(例えば、非バイアス性や誤差境界)について検討した。
論文 参考訳(メタデータ) (2023-01-31T11:33:18Z) - Distributionally Robust Multiclass Classification and Applications in
Deep Image Classifiers [9.979945269265627]
マルチクラスロジスティック回帰(MLR)のための分布ロバスト最適化(DRO)の定式化を開発する。
本研究では,新しいランダムトレーニング手法を採用することにより,試験誤差率を最大83.5%,損失を最大91.3%削減することを示した。
論文 参考訳(メタデータ) (2022-10-15T05:09:28Z) - Learning from a Biased Sample [5.162622771922123]
本稿では,テスト分布のファミリーで発生する最悪のリスクを最小限に抑える決定ルールの学習方法を提案する。
我々は,盗難手法を用いてロバストなモデルを学習するための統計的保証を与え,損失関数がターゲットを捕捉する深層学習アルゴリズムを提案する。
論文 参考訳(メタデータ) (2022-09-05T04:19:16Z) - Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。
パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
論文 参考訳(メタデータ) (2022-04-13T12:43:12Z) - Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。
本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。
本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
論文 参考訳(メタデータ) (2022-01-11T23:01:12Z) - Learning Calibrated Uncertainties for Domain Shift: A Distributionally
Robust Learning Approach [150.8920602230832]
ドメインシフトの下で校正された不確実性を学習するためのフレームワークを提案する。
特に、密度比推定は、ターゲット(テスト)サンプルの近さをソース(トレーニング)分布に反映する。
提案手法は下流タスクに有利な校正不確実性を生成する。
論文 参考訳(メタデータ) (2020-10-08T02:10:54Z) - Learning Diverse Representations for Fast Adaptation to Distribution
Shift [78.83747601814669]
本稿では,複数のモデルを学習する手法を提案する。
分散シフトへの迅速な適応を促進するフレームワークの能力を実証する。
論文 参考訳(メタデータ) (2020-06-12T12:23:50Z) - Robustified Multivariate Regression and Classification Using
Distributionally Robust Optimization under the Wasserstein Metric [11.383869751239166]
我々は多変量線形回帰(MLR)と多クラスロジスティック回帰(MLG)のための分布ロバスト最適化(DRO)の定式化を開発する。
我々は DRO の定式化を、正則化が係数行列のノルムである正規化学習問題に緩和する。
実験の結果, MLRは37%, MLGは100%, 予測誤差は37%改善した。
論文 参考訳(メタデータ) (2020-06-10T22:16:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。