論文の概要: Distributionally Robust Multiclass Classification and Applications in Deep CNN Image Classifiers

• arxiv url: http://arxiv.org/abs/2109.12772v1
• Date: Mon, 27 Sep 2021 02:58:19 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-28 15:52:01.857389
• Title: Distributionally Robust Multiclass Classification and Applications in Deep CNN Image Classifiers
• Title（参考訳）: 分布ロバストなマルチクラス分類と深部CNN画像分類への応用
• Authors: Ruidi Chen, Boran Hao, Ioannis Paschalidis
• Abstract要約: マルチクラスロジスティック回帰(MLR)のための分布ロバスト最適化(DRO)の定式化を開発する。 経験的リスク最小化(ERM)と比較して,誤差率を最大49.49%,損失を最大68.93%向上させることができることを示す。 また,トレーニングセット内の摂動画像の少ない場合には,経験的リスク最小化と比較して49.49%の誤差率,最大68.93%の損失率を向上できることを示した。
• 参考スコア（独自算出の注目度）: 4.361526134899725
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We develop a Distributionally Robust Optimization (DRO) formulation for Multiclass Logistic Regression (MLR), which could tolerate data contaminated by outliers. The DRO framework uses a probabilistic ambiguity set defined as a ball of distributions that are close to the empirical distribution of the training set in the sense of the Wasserstein metric. We relax the DRO formulation into a regularized learning problem whose regularizer is a norm of the coefficient matrix. We establish out-of-sample performance guarantees for the solutions to our model, offering insights on the role of the regularizer in controlling the prediction error. We apply the proposed method in rendering deep CNN-based image classifiers robust to random and adversarial attacks. Specifically, using the MNIST and CIFAR-10 datasets, we demonstrate reductions in test error rate by up to 78.8% and loss by up to 90.8%. We also show that with a limited number of perturbed images in the training set, our method can improve the error rate by up to 49.49% and the loss by up to 68.93% compared to Empirical Risk Minimization (ERM), converging faster to an ideal loss/error rate as the number of perturbed images increases.
• Abstract（参考訳）: 分散ロバスト最適化 (DRO) によるマルチクラスロジスティック回帰 (MLR) の定式化を行い, 異常値によるデータの汚染を許容する。 DROフレームワークは、ワッサーシュタイン計量の意味でのトレーニングセットの経験的分布に近い分布の球として定義される確率的曖昧性集合を使用する。 我々は DRO の定式化を、正則化が係数行列のノルムである正規化学習問題に緩和する。 予測誤差の制御における正則化器の役割についての洞察を提供するとともに,本モデルに対する解の正当性を保証する。 提案手法は,CNNに基づく画像分類器をランダムおよび逆攻撃に対して頑健にレンダリングする。 具体的には、MNISTとCIFAR-10データセットを使用して、テストエラー率を78.8%、損失を90.8%削減することを示した。 また,トレーニングセット内の摂動画像の限られた数で,経験的リスク最小化(ERM)と比較して最大49.49%の誤差率,最大68.93%の損失率を向上し,摂動画像の増加とともに理想的な損失/エラー率に収束することを示す。

関連論文リスト

• Fairness in Survival Analysis with Distributionally Robust Optimization [13.159777131162965]
  本稿では,全てのサブ集団における最悪のエラーを最小限に抑えるため,生存分析モデルにおける公平性向上のための一般的なアプローチを提案する。 このアプローチは、既存の生存分析モデルの多くを、公平性を同時に促進するモデルに変換するために使用することができる。
  論文  参考訳（メタデータ） (2024-08-31T15:03:20Z)
• Rejection via Learning Density Ratios [50.91522897152437]
  拒絶による分類は、モデルを予測しないことを許容する学習パラダイムとして現れます。 そこで我々は,事前学習したモデルの性能を最大化する理想的なデータ分布を求める。 私たちのフレームワークは、クリーンでノイズの多いデータセットで実証的にテストされます。
  論文  参考訳（メタデータ） (2024-05-29T01:32:17Z)
• Collaborative Heterogeneous Causal Inference Beyond Meta-analysis [68.4474531911361]
  異種データを用いた因果推論のための協調的逆確率スコア推定器を提案する。 異質性の増加に伴うメタアナリシスに基づく手法に対して,本手法は有意な改善を示した。
  論文  参考訳（メタデータ） (2024-04-24T09:04:36Z)
• DRAUC: An Instance-wise Distributionally Robust AUC Optimization Framework [133.26230331320963]
  ROC曲線のエリア(AUC)は、長い尾の分類のシナリオにおいて広く用いられている指標である。 本研究では,分散ロバストAUC(DRAUC)のインスタンスワイドサロゲート損失を提案し,その上に最適化フレームワークを構築した。
  論文  参考訳（メタデータ） (2023-11-06T12:15:57Z)
• Learning Against Distributional Uncertainty: On the Trade-off Between Robustness and Specificity [24.874664446700272]
  本稿では,3つのアプローチを統一し,上記の2つの課題に対処する新たな枠組みについて検討する。 提案したモデルのモンテカルロ法に基づく解法(例えば、一貫性と正規性)、非漸近性(例えば、非バイアス性や誤差境界)について検討した。
  論文  参考訳（メタデータ） (2023-01-31T11:33:18Z)
• Distributionally Robust Multiclass Classification and Applications in Deep Image Classifiers [9.979945269265627]
  マルチクラスロジスティック回帰(MLR)のための分布ロバスト最適化(DRO)の定式化を開発する。 本研究では,新しいランダムトレーニング手法を採用することにより,試験誤差率を最大83.5%,損失を最大91.3%削減することを示した。
  論文  参考訳（メタデータ） (2022-10-15T05:09:28Z)
• Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
  3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。 パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
  論文  参考訳（メタデータ） (2022-04-13T12:43:12Z)
• Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
  実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。 本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。 本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
  論文  参考訳（メタデータ） (2022-01-11T23:01:12Z)
• Learning Calibrated Uncertainties for Domain Shift: A Distributionally Robust Learning Approach [150.8920602230832]
  ドメインシフトの下で校正された不確実性を学習するためのフレームワークを提案する。 特に、密度比推定は、ターゲット(テスト)サンプルの近さをソース(トレーニング)分布に反映する。 提案手法は下流タスクに有利な校正不確実性を生成する。
  論文  参考訳（メタデータ） (2020-10-08T02:10:54Z)
• Robustified Multivariate Regression and Classification Using Distributionally Robust Optimization under the Wasserstein Metric [11.383869751239166]
  我々は多変量線形回帰(MLR)と多クラスロジスティック回帰(MLG)のための分布ロバスト最適化(DRO)の定式化を開発する。 我々は DRO の定式化を、正則化が係数行列のノルムである正規化学習問題に緩和する。 実験の結果, MLRは37%, MLGは100%, 予測誤差は37%改善した。
  論文  参考訳（メタデータ） (2020-06-10T22:16:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。