論文の概要: Distributionally and Adversarially Robust Logistic Regression via Intersecting Wasserstein Balls
- arxiv url: http://arxiv.org/abs/2407.13625v1
- Date: Thu, 18 Jul 2024 15:59:37 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-19 14:41:26.074933
- Title: Distributionally and Adversarially Robust Logistic Regression via Intersecting Wasserstein Balls
- Title（参考訳）: 交差するワッサースタインボールによる分布的および逆ロバストなロジスティック回帰
- Authors: Aras Selvi, Eleonora Kreacic, Mohsen Ghassemi, Vamsi Potluru, Tucker Balch, Manuela Veloso,
- Abstract要約: 実証的なリスク最小化は、テストデータにおける敵攻撃に対して堅牢性を提供するのに失敗することが多い。
補助的データセットを利用することで,この問題の保守性を低下させる枠組みを開発する。
本稿では,提案手法が実世界のデータセットのベンチマーク手法より一貫して優れていることを示す。
- 参考スコア（独自算出の注目度）: 8.720733751119994
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Empirical risk minimization often fails to provide robustness against adversarial attacks in test data, causing poor out-of-sample performance. Adversarially robust optimization (ARO) has thus emerged as the de facto standard for obtaining models that hedge against such attacks. However, while these models are robust against adversarial attacks, they tend to suffer severely from overfitting. To address this issue for logistic regression, we study the Wasserstein distributionally robust (DR) counterpart of ARO and show that this problem admits a tractable reformulation. Furthermore, we develop a framework to reduce the conservatism of this problem by utilizing an auxiliary dataset (e.g., synthetic, external, or out-of-domain data), whenever available, with instances independently sampled from a nonidentical but related ground truth. In particular, we intersect the ambiguity set of the DR problem with another Wasserstein ambiguity set that is built using the auxiliary dataset. We analyze the properties of the underlying optimization problem, develop efficient solution algorithms, and demonstrate that the proposed method consistently outperforms benchmark approaches on real-world datasets.
- Abstract（参考訳）: 実証的なリスク最小化は、テストデータにおける敵の攻撃に対して堅牢性を提供することがしばしば失敗し、サンプル外のパフォーマンスが低下する。
そのため、ARO(Adversarially robust optimization)は、このような攻撃に対してヘッジするモデルを得るためのデファクトスタンダードとして登場した。
しかしながら、これらのモデルは敵の攻撃に対して堅牢であるが、過度に適合する傾向にある。
このロジスティック回帰の問題に対処するため、我々はワッサーシュタインのAROの分布安定度(DR)について検討し、この問題がトラクタブルな再構成を許容していることを示す。
さらに,この問題の保存性を低減するための枠組みとして,データセット(例えば,合成データ,外部データ,ドメイン外データなど)を利用可能なときに利用し,非識別的だが関連する真理から独立してサンプル化した。
特に、DR問題の曖昧性集合と補助的データセットを用いて構築された別のワッサーシュタイン曖昧性集合とを交差する。
基礎となる最適化問題の性質を分析し,効率的な解法を開発し,提案手法が実世界のデータセットのベンチマーク手法より一貫して優れていることを示す。
関連論文リスト
- Bridging and Modeling Correlations in Pairwise Data for Direct Preference Optimization [75.1240295759264]
本稿では,BMC という名前のペアデータにおけるブリッジ・アンド・モデリングの効果的なフレームワークを提案する。
目的の修正によって、ペアの選好信号の一貫性と情報性が向上する。
DPOだけではこれらの相関をモデル化し、ニュアンス付き変動を捉えるには不十分である。
論文 参考訳（メタデータ） (2024-08-14T11:29:47Z) - Distributionally Robust Optimization as a Scalable Framework to Characterize Extreme Value Distributions [22.765095010254118]
本研究の目的は分散ロバストな最適化 (DRO) 推定器の開発であり、特に多次元極値理論 (EVT) の統計量についてである。
点過程の空間における半パラメトリックな最大安定制約によって予測されるDRO推定器について検討した。
両手法は, 合成データを用いて検証し, 所定の特性を回復し, 提案手法の有効性を検証する。
論文 参考訳（メタデータ） (2024-07-31T19:45:27Z) - DRAUC: An Instance-wise Distributionally Robust AUC Optimization
Framework [133.26230331320963]
ROC曲線のエリア(AUC)は、長い尾の分類のシナリオにおいて広く用いられている指標である。
本研究では,分散ロバストAUC(DRAUC)のインスタンスワイドサロゲート損失を提案し,その上に最適化フレームワークを構築した。
論文 参考訳（メタデータ） (2023-11-06T12:15:57Z) - Federated Distributionally Robust Optimization with Non-Convex
Objectives: Algorithm and Analysis [24.64654924173679]
Asynchronous Single-looP alternatIve gRadient projEction という非同期分散アルゴリズムを提案する。
新しい不確実性集合、すなわち制約付きD-ノルムの不確実性集合は、以前の分布を利用し、強靭性の度合いを柔軟に制御するために開発される。
実世界のデータセットに関する実証研究は、提案手法が高速収束を達成できるだけでなく、悪意のある攻撃だけでなく、データに対する堅牢性も維持できることを示した。
論文 参考訳（メタデータ） (2023-07-25T01:56:57Z) - Distributed Distributionally Robust Optimization with Non-Convex
Objectives [24.64654924173679]
Asynchronous Single-looP alternatIve gRadient projEction という非同期分散アルゴリズムを提案する。
新しい不確実性集合、すなわち制約付きD-ノルムの不確実性集合は、以前の分布を利用し、強靭性の度合いを柔軟に制御するために開発される。
実世界のデータセットに関する実証研究は、提案手法が高速収束を達成できるだけでなく、悪意のある攻撃だけでなく、データに対する堅牢性も維持できることを示した。
論文 参考訳（メタデータ） (2022-10-14T07:39:13Z) - DRFLM: Distributionally Robust Federated Learning with Inter-client
Noise via Local Mixup [58.894901088797376]
連合学習は、生データをリークすることなく、複数の組織のデータを使用してグローバルモデルをトレーニングするための有望なアプローチとして登場した。
上記の2つの課題を同時に解決するための一般的な枠組みを提案する。
我々は、ロバストネス解析、収束解析、一般化能力を含む包括的理論的解析を提供する。
論文 参考訳（メタデータ） (2022-04-16T08:08:29Z) - When AUC meets DRO: Optimizing Partial AUC for Deep Learning with
Non-Convex Convergence Guarantee [51.527543027813344]
単方向および二方向部分AUC(pAUC)の系統的および効率的な勾配法を提案する。
一方通行と一方通行の pAUC に対して,2つのアルゴリズムを提案し,それぞれ2つの定式化を最適化するための収束性を証明した。
論文 参考訳（メタデータ） (2022-03-01T01:59:53Z) - Distributionally Robust Learning [11.916893752969429]
本書は,データの摂動に頑健な包括的統計学習フレームワークを開発する。
各問題に対する引き込み可能なDRO緩和が導出され、境界と正規化の間の接続が確立される。
理論以外にも、数値実験や、合成データと実データを用いたケーススタディも含んでいる。
論文 参考訳（メタデータ） (2021-08-20T04:14:18Z) - Residuals-based distributionally robust optimization with covariate
information [0.0]
我々は、分散ロバスト最適化(DRO)における機械学習予測モデルを統合するデータ駆動アプローチを検討する。
私たちのフレームワークは、さまざまな学習設定やDROあいまいさセットに対応できるという意味で柔軟です。
論文 参考訳（メタデータ） (2020-12-02T11:21:34Z) - Decomposed Adversarial Learned Inference [118.27187231452852]
我々は,DALI(Decomposed Adversarial Learned Inference)という新しいアプローチを提案する。
DALIは、データ空間とコード空間の両方の事前および条件分布を明示的に一致させる。
MNIST, CIFAR-10, CelebAデータセットにおけるDALIの有効性を検証する。
論文 参考訳（メタデータ） (2020-04-21T20:00:35Z) - Distributional Robustness and Regularization in Reinforcement Learning [62.23012916708608]
経験値関数の新しい正規化器を導入し、ワッサーシュタイン分布のロバストな値関数を下限とすることを示す。
強化学習における$textitexternalな不確実性に対処するための実用的なツールとして正規化を使用することを提案する。
論文 参考訳（メタデータ） (2020-03-05T19:56:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。