論文の概要: Distributionally and Adversarially Robust Logistic Regression via Intersecting Wasserstein Balls
- arxiv url: http://arxiv.org/abs/2407.13625v3
- Date: Tue, 10 Jun 2025 14:59:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-11 15:11:38.568228
- Title: Distributionally and Adversarially Robust Logistic Regression via Intersecting Wasserstein Balls
- Title（参考訳）: 交差するワッサースタインボールによる分布的および逆ロバストなロジスティック回帰
- Authors: Aras Selvi, Eleonora Kreacic, Mohsen Ghassemi, Vamsi Potluru, Tucker Balch, Manuela Veloso,
- Abstract要約: 提案手法は,提案手法が標準データセットのベンチマーク手法よりも優れていることを示す。
前者からインスピレーションを得て、ロジスティック回帰のためにAROのワッサーシュタイン DR について検討し、トラクタブル凸最適化の修正が認められることを示す。
- 参考スコア（独自算出の注目度）: 8.720733751119994
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Adversarially robust optimization (ARO) has emerged as the *de facto* standard for training models that hedge against adversarial attacks in the test stage. While these models are robust against adversarial attacks, they tend to suffer severely from overfitting. To address this issue, some successful methods replace the empirical distribution in the training stage with alternatives including *(i)* a worst-case distribution residing in an ambiguity set, resulting in a distributionally robust (DR) counterpart of ARO; *(ii)* a mixture of the empirical distribution with a distribution induced by an auxiliary (*e.g.*, synthetic, external, out-of-domain) dataset. Inspired by the former, we study the Wasserstein DR counterpart of ARO for logistic regression and show it admits a tractable convex optimization reformulation. Adopting the latter setting, we revise the DR approach by intersecting its ambiguity set with another ambiguity set built using the auxiliary dataset, which offers a significant improvement whenever the Wasserstein distance between the data generating and auxiliary distributions can be estimated. We study the underlying optimization problem, develop efficient solution algorithms, and demonstrate that the proposed method outperforms benchmark approaches on standard datasets.
- Abstract（参考訳）: Adversarially robust optimization (ARO) は、テスト段階における敵攻撃に対抗するトレーニングモデルの *de facto* 標準として登場した。
これらのモデルは敵の攻撃に対して堅牢であるが、過度に適合する傾向にある。
この問題に対処するため、いくつかの成功したメソッドは、トレーニング段階における経験的分布を*を含む代替手段に置き換えた。
(i)* あいまいな集合に存在する最悪の場合の分布で、ARO の分布的に堅牢な(DR) となる。
(ii)*補助的な(*e g *, 合成, 外部, ドメイン外)データセットによって誘導される分布と経験分布の混合。
前者からインスピレーションを得て、ロジスティック回帰のためにAROのワッサーシュタイン DR について検討し、トラクタブル凸最適化の修正が認められることを示す。
後者の設定を採用すると、データ生成と補助分布の間のワッサーシュタイン距離を推定できる場合、その曖昧性セットを補助データセットを用いて構築した別の曖昧性セットと交差させることでDRアプローチを改訂する。
提案手法は,提案手法が標準データセットのベンチマーク手法よりも優れていることを示す。
関連論文リスト
- Bridging and Modeling Correlations in Pairwise Data for Direct Preference Optimization [75.1240295759264]
本稿では,BMC という名前のペアデータにおけるブリッジ・アンド・モデリングの効果的なフレームワークを提案する。
目的の修正によって、ペアの選好信号の一貫性と情報性が向上する。
DPOだけではこれらの相関をモデル化し、ニュアンス付き変動を捉えるには不十分である。
論文 参考訳（メタデータ） (2024-08-14T11:29:47Z) - Distributionally Robust Optimization as a Scalable Framework to Characterize Extreme Value Distributions [22.765095010254118]
本研究の目的は分散ロバストな最適化 (DRO) 推定器の開発であり、特に多次元極値理論 (EVT) の統計量についてである。
点過程の空間における半パラメトリックな最大安定制約によって予測されるDRO推定器について検討した。
両手法は, 合成データを用いて検証し, 所定の特性を回復し, 提案手法の有効性を検証する。
論文 参考訳（メタデータ） (2024-07-31T19:45:27Z) - Data-Driven DRO and Economic Decision Theory: An Analytical Synthesis With Bayesian Nonparametric Advancements [35.53901341372684]
我々は、データ駆動型分散ロバスト最適化(DRO)と経済決定理論を両立させる分析合成を開発する。
標準正規化とDROをあいまいさと逆決定モデルのデータ駆動型として再解釈することにより、本質的な関係を明らかにする統一的なフレームワークを提供する。
論文 参考訳（メタデータ） (2024-05-21T19:03:09Z) - DRAUC: An Instance-wise Distributionally Robust AUC Optimization
Framework [133.26230331320963]
ROC曲線のエリア(AUC)は、長い尾の分類のシナリオにおいて広く用いられている指標である。
本研究では,分散ロバストAUC(DRAUC)のインスタンスワイドサロゲート損失を提案し,その上に最適化フレームワークを構築した。
論文 参考訳（メタデータ） (2023-11-06T12:15:57Z) - Federated Distributionally Robust Optimization with Non-Convex
Objectives: Algorithm and Analysis [24.64654924173679]
Asynchronous Single-looP alternatIve gRadient projEction という非同期分散アルゴリズムを提案する。
新しい不確実性集合、すなわち制約付きD-ノルムの不確実性集合は、以前の分布を利用し、強靭性の度合いを柔軟に制御するために開発される。
実世界のデータセットに関する実証研究は、提案手法が高速収束を達成できるだけでなく、悪意のある攻撃だけでなく、データに対する堅牢性も維持できることを示した。
論文 参考訳（メタデータ） (2023-07-25T01:56:57Z) - Distributed Distributionally Robust Optimization with Non-Convex
Objectives [24.64654924173679]
Asynchronous Single-looP alternatIve gRadient projEction という非同期分散アルゴリズムを提案する。
新しい不確実性集合、すなわち制約付きD-ノルムの不確実性集合は、以前の分布を利用し、強靭性の度合いを柔軟に制御するために開発される。
実世界のデータセットに関する実証研究は、提案手法が高速収束を達成できるだけでなく、悪意のある攻撃だけでなく、データに対する堅牢性も維持できることを示した。
論文 参考訳（メタデータ） (2022-10-14T07:39:13Z) - DRFLM: Distributionally Robust Federated Learning with Inter-client
Noise via Local Mixup [58.894901088797376]
連合学習は、生データをリークすることなく、複数の組織のデータを使用してグローバルモデルをトレーニングするための有望なアプローチとして登場した。
上記の2つの課題を同時に解決するための一般的な枠組みを提案する。
我々は、ロバストネス解析、収束解析、一般化能力を含む包括的理論的解析を提供する。
論文 参考訳（メタデータ） (2022-04-16T08:08:29Z) - When AUC meets DRO: Optimizing Partial AUC for Deep Learning with
Non-Convex Convergence Guarantee [51.527543027813344]
単方向および二方向部分AUC(pAUC)の系統的および効率的な勾配法を提案する。
一方通行と一方通行の pAUC に対して,2つのアルゴリズムを提案し,それぞれ2つの定式化を最適化するための収束性を証明した。
論文 参考訳（メタデータ） (2022-03-01T01:59:53Z) - Distributionally Robust Learning [11.916893752969429]
本書は,データの摂動に頑健な包括的統計学習フレームワークを開発する。
各問題に対する引き込み可能なDRO緩和が導出され、境界と正規化の間の接続が確立される。
理論以外にも、数値実験や、合成データと実データを用いたケーススタディも含んでいる。
論文 参考訳（メタデータ） (2021-08-20T04:14:18Z) - Residuals-based distributionally robust optimization with covariate
information [0.0]
我々は、分散ロバスト最適化(DRO)における機械学習予測モデルを統合するデータ駆動アプローチを検討する。
私たちのフレームワークは、さまざまな学習設定やDROあいまいさセットに対応できるという意味で柔軟です。
論文 参考訳（メタデータ） (2020-12-02T11:21:34Z) - Decomposed Adversarial Learned Inference [118.27187231452852]
我々は,DALI(Decomposed Adversarial Learned Inference)という新しいアプローチを提案する。
DALIは、データ空間とコード空間の両方の事前および条件分布を明示的に一致させる。
MNIST, CIFAR-10, CelebAデータセットにおけるDALIの有効性を検証する。
論文 参考訳（メタデータ） (2020-04-21T20:00:35Z) - Distributional Robustness and Regularization in Reinforcement Learning [62.23012916708608]
経験値関数の新しい正規化器を導入し、ワッサーシュタイン分布のロバストな値関数を下限とすることを示す。
強化学習における$textitexternalな不確実性に対処するための実用的なツールとして正規化を使用することを提案する。
論文 参考訳（メタデータ） (2020-03-05T19:56:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。