論文の概要: Distributionally and Adversarially Robust Logistic Regression via Intersecting Wasserstein Balls

• arxiv url: http://arxiv.org/abs/2407.13625v1
• Date: Thu, 18 Jul 2024 15:59:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-07-19 14:41:26.074933
• Title: Distributionally and Adversarially Robust Logistic Regression via Intersecting Wasserstein Balls
• Title（参考訳）: 交差するワッサースタインボールによる分布的および逆ロバストなロジスティック回帰
• Authors: Aras Selvi, Eleonora Kreacic, Mohsen Ghassemi, Vamsi Potluru, Tucker Balch, Manuela Veloso,
• Abstract要約: 実証的なリスク最小化は、テストデータにおける敵攻撃に対して堅牢性を提供するのに失敗することが多い。 補助的データセットを利用することで,この問題の保守性を低下させる枠組みを開発する。 本稿では,提案手法が実世界のデータセットのベンチマーク手法より一貫して優れていることを示す。
• 参考スコア（独自算出の注目度）: 8.720733751119994
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Empirical risk minimization often fails to provide robustness against adversarial attacks in test data, causing poor out-of-sample performance. Adversarially robust optimization (ARO) has thus emerged as the de facto standard for obtaining models that hedge against such attacks. However, while these models are robust against adversarial attacks, they tend to suffer severely from overfitting. To address this issue for logistic regression, we study the Wasserstein distributionally robust (DR) counterpart of ARO and show that this problem admits a tractable reformulation. Furthermore, we develop a framework to reduce the conservatism of this problem by utilizing an auxiliary dataset (e.g., synthetic, external, or out-of-domain data), whenever available, with instances independently sampled from a nonidentical but related ground truth. In particular, we intersect the ambiguity set of the DR problem with another Wasserstein ambiguity set that is built using the auxiliary dataset. We analyze the properties of the underlying optimization problem, develop efficient solution algorithms, and demonstrate that the proposed method consistently outperforms benchmark approaches on real-world datasets.
• Abstract（参考訳）: 実証的なリスク最小化は、テストデータにおける敵の攻撃に対して堅牢性を提供することがしばしば失敗し、サンプル外のパフォーマンスが低下する。 そのため、ARO(Adversarially robust optimization)は、このような攻撃に対してヘッジするモデルを得るためのデファクトスタンダードとして登場した。 しかしながら、これらのモデルは敵の攻撃に対して堅牢であるが、過度に適合する傾向にある。 このロジスティック回帰の問題に対処するため、我々はワッサーシュタインのAROの分布安定度(DR)について検討し、この問題がトラクタブルな再構成を許容していることを示す。 さらに,この問題の保存性を低減するための枠組みとして,データセット(例えば,合成データ,外部データ,ドメイン外データなど)を利用可能なときに利用し,非識別的だが関連する真理から独立してサンプル化した。 特に、DR問題の曖昧性集合と補助的データセットを用いて構築された別のワッサーシュタイン曖昧性集合とを交差する。 基礎となる最適化問題の性質を分析し,効率的な解法を開発し,提案手法が実世界のデータセットのベンチマーク手法より一貫して優れていることを示す。

関連論文リスト

• Distributionally Robust Optimization with Adversarial Data Contamination [36.409282287280185]
  凸リプシッツ損失関数を持つ一般化線形モデルに対するワッサーシュタイン-1 DRO 目標の最適化に焦点をあてる。 私たちの主な貢献は、データ汚染のトレーニングに対するロバストネスと分散シフトに対するロバストネスを統合した、新しいモデリングフレームワークです。 この研究は、データ汚染と分散シフトという2つの課題の下で学習するために、効率的な計算によって支援される最初の厳密な保証を確立する。
  論文  参考訳（メタデータ） (2025-07-14T18:34:10Z)
• Bridging and Modeling Correlations in Pairwise Data for Direct Preference Optimization [75.1240295759264]
  本稿では,BMC という名前のペアデータにおけるブリッジ・アンド・モデリングの効果的なフレームワークを提案する。 目的の修正によって、ペアの選好信号の一貫性と情報性が向上する。 DPOだけではこれらの相関をモデル化し、ニュアンス付き変動を捉えるには不十分である。
  論文  参考訳（メタデータ） (2024-08-14T11:29:47Z)
• Distributionally Robust Optimization as a Scalable Framework to Characterize Extreme Value Distributions [22.765095010254118]
  本研究の目的は分散ロバストな最適化 (DRO) 推定器の開発であり、特に多次元極値理論 (EVT) の統計量についてである。 点過程の空間における半パラメトリックな最大安定制約によって予測されるDRO推定器について検討した。 両手法は, 合成データを用いて検証し, 所定の特性を回復し, 提案手法の有効性を検証する。
  論文  参考訳（メタデータ） (2024-07-31T19:45:27Z)
• Amortized Posterior Sampling with Diffusion Prior Distillation [55.03585818289934]
  Amortized Posterior Smplingは、逆問題における効率的な後方サンプリングのための新しい変分推論手法である。 本手法は,拡散モデルにより暗黙的に定義された変動分布と後続分布とのばらつきを最小限に抑えるために条件付き流れモデルを訓練する。 既存の手法とは異なり、我々のアプローチは教師なしであり、ペア化されたトレーニングデータを必要としておらず、ユークリッドと非ユークリッドの両方のドメインに適用できる。
  論文  参考訳（メタデータ） (2024-07-25T09:53:12Z)
• Contextual Optimization under Covariate Shift: A Robust Approach by Intersecting Wasserstein Balls [18.047245099229325]
  We propose a novel approach called Intersection Wasserstein-balls DRO (IW-DRO)。 IW-DROは分散ロバストな最適化フレームワークに複数の推定手法を統合する。 IW-DROは単一のWarsserstein-ball DROモデルと比較して優れた性能を示す。
  論文  参考訳（メタデータ） (2024-06-04T15:46:41Z)
• Data-Driven DRO and Economic Decision Theory: An Analytical Synthesis With Bayesian Nonparametric Advancements [35.53901341372684]
  我々は、データ駆動型分散ロバスト最適化(DRO)と経済決定理論を両立させる分析合成を開発する。 標準正規化とDROをあいまいさと逆決定モデルのデータ駆動型として再解釈することにより、本質的な関係を明らかにする統一的なフレームワークを提供する。
  論文  参考訳（メタデータ） (2024-05-21T19:03:09Z)
• DRAUC: An Instance-wise Distributionally Robust AUC Optimization Framework [133.26230331320963]
  ROC曲線のエリア(AUC)は、長い尾の分類のシナリオにおいて広く用いられている指標である。 本研究では,分散ロバストAUC(DRAUC)のインスタンスワイドサロゲート損失を提案し,その上に最適化フレームワークを構築した。
  論文  参考訳（メタデータ） (2023-11-06T12:15:57Z)
• Federated Distributionally Robust Optimization with Non-Convex Objectives: Algorithm and Analysis [24.64654924173679]
  Asynchronous Single-looP alternatIve gRadient projEction という非同期分散アルゴリズムを提案する。 新しい不確実性集合、すなわち制約付きD-ノルムの不確実性集合は、以前の分布を利用し、強靭性の度合いを柔軟に制御するために開発される。 実世界のデータセットに関する実証研究は、提案手法が高速収束を達成できるだけでなく、悪意のある攻撃だけでなく、データに対する堅牢性も維持できることを示した。
  論文  参考訳（メタデータ） (2023-07-25T01:56:57Z)
• Distributed Distributionally Robust Optimization with Non-Convex Objectives [24.64654924173679]
  Asynchronous Single-looP alternatIve gRadient projEction という非同期分散アルゴリズムを提案する。 新しい不確実性集合、すなわち制約付きD-ノルムの不確実性集合は、以前の分布を利用し、強靭性の度合いを柔軟に制御するために開発される。 実世界のデータセットに関する実証研究は、提案手法が高速収束を達成できるだけでなく、悪意のある攻撃だけでなく、データに対する堅牢性も維持できることを示した。
  論文  参考訳（メタデータ） (2022-10-14T07:39:13Z)
• DRFLM: Distributionally Robust Federated Learning with Inter-client Noise via Local Mixup [58.894901088797376]
  連合学習は、生データをリークすることなく、複数の組織のデータを使用してグローバルモデルをトレーニングするための有望なアプローチとして登場した。 上記の2つの課題を同時に解決するための一般的な枠組みを提案する。 我々は、ロバストネス解析、収束解析、一般化能力を含む包括的理論的解析を提供する。
  論文  参考訳（メタデータ） (2022-04-16T08:08:29Z)
• When AUC meets DRO: Optimizing Partial AUC for Deep Learning with Non-Convex Convergence Guarantee [51.527543027813344]
  単方向および二方向部分AUC(pAUC)の系統的および効率的な勾配法を提案する。 一方通行と一方通行の pAUC に対して,2つのアルゴリズムを提案し,それぞれ2つの定式化を最適化するための収束性を証明した。
  論文  参考訳（メタデータ） (2022-03-01T01:59:53Z)
• Distributionally Robust Learning [11.916893752969429]
  本書は,データの摂動に頑健な包括的統計学習フレームワークを開発する。 各問題に対する引き込み可能なDRO緩和が導出され、境界と正規化の間の接続が確立される。 理論以外にも、数値実験や、合成データと実データを用いたケーススタディも含んでいる。
  論文  参考訳（メタデータ） (2021-08-20T04:14:18Z)
• Examining and Combating Spurious Features under Distribution Shift [94.31956965507085]
  我々は、最小限の統計量という情報理論の概念を用いて、ロバストで刺激的な表現を定義し、分析する。 入力分布のバイアスしか持たない場合でも、モデルはトレーニングデータから急激な特徴を拾い上げることができることを証明しています。 分析から着想を得た結果,グループDROは,グループ同士の相関関係を直接考慮しない場合に失敗する可能性が示唆された。
  論文  参考訳（メタデータ） (2021-06-14T05:39:09Z)
• Residuals-based distributionally robust optimization with covariate information [0.0]
  我々は、分散ロバスト最適化(DRO)における機械学習予測モデルを統合するデータ駆動アプローチを検討する。 私たちのフレームワークは、さまざまな学習設定やDROあいまいさセットに対応できるという意味で柔軟です。
  論文  参考訳（メタデータ） (2020-12-02T11:21:34Z)
• Learning while Respecting Privacy and Robustness to Distributional Uncertainties and Adversarial Data [66.78671826743884]
  分散ロバストな最適化フレームワークはパラメトリックモデルのトレーニングのために検討されている。 目的は、逆操作された入力データに対して頑健なトレーニングモデルを提供することである。 提案されたアルゴリズムは、オーバーヘッドがほとんどない堅牢性を提供する。
  論文  参考訳（メタデータ） (2020-07-07T18:25:25Z)
• Decomposed Adversarial Learned Inference [118.27187231452852]
  我々は,DALI(Decomposed Adversarial Learned Inference)という新しいアプローチを提案する。 DALIは、データ空間とコード空間の両方の事前および条件分布を明示的に一致させる。 MNIST, CIFAR-10, CelebAデータセットにおけるDALIの有効性を検証する。
  論文  参考訳（メタデータ） (2020-04-21T20:00:35Z)
• Distributional Robustness and Regularization in Reinforcement Learning [62.23012916708608]
  経験値関数の新しい正規化器を導入し、ワッサーシュタイン分布のロバストな値関数を下限とすることを示す。 強化学習における$textitexternalな不確実性に対処するための実用的なツールとして正規化を使用することを提案する。
  論文  参考訳（メタデータ） (2020-03-05T19:56:23Z)
• Adversarial Distributional Training for Robust Deep Learning [53.300984501078126]
  逆行訓練(AT)は、逆行例によるトレーニングデータを増やすことにより、モデルロバスト性を改善する最も効果的な手法の一つである。 既存のAT手法の多くは、敵の例を作らせるために特定の攻撃を採用しており、他の目に見えない攻撃に対する信頼性の低い堅牢性につながっている。 本稿では,ロバストモデル学習のための新しいフレームワークであるADTを紹介する。
  論文  参考訳（メタデータ） (2020-02-14T12:36:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。