論文の概要: Distributionally and Adversarially Robust Logistic Regression via Intersecting Wasserstein Balls

• arxiv url: http://arxiv.org/abs/2407.13625v1
• Date: Thu, 18 Jul 2024 15:59:37 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-19 14:41:26.074933
• Title: Distributionally and Adversarially Robust Logistic Regression via Intersecting Wasserstein Balls
• Title（参考訳）: 交差するワッサースタインボールによる分布的および逆ロバストなロジスティック回帰
• Authors: Aras Selvi, Eleonora Kreacic, Mohsen Ghassemi, Vamsi Potluru, Tucker Balch, Manuela Veloso,
• Abstract要約: 実証的なリスク最小化は、テストデータにおける敵攻撃に対して堅牢性を提供するのに失敗することが多い。 補助的データセットを利用することで,この問題の保守性を低下させる枠組みを開発する。 本稿では,提案手法が実世界のデータセットのベンチマーク手法より一貫して優れていることを示す。
• 参考スコア（独自算出の注目度）: 8.720733751119994
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Empirical risk minimization often fails to provide robustness against adversarial attacks in test data, causing poor out-of-sample performance. Adversarially robust optimization (ARO) has thus emerged as the de facto standard for obtaining models that hedge against such attacks. However, while these models are robust against adversarial attacks, they tend to suffer severely from overfitting. To address this issue for logistic regression, we study the Wasserstein distributionally robust (DR) counterpart of ARO and show that this problem admits a tractable reformulation. Furthermore, we develop a framework to reduce the conservatism of this problem by utilizing an auxiliary dataset (e.g., synthetic, external, or out-of-domain data), whenever available, with instances independently sampled from a nonidentical but related ground truth. In particular, we intersect the ambiguity set of the DR problem with another Wasserstein ambiguity set that is built using the auxiliary dataset. We analyze the properties of the underlying optimization problem, develop efficient solution algorithms, and demonstrate that the proposed method consistently outperforms benchmark approaches on real-world datasets.
• Abstract（参考訳）: 実証的なリスク最小化は、テストデータにおける敵の攻撃に対して堅牢性を提供することがしばしば失敗し、サンプル外のパフォーマンスが低下する。 そのため、ARO(Adversarially robust optimization)は、このような攻撃に対してヘッジするモデルを得るためのデファクトスタンダードとして登場した。 しかしながら、これらのモデルは敵の攻撃に対して堅牢であるが、過度に適合する傾向にある。 このロジスティック回帰の問題に対処するため、我々はワッサーシュタインのAROの分布安定度(DR)について検討し、この問題がトラクタブルな再構成を許容していることを示す。 さらに,この問題の保存性を低減するための枠組みとして,データセット(例えば,合成データ,外部データ,ドメイン外データなど)を利用可能なときに利用し,非識別的だが関連する真理から独立してサンプル化した。 特に、DR問題の曖昧性集合と補助的データセットを用いて構築された別のワッサーシュタイン曖昧性集合とを交差する。 基礎となる最適化問題の性質を分析し,効率的な解法を開発し,提案手法が実世界のデータセットのベンチマーク手法より一貫して優れていることを示す。

関連論文リスト

• Generalization Bounds of Surrogate Policies for Combinatorial Optimization Problems [61.580419063416734]
  最近の構造化学習手法のストリームは、様々な最適化問題に対する技術の実践的状態を改善している。 鍵となる考え方は、インスタンスを別々に扱うのではなく、インスタンス上の統計分布を利用することだ。 本稿では,最適化を容易にし,一般化誤差を改善するポリシを摂動することでリスクを円滑にする手法について検討する。
  論文  参考訳（メタデータ） (2024-07-24T12:00:30Z)
• Outlier-Robust Wasserstein DRO [19.355450629316486]
  分散ロバスト最適化(DRO)は不確実性の存在下でのデータ駆動型意思決定に有効な手法である。 本稿では、幾何学的(ワッサーシュタイン)摂動と非幾何学的(TV)汚染の両面から意思決定を行うための新しいアウトリアローバストWDROフレームワークを提案する。 我々は、トラクタブル凸の再構成と、外乱問題WDROの効率的な計算を可能にする強力な双対性を証明した。
  論文  参考訳（メタデータ） (2023-11-09T18:32:00Z)
• Federated Distributionally Robust Optimization with Non-Convex Objectives: Algorithm and Analysis [24.64654924173679]
  Asynchronous Single-looP alternatIve gRadient projEction という非同期分散アルゴリズムを提案する。 新しい不確実性集合、すなわち制約付きD-ノルムの不確実性集合は、以前の分布を利用し、強靭性の度合いを柔軟に制御するために開発される。 実世界のデータセットに関する実証研究は、提案手法が高速収束を達成できるだけでなく、悪意のある攻撃だけでなく、データに対する堅牢性も維持できることを示した。
  論文  参考訳（メタデータ） (2023-07-25T01:56:57Z)
• Complexity-Free Generalization via Distributionally Robust Optimization [4.313143197674466]
  分散ロバスト最適化(DRO)から解の一般化境界を得るための代替経路を提案する。 我々の DRO 境界は、あいまいな集合の幾何と真の損失関数との整合性に依存する。 特に、DRO距離計量として最大平均誤差を用いる場合、我々の分析は、我々の知識の最も良いところは、真の損失関数にのみ依存する文献における第一の一般化であることを示している。
  論文  参考訳（メタデータ） (2021-06-21T15:19:52Z)
• Examining and Combating Spurious Features under Distribution Shift [94.31956965507085]
  我々は、最小限の統計量という情報理論の概念を用いて、ロバストで刺激的な表現を定義し、分析する。 入力分布のバイアスしか持たない場合でも、モデルはトレーニングデータから急激な特徴を拾い上げることができることを証明しています。 分析から着想を得た結果,グループDROは,グループ同士の相関関係を直接考慮しない場合に失敗する可能性が示唆された。
  論文  参考訳（メタデータ） (2021-06-14T05:39:09Z)
• Fast Distributionally Robust Learning with Variance Reduced Min-Max Optimization [85.84019017587477]
  分散的ロバストな教師付き学習は、現実世界のアプリケーションのための信頼性の高い機械学習システムを構築するための重要なパラダイムとして登場している。 Wasserstein DRSLを解くための既存のアルゴリズムは、複雑なサブプロブレムを解くか、勾配を利用するのに失敗する。 我々はmin-max最適化のレンズを通してwaserstein drslを再検討し、スケーラブルで効率的に実装可能な超勾配アルゴリズムを導出する。
  論文  参考訳（メタデータ） (2021-04-27T16:56:09Z)
• Unsupervised Robust Domain Adaptation without Source Data [75.85602424699447]
  我々は、利用できないターゲットラベルとソースデータのコンテキストにおけるロバストなドメイン適応の問題について研究する。 4つのベンチマークデータセットでテストされたベースラインに対して10%以上の精度で一貫したパフォーマンス改善を示す。
  論文  参考訳（メタデータ） (2021-03-26T16:42:28Z)
• Residuals-based distributionally robust optimization with covariate information [0.0]
  我々は、分散ロバスト最適化(DRO)における機械学習予測モデルを統合するデータ駆動アプローチを検討する。 私たちのフレームワークは、さまざまな学習設定やDROあいまいさセットに対応できるという意味で柔軟です。
  論文  参考訳（メタデータ） (2020-12-02T11:21:34Z)
• Learning while Respecting Privacy and Robustness to Distributional Uncertainties and Adversarial Data [66.78671826743884]
  分散ロバストな最適化フレームワークはパラメトリックモデルのトレーニングのために検討されている。 目的は、逆操作された入力データに対して頑健なトレーニングモデルを提供することである。 提案されたアルゴリズムは、オーバーヘッドがほとんどない堅牢性を提供する。
  論文  参考訳（メタデータ） (2020-07-07T18:25:25Z)
• Kidney Exchange with Inhomogeneous Edge Existence Uncertainty [33.17472228570093]
  我々は一致したサイクルとチェーンパッキングの問題の最大化を目指しており、そこでは障害の端まで有向グラフ内の構造を識別することを目的としている。 ユナイテッド・フォー・シェアリング(SUNO)のデータに対する我々のアプローチは、SAAベースの手法と同じ重み付けでより良いパフォーマンスを提供する。
  論文  参考訳（メタデータ） (2020-07-07T04:08:39Z)
• Distributional Robustness and Regularization in Reinforcement Learning [62.23012916708608]
  経験値関数の新しい正規化器を導入し、ワッサーシュタイン分布のロバストな値関数を下限とすることを示す。 強化学習における$textitexternalな不確実性に対処するための実用的なツールとして正規化を使用することを提案する。
  論文  参考訳（メタデータ） (2020-03-05T19:56:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。