論文の概要: Principled learning method for Wasserstein distributionally robust optimization with local perturbations

• arxiv url: http://arxiv.org/abs/2006.03333v2
• Date: Mon, 22 Jun 2020 16:57:28 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-25 02:49:43.888325
• Title: Principled learning method for Wasserstein distributionally robust optimization with local perturbations
• Title（参考訳）: 局所摂動を用いたワッサーシュタイン分布ロバスト最適化の原理学習法
• Authors: Yongchan Kwon, Wonyoung Kim, Joong-Ho Won, Myunghee Cho Paik
• Abstract要約: ワッサーシュタイン分布論的ロバスト最適化(WDRO)は、実験データ分布近傍の局所的な最悪のリスクを最小限に抑えるモデルを学習しようとする。 本稿では,新しい近似定理に基づく最小化器を提案し,それに対応するリスク一貫性結果を提供する。 提案手法は,ノイズのあるデータセットのベースラインモデルよりも精度が高いことを示す。
• 参考スコア（独自算出の注目度）: 21.611525306059985
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Wasserstein distributionally robust optimization (WDRO) attempts to learn a model that minimizes the local worst-case risk in the vicinity of the empirical data distribution defined by Wasserstein ball. While WDRO has received attention as a promising tool for inference since its introduction, its theoretical understanding has not been fully matured. Gao et al. (2017) proposed a minimizer based on a tractable approximation of the local worst-case risk, but without showing risk consistency. In this paper, we propose a minimizer based on a novel approximation theorem and provide the corresponding risk consistency results. Furthermore, we develop WDRO inference for locally perturbed data that include the Mixup (Zhang et al., 2017) as a special case. We show that our approximation and risk consistency results naturally extend to the cases when data are locally perturbed. Numerical experiments demonstrate robustness of the proposed method using image classification datasets. Our results show that the proposed method achieves significantly higher accuracy than baseline models on noisy datasets.
• Abstract（参考訳）: wasserstein distributionally robust optimization (wdro) は、waserstein ballによって定義された経験的データ分布の近傍で局所的な最悪のケースリスクを最小限に抑えるモデルを学ぶことを試みる。 WDROは導入以来、推論のための有望なツールとして注目されてきたが、理論的な理解は完全には成熟していない。 gao et al. (2017) は局所的最悪のケースリスクの扱いやすい近似に基づく最小化を提案したが、リスク一貫性は示さなかった。 本稿では,新しい近似定理に基づく最小化器を提案し,それに対応するリスク一貫性結果を提供する。 さらに,特別なケースとしてMixup(Zhang et al., 2017)を含む局所摂動データに対するWDRO推論を開発した。 我々の近似とリスク一貫性は、データが局所的に摂動している場合にも自然に拡張されることを示す。 数値実験により,画像分類データセットを用いた提案手法のロバスト性を示す。 提案手法は,ノイズのあるデータセットのベースラインモデルよりも精度が高いことを示す。

関連論文リスト

• Learning from Noisy Labels via Conditional Distributionally Robust Optimization [5.85767711644773]
  クラウドソーシングは、大規模なデータセットをラベル付けするための実用的なソリューションとして現れました。 これは、様々なレベルの専門知識を持つアノテータからのノイズの多いラベルによって、正確なモデルを学習する上で大きな課題となる。
  論文  参考訳（メタデータ） (2024-11-26T05:03:26Z)
• Risk-Sensitive Diffusion: Robustly Optimizing Diffusion Models with Noisy Samples [58.68233326265417]
  非画像データは実際のアプリケーションで広く使われており、ノイズが多い傾向にある。 リスク感受性SDEは、リスクベクトルによってパラメータ化された微分方程式(SDE)の一種である。 我々はガウス雑音分布と非ガウス雑音分布の両方について系統的研究を行う。
  論文  参考訳（メタデータ） (2024-02-03T08:41:51Z)
• The Risk of Federated Learning to Skew Fine-Tuning Features and Underperform Out-of-Distribution Robustness [50.52507648690234]
  フェデレートされた学習は、微調整された特徴をスキイングし、モデルの堅牢性を損なうリスクがある。 3つのロバスト性指標を導入し、多様なロバストデータセットで実験を行う。 提案手法は,パラメータ効率のよい微調整手法を含む多種多様なシナリオにまたがるロバスト性を著しく向上させる。
  論文  参考訳（メタデータ） (2024-01-25T09:18:51Z)
• Distributionally Robust Skeleton Learning of Discrete Bayesian Networks [9.46389554092506]
  我々は、潜在的に破損したデータから一般的な離散ベイズネットワークの正確なスケルトンを学習する問題を考察する。 本稿では,有界ワッサーシュタイン距離(KL)における分布群に対する最も有害なリスクを,経験的分布へのKL分散を最適化することを提案する。 本稿では,提案手法が標準正規化回帰手法と密接に関連していることを示す。
  論文  参考訳（メタデータ） (2023-11-10T15:33:19Z)
• Outlier-Robust Wasserstein DRO [19.355450629316486]
  分散ロバスト最適化(DRO)は不確実性の存在下でのデータ駆動型意思決定に有効な手法である。 本稿では、幾何学的(ワッサーシュタイン)摂動と非幾何学的(TV)汚染の両面から意思決定を行うための新しいアウトリアローバストWDROフレームワークを提案する。 我々は、トラクタブル凸の再構成と、外乱問題WDROの効率的な計算を可能にする強力な双対性を証明した。
  論文  参考訳（メタデータ） (2023-11-09T18:32:00Z)
• Geometry-Calibrated DRO: Combating Over-Pessimism with Free Energy Implications [31.3535638804615]
  機械学習アルゴリズムは、分散シフトの影響を受けやすい平均リスクを最小化する。 分散ロバスト最適化(DRO)は、不確実性セット内の最悪のケースリスクを最適化することでこの問題に対処する。 DROは過ペシミズムに悩まされており、低信頼の予測、パラメータ推定の低さ、一般化の低さにつながっている。 本研究では,過ペシミズムの根本原因を理論的に解析する。
  論文  参考訳（メタデータ） (2023-11-08T23:33:39Z)
• On the Variance, Admissibility, and Stability of Empirical Risk Minimization [80.26309576810844]
  2乗損失を持つ経験的リスク最小化(ERM)は、極小最適誤差率に達する可能性がある。 軽微な仮定では、ERMの準最適性はばらつきよりも大きなバイアスによるものでなければならない。 また、我々の推定は、非ドンスカー類に対するCaponnetto と Rakhlin (2006) の主な結果を補完する ERM の安定性を示唆している。
  論文  参考訳（メタデータ） (2023-05-29T15:25:48Z)
• STEERING: Stein Information Directed Exploration for Model-Based Reinforcement Learning [111.75423966239092]
  遷移モデルの現在の推定値と未知の最適値との間の積分確率距離(IPM)の観点から探索インセンティブを提案する。 KSDに基づく新しいアルゴリズムを開発した。 textbfSTEin information dirtextbfEcted Explor for model-based textbfReinforcement Learntextbfing。
  論文  参考訳（メタデータ） (2023-01-28T00:49:28Z)
• Approximate Regions of Attraction in Learning with Decision-Dependent Distributions [11.304363655760513]
  我々は、繰り返しリスク最小化を、実行リスク最小化の勾配流の軌跡として分析する。 この設定において、様々な平衡に対するアトラクションの領域を特徴付ける条件を提供する。 本稿では、繰り返しリスク最小化の収束に関する幾何学的条件を提供する性能的アライメントの概念を、性能的リスク最小化に導入する。
  論文  参考訳（メタデータ） (2021-06-30T18:38:08Z)
• Risk Minimization from Adaptively Collected Data: Guarantees for Supervised and Policy Learning [57.88785630755165]
  経験的リスク最小化(Empirical Risk Minimization, ERM)は、機械学習のワークホースであるが、適応的に収集されたデータを使用すると、そのモデルに依存しない保証が失敗する可能性がある。 本研究では,仮説クラス上での損失関数の平均値を最小限に抑えるため,適応的に収集したデータを用いた一般的な重み付きERMアルゴリズムについて検討する。 政策学習では、探索がゼロになるたびに既存の文献のオープンギャップを埋める率-最適後悔保証を提供する。
  論文  参考訳（メタデータ） (2021-06-03T09:50:13Z)
• Learning while Respecting Privacy and Robustness to Distributional Uncertainties and Adversarial Data [66.78671826743884]
  分散ロバストな最適化フレームワークはパラメトリックモデルのトレーニングのために検討されている。 目的は、逆操作された入力データに対して頑健なトレーニングモデルを提供することである。 提案されたアルゴリズムは、オーバーヘッドがほとんどない堅牢性を提供する。
  論文  参考訳（メタデータ） (2020-07-07T18:25:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。