論文の概要: Distributionally Robust Learning with Stable Adversarial Training

• arxiv url: http://arxiv.org/abs/2106.15791v1
• Date: Wed, 30 Jun 2021 03:05:45 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-01 15:26:21.564281
• Title: Distributionally Robust Learning with Stable Adversarial Training
• Title（参考訳）: 安定学習によるロバスト分布学習
• Authors: Jiashuo Liu, Zheyan Shen, Peng Cui, Linjun Zhou, Kun Kuang, Bo Li
• Abstract要約: 経験的リスク最小化を伴う機械学習アルゴリズムは、分散シフトの下で脆弱である。 そこで本稿では,異種データソースを活用して,より実用的な不確実性セットを構築する,SAL(Stable Adversarial Learning)アルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 34.74504615726101
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Machine learning algorithms with empirical risk minimization are vulnerable under distributional shifts due to the greedy adoption of all the correlations found in training data. There is an emerging literature on tackling this problem by minimizing the worst-case risk over an uncertainty set. However, existing methods mostly construct ambiguity sets by treating all variables equally regardless of the stability of their correlations with the target, resulting in the overwhelmingly-large uncertainty set and low confidence of the learner. In this paper, we propose a novel Stable Adversarial Learning (SAL) algorithm that leverages heterogeneous data sources to construct a more practical uncertainty set and conduct differentiated robustness optimization, where covariates are differentiated according to the stability of their correlations with the target. We theoretically show that our method is tractable for stochastic gradient-based optimization and provide the performance guarantees for our method. Empirical studies on both simulation and real datasets validate the effectiveness of our method in terms of uniformly good performance across unknown distributional shifts.
• Abstract（参考訳）: 経験的リスク最小化を伴う機械学習アルゴリズムは、トレーニングデータに現れるすべての相関関係が厳格に採用されているため、分散シフトの下で脆弱である。 不確実性に対する最悪のリスクを最小限に抑えることで、この問題に対処する文献が浮上している。 しかし、既存の手法では、目標との相関の安定性に関係なく全ての変数を等しく扱うことによって曖昧性集合を構築しており、その結果、圧倒的に大きな不確実性セットと学習者の信頼度が低い。 本稿では,より実用的な不確実性集合を構築するために不均一なデータ源を活用し,目標との相関の安定性に応じて共変数を区別する,新しい安定逆学習(sal)アルゴリズムを提案する。 理論上,本手法は確率的勾配に基づく最適化が可能であり,提案手法の性能保証を提供する。 シミュレーションと実データセットの両方に関する実証的研究は、未知の分布シフトにおける均一な性能の観点から、我々の手法の有効性を検証する。

関連論文リスト

• Uncertainty for Active Learning on Graphs [70.44714133412592]
  不確実性サンプリングは、機械学習モデルのデータ効率を改善することを目的とした、アクティブな学習戦略である。 予測の不確実性を超えた不確実性サンプリングをベンチマークし、他のアクティブラーニング戦略に対する大きなパフォーマンスギャップを強調します。 提案手法は,データ生成プロセスの観点から基幹的ベイズ不確実性推定法を開発し,不確実性サンプリングを最適クエリへ導く上での有効性を実証する。
  論文  参考訳（メタデータ） (2024-05-02T16:50:47Z)
• The Risk of Federated Learning to Skew Fine-Tuning Features and Underperform Out-of-Distribution Robustness [50.52507648690234]
  フェデレートされた学習は、微調整された特徴をスキイングし、モデルの堅牢性を損なうリスクがある。 3つのロバスト性指標を導入し、多様なロバストデータセットで実験を行う。 提案手法は,パラメータ効率のよい微調整手法を含む多種多様なシナリオにまたがるロバスト性を著しく向上させる。
  論文  参考訳（メタデータ） (2024-01-25T09:18:51Z)
• Towards stable real-world equation discovery with assessing differentiating quality influence [52.2980614912553]
  一般的に用いられる有限差分法に代わる方法を提案する。 我々は,これらの手法を実問題と類似した問題に適用可能であること,および方程式発見アルゴリズムの収束性を確保する能力の観点から評価する。
  論文  参考訳（メタデータ） (2023-11-09T23:32:06Z)
• Binary Classification with Confidence Difference [100.08818204756093]
  本稿では,信頼性差分法 (ConfDiff) という,弱教師付き二項分類問題について考察する。 本稿では,この問題に対処するためのリスク一貫性のあるアプローチを提案し,推定誤差が最適収束率と一致することを示す。 また,整合性や収束率も証明されたオーバーフィッティング問題を緩和するためのリスク補正手法も導入する。
  論文  参考訳（メタデータ） (2023-10-09T11:44:50Z)
• Distributed Distributionally Robust Optimization with Non-Convex Objectives [24.64654924173679]
  Asynchronous Single-looP alternatIve gRadient projEction という非同期分散アルゴリズムを提案する。 新しい不確実性集合、すなわち制約付きD-ノルムの不確実性集合は、以前の分布を利用し、強靭性の度合いを柔軟に制御するために開発される。 実世界のデータセットに関する実証研究は、提案手法が高速収束を達成できるだけでなく、悪意のある攻撃だけでなく、データに対する堅牢性も維持できることを示した。
  論文  参考訳（メタデータ） (2022-10-14T07:39:13Z)
• Distributionally Robust Learning in Heterogeneous Contexts [29.60681287631439]
  異なる文脈で得られたトレーニングデータから学習する問題を検討し、テストデータは分布シフトの影響を受けます。 我々は,超過リスクに着目した分散ロバストな手法を開発し,従来の超保守的ミニマックスアプローチよりもパフォーマンスとロバスト性のトレードオフをより適切なものにする。
  論文  参考訳（メタデータ） (2021-05-18T14:00:34Z)
• Learning while Respecting Privacy and Robustness to Distributional Uncertainties and Adversarial Data [66.78671826743884]
  分散ロバストな最適化フレームワークはパラメトリックモデルのトレーニングのために検討されている。 目的は、逆操作された入力データに対して頑健なトレーニングモデルを提供することである。 提案されたアルゴリズムは、オーバーヘッドがほとんどない堅牢性を提供する。
  論文  参考訳（メタデータ） (2020-07-07T18:25:25Z)
• A Stochastic Subgradient Method for Distributionally Robust Non-Convex Learning [2.007262412327553]
  堅牢性は、基礎となるデータ分布の不確実性に関するものです。 本手法は摂動条件を満たすことに収束することを示す。 また、実際のデータセット上でのアルゴリズムの性能についても解説する。
  論文  参考訳（メタデータ） (2020-06-08T18:52:40Z)
• Stable Adversarial Learning under Distributional Shifts [46.98655899839784]
  経験的リスク最小化を伴う機械学習アルゴリズムは、分散シフトの下で脆弱である。 本研究では、異種データソースを活用してより実用的な不確実性セットを構築する安定適応学習(SAL)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-06-08T08:42:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。