論文の概要: Learning while Respecting Privacy and Robustness to Distributional
Uncertainties and Adversarial Data
- arxiv url: http://arxiv.org/abs/2007.03724v1
- Date: Tue, 7 Jul 2020 18:25:25 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-12 20:49:11.442039
- Title: Learning while Respecting Privacy and Robustness to Distributional
Uncertainties and Adversarial Data
- Title（参考訳）: プライバシーとロバスト性に配慮した学習 : 分布不確かさと敵対データ
- Authors: Alireza Sadeghi, Gang Wang, Meng Ma, Georgios B. Giannakis
- Abstract要約: 分散ロバストな最適化フレームワークはパラメトリックモデルのトレーニングのために検討されている。
目的は、逆操作された入力データに対して頑健なトレーニングモデルを提供することである。
提案されたアルゴリズムは、オーバーヘッドがほとんどない堅牢性を提供する。
- 参考スコア（独自算出の注目度）: 66.78671826743884
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Data used to train machine learning models can be adversarial--maliciously
constructed by adversaries to fool the model. Challenge also arises by privacy,
confidentiality, or due to legal constraints when data are geographically
gathered and stored across multiple learners, some of which may hold even an
"anonymized" or unreliable dataset. In this context, the distributionally
robust optimization framework is considered for training a parametric model,
both in centralized and federated learning settings. The objective is to endow
the trained model with robustness against adversarially manipulated input data,
or, distributional uncertainties, such as mismatches between training and
testing data distributions, or among datasets stored at different workers. To
this aim, the data distribution is assumed unknown, and lies within a
Wasserstein ball centered around the empirical data distribution. This robust
learning task entails an infinite-dimensional optimization problem, which is
challenging. Leveraging a strong duality result, a surrogate is obtained, for
which three stochastic primal-dual algorithms are developed: i) stochastic
proximal gradient descent with an $\epsilon$-accurate oracle, which invokes an
oracle to solve the convex sub-problems; ii) stochastic proximal gradient
descent-ascent, which approximates the solution of the convex sub-problems via
a single gradient ascent step; and, iii) a distributionally robust federated
learning algorithm, which solves the sub-problems locally at different workers
where data are stored. Compared to the empirical risk minimization and
federated learning methods, the proposed algorithms offer robustness with
little computation overhead. Numerical tests using image datasets showcase the
merits of the proposed algorithms under several existing adversarial attacks
and distributional uncertainties.
- Abstract（参考訳）: 機械学習モデルをトレーニングするために使用されるデータは、敵対者によって構築され、モデルを騙すことができる。
プライバシや機密性,あるいは地理的に収集されたデータが複数の学習者にわたって格納された場合の法的制約などによっても発生する。
この文脈では、分散的に堅牢な最適化フレームワークは、集中学習とフェデレーション学習の両方においてパラメトリックモデルを訓練するために考慮される。
目的は、逆向きに操作された入力データや、トレーニングとデータ分散のテストのミスマッチや、異なるワーカーに格納されたデータセットなど、分散の不確実性に対して堅牢なトレーニングモデルを提供することである。
この目的のために、データ分布が未知であると仮定し、経験的データ分布を中心にしたwasserstein球内に位置する。
この頑健な学習課題には無限次元最適化の問題が伴う。
強い双対性結果を活用することで、3つの確率的原始双対アルゴリズムが開発されるサロゲートが得られる。
一 凸部分問題を解くためにオラクルを呼び出す、$\epsilon$-accurate oracleによる確率的近位勾配降下
二 単一の勾配上昇段階を経て凸部分確率の解を近似する確率的近位勾配降下上昇段階及び
三 データが格納されている異なる労働者において、局所的にサブ問題を解く分布的ロバストな連合学習アルゴリズム
実験的なリスク最小化とフェデレーション学習手法と比較して,提案アルゴリズムは計算オーバーヘッドが少なく,堅牢性を提供する。
画像データセットを用いた数値実験では、いくつかの既存敵攻撃と分布不確実性の下で提案アルゴリズムの利点を示す。
関連論文リスト
- Robust training of implicit generative models for multivariate and heavy-tailed distributions with an invariant statistical loss [0.4249842620609682]
我々は、引用2024トレーニングで導入されたISL(textitinvariant statistics loss)法に基づいて構築する。
重み付きおよび多変量データ分散を扱うように拡張する。
ジェネレーティブ・ジェネレーティブ・モデリングにおけるその性能を評価し、ジェネレーティブ・ディバイサル・ネットワーク(GAN)の事前学習技術としての可能性を探る。
論文 参考訳（メタデータ） (2024-10-29T10:27:50Z) - FedSym: Unleashing the Power of Entropy for Benchmarking the Algorithms
for Federated Learning [1.4656078321003647]
Federated Learning(FL)は、独立した学習者がデータをプライベートに処理する分散機械学習アプローチである。
現在普及しているデータ分割技術について検討し、その主な欠点を可視化する。
エントロピーと対称性を利用して「最も困難」かつ制御可能なデータ分布を構築する手法を提案する。
論文 参考訳（メタデータ） (2023-10-11T18:39:08Z) - Tackling Diverse Minorities in Imbalanced Classification [80.78227787608714]
不均衡データセットは、様々な現実世界のアプリケーションで一般的に見られ、分類器の訓練において重要な課題が提示されている。
マイノリティクラスとマイノリティクラスの両方のデータサンプルを混合することにより、反復的に合成サンプルを生成することを提案する。
提案するフレームワークの有効性を,7つの公開ベンチマークデータセットを用いて広範な実験により実証する。
論文 参考訳（メタデータ） (2023-08-28T18:48:34Z) - Two-Stage Robust and Sparse Distributed Statistical Inference for
Large-Scale Data [18.34490939288318]
本稿では,高次元データやオフレーヤによって汚染される可能性のある大規模データを含む設定において,統計的推論を行うという課題に対処する。
空間性を促進することによって高次元モデルに対処する2段階の分散および頑健な統計的推論手法を提案する。
論文 参考訳（メタデータ） (2022-08-17T11:17:47Z) - DRFLM: Distributionally Robust Federated Learning with Inter-client
Noise via Local Mixup [58.894901088797376]
連合学習は、生データをリークすることなく、複数の組織のデータを使用してグローバルモデルをトレーニングするための有望なアプローチとして登場した。
上記の2つの課題を同時に解決するための一般的な枠組みを提案する。
我々は、ロバストネス解析、収束解析、一般化能力を含む包括的理論的解析を提供する。
論文 参考訳（メタデータ） (2022-04-16T08:08:29Z) - Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。
本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。
本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
論文 参考訳（メタデータ） (2022-01-11T23:01:12Z) - Distributionally Robust Learning with Stable Adversarial Training [34.74504615726101]
経験的リスク最小化を伴う機械学習アルゴリズムは、分散シフトの下で脆弱である。
そこで本稿では,異種データソースを活用して,より実用的な不確実性セットを構築する,SAL(Stable Adversarial Learning)アルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-06-30T03:05:45Z) - Graph Embedding with Data Uncertainty [113.39838145450007]
スペクトルベースのサブスペース学習は、多くの機械学習パイプラインにおいて、一般的なデータ前処理ステップである。
ほとんどの部分空間学習法は、不確実性の高いデータにつながる可能性のある測定の不正確さやアーティファクトを考慮していない。
論文 参考訳（メタデータ） (2020-09-01T15:08:23Z) - Stable Adversarial Learning under Distributional Shifts [46.98655899839784]
経験的リスク最小化を伴う機械学習アルゴリズムは、分散シフトの下で脆弱である。
本研究では、異種データソースを活用してより実用的な不確実性セットを構築する安定適応学習(SAL)アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-06-08T08:42:34Z) - Dynamic Federated Learning [57.14673504239551]
フェデレートラーニング(Federated Learning)は、マルチエージェント環境における集中的なコーディネーション戦略の包括的用語として登場した。
我々は、各イテレーションにおいて、利用可能なエージェントのランダムなサブセットがそのデータに基づいてローカル更新を実行する、フェデレートされた学習モデルを考える。
集約最適化問題に対する真の最小化器上の非定常ランダムウォークモデルの下で、アーキテクチャの性能は、各エージェントにおけるデータ変動率、各エージェントにおけるモデル変動率、アルゴリズムの学習率に逆比例する追跡項の3つの要因によって決定されることを示す。
論文 参考訳（メタデータ） (2020-02-20T15:00:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。