論文の概要: Machine Unlearning via Algorithmic Stability

• arxiv url: http://arxiv.org/abs/2102.13179v1
• Date: Thu, 25 Feb 2021 21:16:56 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-02 00:48:43.869283
• Title: Machine Unlearning via Algorithmic Stability
• Title（参考訳）: アルゴリズム安定性によるマシンアンラーニング
• Authors: Enayat Ullah, Tung Mai, Anup Rao, Ryan Rossi, Raman Arora
• Abstract要約: 我々はマシンアンラーニングの問題を研究し、総変動(TV)安定性の概念を特定します。 凸リスク最小化問題に対して、ノイズグラディエントDescent(SGD)に基づくTV安定アルゴリズムを設計する。 我々のアルゴリズムを一般化する手法も微分プライベートである。
• 参考スコア（独自算出の注目度）: 31.809738694273623
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study the problem of machine unlearning and identify a notion of algorithmic stability, Total Variation (TV) stability, which we argue, is suitable for the goal of exact unlearning. For convex risk minimization problems, we design TV-stable algorithms based on noisy Stochastic Gradient Descent (SGD). Our key contribution is the design of corresponding efficient unlearning algorithms, which are based on constructing a (maximal) coupling of Markov chains for the noisy SGD procedure. To understand the trade-offs between accuracy and unlearning efficiency, we give upper and lower bounds on excess empirical and populations risk of TV stable algorithms for convex risk minimization. Our techniques generalize to arbitrary non-convex functions, and our algorithms are differentially private as well.
• Abstract（参考訳）: 本研究では,機械学習の課題を調査し,アルゴリズム的安定性,総変動(tv)安定性の概念を同定する。 凸リスク最小化問題に対して,ノイズ確率勾配降下(sgd)に基づくtv安定アルゴリズムを設計する。 我々の重要な貢献は、ノイズの多いSGDプロシージャのためのマルコフ連鎖の(最大)結合を構築することに基づく、対応する効率的な非学習アルゴリズムの設計である。 精度と学習効率のトレードオフを理解するため,テレビ安定アルゴリズムの過剰な経験的・集団的リスクを,凸リスク最小化のために上層と下層に与える。 我々の手法は任意の非凸関数に一般化し、アルゴリズムも微分プライベートである。

関連論文リスト

• Stability and Generalization of the Decentralized Stochastic Gradient Descent Ascent Algorithm [80.94861441583275]
  本稿では,分散勾配勾配(D-SGDA)アルゴリズムの一般化境界の複雑さについて検討する。 本研究は,D-SGDAの一般化における各因子の影響を解析した。 また、最適凸凹設定を得るために一般化とバランスをとる。
  論文  参考訳（メタデータ） (2023-10-31T11:27:01Z)
• Stability and Generalization of Stochastic Compositional Gradient Descent Algorithms [61.59448949684493]
  学習例から構築した合成降下アルゴリズムの安定性と一般化解析について述べる。 SCGD と SCSC という2つの一般的な合成勾配勾配勾配アルゴリズムの均一安定性について検討した。 SCGD と SCSC の非依存的過剰リスク境界は,安定性結果と最適化誤差をトレードオフすることによって導出する。
  論文  参考訳（メタデータ） (2023-07-07T02:40:09Z)
• Differentially Private Stochastic Gradient Descent with Low-Noise [49.981789906200035]
  現代の機械学習アルゴリズムは、データからきめ細かい情報を抽出して正確な予測を提供することを目的としており、プライバシー保護の目標と矛盾することが多い。 本稿では、プライバシを保ちながら優れたパフォーマンスを確保するために、プライバシを保存する機械学習アルゴリズムを開発することの実践的および理論的重要性について論じる。
  論文  参考訳（メタデータ） (2022-09-09T08:54:13Z)
• Log Barriers for Safe Black-box Optimization with Application to Safe Reinforcement Learning [72.97229770329214]
  本稿では,学習時の安全性維持が不可欠である高次元非線形最適化問題に対する一般的なアプローチを提案する。 LBSGDと呼ばれるアプローチは、慎重に選択されたステップサイズで対数障壁近似を適用することに基づいている。 安全強化学習における政策課題の違反を最小限に抑えるためのアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2022-07-21T11:14:47Z)
• Projection-free Constrained Stochastic Nonconvex Optimization with State-dependent Markov Data [0.0]
  マルコフ型データを用いた制約付き非マルコフ型ケースチェーン問題に対するプロジェクションフリー勾配型アルゴリズムを提案する。 また,ニューラルネットワークを用いた戦略的分類の問題に対して,アルゴリズムの性能を実証的に示す。
  論文  参考訳（メタデータ） (2022-06-22T19:43:15Z)
• Online Robust Reinforcement Learning with Model Uncertainty [24.892994430374912]
  未知の不確実性集合を推定し、堅牢なQ-ラーニングと堅牢なTDCアルゴリズムを設計するためのサンプルベースアプローチを開発する。 頑健なQ-ラーニングアルゴリズムでは、最適なロバストなQ関数に収束することが証明され、ロバストなTDCアルゴリズムでは、いくつかの定常点に収束することが証明される。 我々のアプローチは、TD、SARSA、その他のGTDアルゴリズムなど、他の多くのアルゴリズムを堅牢化するために容易に拡張できる。
  論文  参考訳（メタデータ） (2021-09-29T16:17:47Z)
• A proximal-proximal majorization-minimization algorithm for nonconvex tuning-free robust regression problems [4.261680642170457]
  非回帰問題に対する PMM (proximal-proximal majorization-minimization) アルゴリズムを提案する。 提案アルゴリズムは既存の最先端アルゴリズムよりも優れている。
  論文  参考訳（メタデータ） (2021-06-25T15:07:13Z)
• Stochastic Hard Thresholding Algorithms for AUC Maximization [49.00683387735522]
  分散分類におけるAUCのためのハードしきい値決定アルゴリズムを開発した。 提案アルゴリズムの有効性と有効性を示す実験を行った。
  論文  参考訳（メタデータ） (2020-11-04T16:49:29Z)
• A Stochastic Subgradient Method for Distributionally Robust Non-Convex Learning [2.007262412327553]
  堅牢性は、基礎となるデータ分布の不確実性に関するものです。 本手法は摂動条件を満たすことに収束することを示す。 また、実際のデータセット上でのアルゴリズムの性能についても解説する。
  論文  参考訳（メタデータ） (2020-06-08T18:52:40Z)
• Robust Reinforcement Learning with Wasserstein Constraint [49.86490922809473]
  最適なロバストなポリシーの存在を示し、摂動に対する感度分析を行い、新しいロバストな学習アルゴリズムを設計する。 提案アルゴリズムの有効性はCart-Pole環境で検証する。
  論文  参考訳（メタデータ） (2020-06-01T13:48:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。