Fugu-MT 論文翻訳(概要): Faster Machine Unlearning via Natural Gradient Descent

論文の概要: Faster Machine Unlearning via Natural Gradient Descent

arxiv url: http://arxiv.org/abs/2407.08169v1
Date: Thu, 11 Jul 2024 04:19:28 GMT
ステータス: 処理完了
システム内更新日: 2024-07-12 18:58:33.344005
Title: Faster Machine Unlearning via Natural Gradient Descent
Title（参考訳）: 自然なグラディエントDescentによる高速機械学習
Authors: Omri Lev, Ashia Wilson,
Abstract要約: 経験的リスク最小化(Empirical Risk Minimization:ERM)を用いて機械学習モデルからデータを効率的に削除するという課題に対処する。そこで本研究では,Natural Gradient Descent (D)アルゴリズムを応用した新しい手法を提案する。
参考スコア（独自算出の注目度）: 2.3020018305241337
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We address the challenge of efficiently and reliably deleting data from machine learning models trained using Empirical Risk Minimization (ERM), a process known as machine unlearning. To avoid retraining models from scratch, we propose a novel algorithm leveraging Natural Gradient Descent (NGD). Our theoretical framework ensures strong privacy guarantees for convex models, while a practical Min/Max optimization algorithm is developed for non-convex models. Comprehensive evaluations show significant improvements in privacy, computational efficiency, and generalization compared to state-of-the-art methods, advancing both the theoretical and practical aspects of machine unlearning.
Abstract（参考訳）: 経験的リスク最小化(Empirical Risk Minimization:ERM)を用いてトレーニングされた機械学習モデルからデータを効率よく確実に削除するという課題に対処する。そこで本研究では,Natural Gradient Descent (NGD) を利用した新しいアルゴリズムを提案する。我々の理論的枠組みは凸モデルに対して強力なプライバシ保証を保証し,非凸モデルに対して実用的なMin/Max最適化アルゴリズムを開発した。包括的評価は、最先端の手法と比較して、プライバシー、計算効率、一般化の大幅な改善を示し、マシン・アンラーニングの理論的側面と実践的側面の両方を前進させる。

関連論文リスト

PETScML: Second-order solvers for training regression problems in Scientific Machine Learning [0.22499166814992438]
近年、分析のためのデータ駆動ツールとして、科学機械学習の出現を目撃している。我々は、ディープラーニングソフトウェアと従来の機械学習技術とのギャップを埋めるために、Portable and Extensible Toolkit for Scientific計算上に構築されたソフトウェアを紹介します。
論文参考訳（メタデータ） (2024-03-18T18:59:42Z)
Machine Unlearning of Pre-trained Large Language Models [17.40601262379265]
本研究では,大規模言語モデル(LLM)の文脈における「忘れられる権利」の概念について検討する。我々は、事前学習されたモデルに焦点をあてて、機械学習を重要なソリューションとして探求する。
論文参考訳（メタデータ） (2024-02-23T07:43:26Z)
Machine Learning Insides OptVerse AI Solver: Design Principles and Applications [74.67495900436728]
本稿では,Huawei CloudのOpsVerse AIソルバに機械学習(ML)技術を統合するための総合的研究について述べる。本稿では,実世界の多面構造を反映した生成モデルを用いて,複雑なSATインスタンスとMILPインスタンスを生成する手法を紹介する。本稿では,解解器性能を著しく向上させる,最先端パラメータチューニングアルゴリズムの導入について詳述する。
論文参考訳（メタデータ） (2024-01-11T15:02:15Z)
Machine unlearning through fine-grained model parameters perturbation [26.653596302257057]
そこで本研究では,不エクササイズマシンの非学習戦略であるTop-KパラメータとRandom-kパラメータの微粒化を提案する。また,機械学習の有効性を評価する上での課題にも取り組む。
論文参考訳（メタデータ） (2024-01-09T07:14:45Z)
When to Update Your Model: Constrained Model-based Reinforcement Learning [50.74369835934703]
モデルベースRL(MBRL)の非遅延性能保証のための新規で一般的な理論スキームを提案する。続いて導いた境界は、モデルシフトとパフォーマンス改善の関係を明らかにします。さらなる例では、動的に変化する探索からの学習モデルが、最終的なリターンの恩恵をもたらすことが示されている。
論文参考訳（メタデータ） (2022-10-15T17:57:43Z)
Algorithms that Approximate Data Removal: New Results and Limitations [2.6905021039717987]
本研究では,経験的リスク最小化を用いて学習した機械学習モデルからユーザデータを削除することの問題点について検討する。計算とメモリ効率を両立させるオンラインアンラーニングアルゴリズムを開発した。
論文参考訳（メタデータ） (2022-09-25T17:20:33Z)
Making Linear MDPs Practical via Contrastive Representation Learning [101.75885788118131]
マルコフ決定過程(MDP)における次元性の呪いに、低ランク表現を利用することで対処することが一般的である。本稿では,効率的な表現学習を可能にしつつ,正規化を自動的に保証する線形MDPの代替的定義について考察する。いくつかのベンチマークにおいて、既存の最先端モデルベースおよびモデルフリーアルゴリズムよりも優れた性能を示す。
論文参考訳（メタデータ） (2022-07-14T18:18:02Z)
Large Scale Mask Optimization Via Convolutional Fourier Neural Operator and Litho-Guided Self Training [54.16367467777526]
マスクタスクを効率的に学習できる畳み込みニューラルネットワーク(CFCF)を提案する。機械学習ベースのフレームワークが初めて、最先端の数値マスクデータセットを上回った。
論文参考訳（メタデータ） (2022-07-08T16:39:31Z)
MACE: An Efficient Model-Agnostic Framework for Counterfactual Explanation [132.77005365032468]
MACE(Model-Agnostic Counterfactual Explanation)の新たな枠組みを提案する。 MACE法では, 優れた反実例を見つけるための新しいRL法と, 近接性向上のための勾配のない降下法を提案する。公開データセットの実験は、有効性、空間性、近接性を向上して検証する。
論文参考訳（メタデータ） (2022-05-31T04:57:06Z)
Physics-informed linear regression is a competitive approach compared to Machine Learning methods in building MPC [0.8135412538980287]
総じて, ビルのベースラインコントローラと比較して, 暖房・冷却エネルギーの低減効果が良好であることが示唆された。また, 物理インフォームドARMAXモデルは, 計算負担が低く, 機械学習モデルと比較して, サンプル効率が優れていることも確認した。
論文参考訳（メタデータ） (2021-10-29T16:56:05Z)
Information Theoretic Model Predictive Q-Learning [64.74041985237105]
本稿では,情報理論的MPCとエントロピー正規化RLとの新たな理論的関連性を示す。バイアスモデルを利用したQ-ラーニングアルゴリズムを開発した。
論文参考訳（メタデータ） (2019-12-31T00:29:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。