Fugu-MT 論文翻訳(概要): DeltaGrad: Rapid retraining of machine learning models

論文の概要: DeltaGrad: Rapid retraining of machine learning models

arxiv url: http://arxiv.org/abs/2006.14755v2
Date: Tue, 30 Jun 2020 21:18:21 GMT
ステータス: 処理完了
システム内更新日: 2022-11-16 20:55:36.195138
Title: DeltaGrad: Rapid retraining of machine learning models
Title（参考訳）: DeltaGrad: 機械学習モデルの迅速な再トレーニング
Authors: Yinjun Wu, Edgar Dobriban, Susan B. Davidson
Abstract要約: 本稿では,学習期間中にキャッシュされた情報に基づいて,機械学習モデルを高速に再学習するためのDeltaGradアルゴリズムを提案する。 DeltaGradの有効性に関する理論的および実証的な支援を共に提供し,その効果が技術状況と良好に比較できることを示す。
参考スコア（独自算出の注目度）: 26.545150441717293
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Machine learning models are not static and may need to be retrained on slightly changed datasets, for instance, with the addition or deletion of a set of data points. This has many applications, including privacy, robustness, bias reduction, and uncertainty quantifcation. However, it is expensive to retrain models from scratch. To address this problem, we propose the DeltaGrad algorithm for rapid retraining machine learning models based on information cached during the training phase. We provide both theoretical and empirical support for the effectiveness of DeltaGrad, and show that it compares favorably to the state of the art.
Abstract（参考訳）: 機械学習モデルは静的ではなく、データポイントのセットの追加や削除などによって、わずかに変更されたデータセットで再トレーニングする必要がある。これには、プライバシー、堅牢性、バイアス低減、不確実性定量化など、多くのアプリケーションがある。しかし、スクラッチからモデルを再訓練するのは高価である。そこで本研究では,学習期間中にキャッシュされた情報に基づいて,機械学習モデルを高速化するDeltaGradアルゴリズムを提案する。 DeltaGradの有効性に関する理論的および実証的な支援を共に提供し,その効果が技術状況と良好に比較できることを示す。

関連論文リスト

Learn to Unlearn for Deep Neural Networks: Minimizing Unlearning Interference with Gradient Projection [56.292071534857946]
最近のデータプライバシ法は、機械学習への関心を喚起している。課題は、残りのデータセットに関する知識を変更することなく、忘れたデータに関する情報を捨てることである。我々は、プロジェクテッド・グラディエント・アンラーニング(PGU)という、プロジェクテッド・グラディエント・ベースの学習手法を採用する。トレーニングデータセットがもはやアクセスできない場合でも、スクラッチからスクラッチで再トレーニングされたモデルと同じような振る舞いをするモデルを、我々のアンラーニング手法が生成できることを実証するための実証的な証拠を提供する。
論文参考訳（メタデータ） (2023-12-07T07:17:24Z)
Zero-shot Retrieval: Augmenting Pre-trained Models with Search Engines [83.65380507372483]
大規模で事前訓練されたモデルは、問題を解決するのに必要なタスク固有のデータの量を劇的に削減するが、多くの場合、ドメイン固有のニュアンスを箱から取り出すのに失敗する。本稿では,NLPとマルチモーダル学習の最近の進歩を活用して,検索エンジン検索による事前学習モデルを強化する方法について述べる。
論文参考訳（メタデータ） (2023-11-29T05:33:28Z)
Progressive reduced order modeling: empowering data-driven modeling with selective knowledge transfer [0.0]
本稿では,データ・ラーメンの最小化とデータ・ドリブン・モデリングの実践性の向上を図った,段階的縮小順序モデリングフレームワークを提案する。提案手法は,未使用情報を無視しながら,人間が有意義な知識を選択的に活用する方法と同様,事前訓練されたモデルからの知識をゲートを通じて選択的に伝達する。我々は、多孔質媒体の輸送、重力駆動流れ、超弾性材料における有限変形など、いくつかのケースで我々の枠組みを検証した。
論文参考訳（メタデータ） (2023-10-04T23:50:14Z)
Machine Unlearning Methodology base on Stochastic Teacher Network [33.763901254862766]
「忘れられる権利」は、データ所有者に、モデルトレーニングに使用したデータを積極的に取り出す権利を与える。既存の機械学習手法は、ディープラーニングモデルから知識を素早く取り除くのに効果がないことが判明した。本稿では,ネットワークを教師として利用して,忘れられたデータによる影響の軽減を図ることを提案する。
論文参考訳（メタデータ） (2023-08-28T06:05:23Z)
Fast Machine Unlearning Without Retraining Through Selective Synaptic Dampening [51.34904967046097]
Selective Synaptic Dampening (SSD)は高速で、訓練データの長期保存を必要としない。高速で性能が高く,トレーニングデータの長期保存を必要としない,新しい2段階のポストホック,リトレーニングフリーなマシンアンラーニング手法を提案する。
論文参考訳（メタデータ） (2023-08-15T11:30:45Z)
BOOT: Data-free Distillation of Denoising Diffusion Models with Bootstrapping [64.54271680071373]
拡散モデルは多様な画像を生成する優れた可能性を示している。知識蒸留は、推論ステップの数を1つか数に減らすための治療法として最近提案されている。本稿では,効率的なデータフリー蒸留アルゴリズムにより限界を克服するBOOTと呼ばれる新しい手法を提案する。
論文参考訳（メタデータ） (2023-06-08T20:30:55Z)
Machine Unlearning of Features and Labels [72.81914952849334]
機械学習モデルにおけるアンラーニングとラベルのファーストシナリオを提案する。提案手法は,影響関数の概念に基づいて,モデルパラメータのクローズドフォーム更新によるアンラーニングを実現する。
論文参考訳（メタデータ） (2021-08-26T04:42:24Z)
Learning to Reweight with Deep Interactions [104.68509759134878]
本稿では,教師モデルに内部状態を提供する改良型データ再重み付けアルゴリズムを提案する。クリーン/ノイズラベルとニューラルマシン翻訳を用いた画像分類実験は、我々のアルゴリズムが従来の手法よりも大幅に改善されていることを実証的に実証した。
論文参考訳（メタデータ） (2020-07-09T09:06:31Z)
An Efficient Method of Training Small Models for Regression Problems with Knowledge Distillation [1.433758865948252]
回帰問題に対する知識蒸留の新しい定式化を提案する。まず,教師モデル予測を用いて,教師モデルを用いた学習サンプルの退学率を下げる新たな損失関数,教師の退学率の減少を提案する。マルチタスクネットワークを考えることで、学生モデルの特徴抽出の訓練がより効果的になる。
論文参考訳（メタデータ） (2020-02-28T08:46:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。