論文の概要: SAFE: Machine Unlearning With Shard Graphs
- arxiv url: http://arxiv.org/abs/2304.13169v2
- Date: Tue, 22 Aug 2023 16:42:25 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-23 14:46:12.142509
- Title: SAFE: Machine Unlearning With Shard Graphs
- Title(参考訳): SAFE: Shard Graphsを使った機械学習
- Authors: Yonatan Dukler, Benjamin Bowman, Alessandro Achille, Aditya Golatkar,
Ashwin Swaminathan, Stefano Soatto
- Abstract要約: 本稿では,大規模モデルを多種多様なデータ集合に適応させる手法であるSynergy Aware Forgetting Ensemble (SAFE)を提案する。
SAFEは軽量なアダプタシステムを使用し、ほとんどの計算を再利用しながらトレーニングすることができる。
これにより、SAFEは現在の最先端の方法よりも小さなシャードの順序でトレーニングすることができる。
- 参考スコア(独自算出の注目度): 100.12621304361288
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present Synergy Aware Forgetting Ensemble (SAFE), a method to adapt large
models on a diverse collection of data while minimizing the expected cost to
remove the influence of training samples from the trained model. This process,
also known as selective forgetting or unlearning, is often conducted by
partitioning a dataset into shards, training fully independent models on each,
then ensembling the resulting models. Increasing the number of shards reduces
the expected cost to forget but at the same time it increases inference cost
and reduces the final accuracy of the model since synergistic information
between samples is lost during the independent model training. Rather than
treating each shard as independent, SAFE introduces the notion of a shard
graph, which allows incorporating limited information from other shards during
training, trading off a modest increase in expected forgetting cost with a
significant increase in accuracy, all while still attaining complete removal of
residual influence after forgetting. SAFE uses a lightweight system of adapters
which can be trained while reusing most of the computations. This allows SAFE
to be trained on shards an order-of-magnitude smaller than current
state-of-the-art methods (thus reducing the forgetting costs) while also
maintaining high accuracy, as we demonstrate empirically on fine-grained
computer vision datasets.
- Abstract(参考訳): 本稿では,学習モデルからトレーニングサンプルの影響を最小化しつつ,さまざまなデータ集合に大規模モデルを適応させる手法であるSynergy Aware Forgetting Ensemble (SAFE)を提案する。
このプロセスは選択的忘れまたはアンラーニングとしても知られ、データセットをシャードに分割し、それぞれに完全に独立したモデルをトレーニングし、結果のモデルをアンセンブルすることで実行されることが多い。
シャード数の増加は、期待されるコストを減少させるが、独立したモデルトレーニング中にサンプル間の相乗的情報が失われるため、推論コストを増加させ、モデルの最終的な精度を低下させる。
個々のシャードを独立したものとして扱うのではなく、SAFEはシャードグラフの概念を導入し、これは訓練中に他のシャードから限られた情報を取り込むことを可能にし、予想される忘れるコストをわずかに増加させ、精度を著しく向上させる。
SAFEは軽量なアダプタシステムを使用し、ほとんどの計算を再利用しながらトレーニングすることができる。
これにより、SAFEは現在の最先端の方法(つまり、忘れることのコストを削減)よりも小さなシャードでトレーニングできると同時に、精密なコンピュータビジョンデータセットで実証的に示すように、高い精度を維持することができる。
関連論文リスト
- Cost-Effective Retraining of Machine Learning Models [2.9461360639852914]
データが時間とともに変化するにつれて、そのパフォーマンスを維持するためには、機械学習(ML)モデルを再トレーニングすることが重要です。
これにより、再トレーニングの頻度が高過ぎると、不要な計算コストが発生し、再トレーニングが不十分になる。
本稿では,MLモデルをいつ再トレーニングするかを自動かつ費用対効果で決定するMLシステムを提案する。
論文 参考訳(メタデータ) (2023-10-06T13:02:29Z) - Fast Machine Unlearning Without Retraining Through Selective Synaptic
Dampening [51.34904967046097]
Selective Synaptic Dampening (SSD)は高速で、訓練データの長期保存を必要としない。
高速で性能が高く,トレーニングデータの長期保存を必要としない,新しい2段階のポストホック,リトレーニングフリーなマシンアンラーニング手法を提案する。
論文 参考訳(メタデータ) (2023-08-15T11:30:45Z) - On minimizing the training set fill distance in machine learning
regression [0.6526824510982802]
本研究では,選択した集合の充填距離を最小化することを目的としたデータ選択手法を提案する。
FPSを用いてトレーニングセットを選択することで、ガウスカーネル回帰アプローチの特定の場合のモデルの安定性を向上させることができることを示す。
論文 参考訳(メタデータ) (2023-07-20T16:18:33Z) - Kaizen: Practical Self-supervised Continual Learning with Continual
Fine-tuning [21.36130180647864]
モデルをスクラッチからトレーニングして、新たに生成されたデータに適応することは、時間がかかり非効率である。
破滅的な忘れを軽減できるトレーニングアーキテクチャを導入します。
Kaizenは、競争力のあるビジョンベンチマークにおいて、以前のSSLモデルを大きく上回っている。
論文 参考訳(メタデータ) (2023-03-30T09:08:57Z) - Sharpness-Aware Training for Free [163.1248341911413]
シャープネスを意識した最小化(SAM)は、損失ランドスケープの幾何学を反映したシャープネス尺度の最小化が一般化誤差を著しく減少させることを示した。
シャープネス・アウェア・トレーニング・フリー(SAF)は、シャープランドスケープをベース上でほぼゼロの計算コストで軽減する。
SAFは、改善された能力で最小限の平らな収束を保証する。
論文 参考訳(メタデータ) (2022-05-27T16:32:43Z) - FairIF: Boosting Fairness in Deep Learning via Influence Functions with
Validation Set Sensitive Attributes [51.02407217197623]
本稿では,FAIRIFという2段階の学習アルゴリズムを提案する。
サンプル重みが計算される再重み付きデータセットの損失を最小限に抑える。
FAIRIFは、様々な種類のバイアスに対して、フェアネスとユーティリティのトレードオフを良くしたモデルが得られることを示す。
論文 参考訳(メタデータ) (2022-01-15T05:14:48Z) - Self-Damaging Contrastive Learning [92.34124578823977]
ラベルのないデータは一般に不均衡であり、長い尾の分布を示す。
本稿では,クラスを知らずに表現学習を自動的にバランスをとるための,自己学習コントラスト学習という原則的枠組みを提案する。
実験の結果,SDCLRは全体としての精度だけでなく,バランス性も著しく向上することがわかった。
論文 参考訳(メタデータ) (2021-06-06T00:04:49Z) - Self-Supervised Pretraining Improves Self-Supervised Pretraining [83.1423204498361]
自己教師付き事前トレーニングには、高価で長い計算と大量のデータが必要で、データ拡張に敏感である。
本稿では,既存の事前学習モデルを用いて事前学習プロセスを初期化することにより,収束時間を短縮し,精度を向上させる階層的事前学習(HPT)について検討する。
HPTが最大80倍速く収束し、タスク全体の精度が向上し、自己監視された事前トレーニングプロセスの堅牢性が、画像増強ポリシーまたは事前トレーニングデータの量の変化に改善されることを示します。
論文 参考訳(メタデータ) (2021-03-23T17:37:51Z) - Balanced Softmax Cross-Entropy for Incremental Learning [6.5423218639215275]
ディープニューラルネットワークは、新しいクラスや新しいタスクで段階的に訓練されると壊滅的な忘れがちです。
近年の手法は破滅的な忘れを緩和するのに有効であることが証明されている。
本稿では,バランスの取れたソフトマックスクロスエントロピー損失の利用を提案し,それとインクリメンタル学習のための離脱法を組み合わせることで,パフォーマンスを向上させることができることを示す。
論文 参考訳(メタデータ) (2021-03-23T13:30:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。