論文の概要: LegoNet: A Fast and Exact Unlearning Architecture

• arxiv url: http://arxiv.org/abs/2210.16023v1
• Date: Fri, 28 Oct 2022 09:53:05 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-31 16:41:44.181571
• Title: LegoNet: A Fast and Exact Unlearning Architecture
• Title（参考訳）: LegoNet: 高速で正確な非学習アーキテクチャ
• Authors: Sihao Yu, Fei Sun, Jiafeng Guo, Ruqing Zhang, Xueqi Cheng
• Abstract要約: 機械学習は、トレーニングされたモデルから削除された要求に対する特定のトレーニングサンプルの影響を削除することを目的としている。 固定エンコーダ+複数アダプタのフレームワークを採用した新しいネットワークである textitLegoNet を提案する。 我々は、LegoNetが許容できる性能を維持しつつ、高速かつ正確な未学習を実現し、未学習のベースラインを総合的に上回っていることを示す。
• 参考スコア（独自算出の注目度）: 59.49058450583149
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Machine unlearning aims to erase the impact of specific training samples upon deleted requests from a trained model. Re-training the model on the retained data after deletion is an effective but not efficient way due to the huge number of model parameters and re-training samples. To speed up, a natural way is to reduce such parameters and samples. However, such a strategy typically leads to a loss in model performance, which poses the challenge that increasing the unlearning efficiency while maintaining acceptable performance. In this paper, we present a novel network, namely \textit{LegoNet}, which adopts the framework of ``fixed encoder + multiple adapters''. We fix the encoder~(\ie the backbone for representation learning) of LegoNet to reduce the parameters that need to be re-trained during unlearning. Since the encoder occupies a major part of the model parameters, the unlearning efficiency is significantly improved. However, fixing the encoder empirically leads to a significant performance drop. To compensate for the performance loss, we adopt the ensemble of multiple adapters, which are independent sub-models adopted to infer the prediction by the encoding~(\ie the output of the encoder). Furthermore, we design an activation mechanism for the adapters to further trade off unlearning efficiency against model performance. This mechanism guarantees that each sample can only impact very few adapters, so during unlearning, parameters and samples that need to be re-trained are both reduced. The empirical experiments verify that LegoNet accomplishes fast and exact unlearning while maintaining acceptable performance, synthetically outperforming unlearning baselines.
• Abstract（参考訳）: 機械学習は、トレーニングされたモデルから削除されたリクエストに対する特定のトレーニングサンプルの影響を消すことを目的としている。 削除後の保持データに対するモデルの再学習は、膨大な数のモデルパラメータと再学習サンプルのために効果的だが効率的ではない。 スピードアップには、そのようなパラメータとサンプルを減らすのが自然な方法です。 しかし、そのような戦略は一般にモデル性能の低下につながり、許容できる性能を維持しながら学習効率を向上させることが課題となる。 本稿では, ``fixed encoder + multiple adapters''' というフレームワークを採用した新しいネットワーク,すなわち \textit{LegoNet} を提案する。 我々は、LegoNetのエンコーダ~(表現学習のバックボーン)を修正し、アンラーニング中に再トレーニングが必要なパラメータを減らす。 エンコーダはモデルパラメータの大部分を占めるため、未学習効率は大幅に向上する。 しかし、エンコーダの修正は経験的に大幅なパフォーマンス低下につながる。 性能損失を補うために、エンコーディング~(エンコーダの出力を\ie the output)による予測を推測するために、独立したサブモデルである複数のアダプタのアンサンブルを採用する。 さらに,モデル性能に対する学習効率のさらなるトレードオフを図るために,アダプタのアクティベーション機構を設計する。 このメカニズムにより、各サンプルがアダプタにしか影響しないことが保証されるため、未学習時には、再トレーニングが必要なパラメータとサンプルの両方が削減される。 実証実験では、LegoNetが許容されたパフォーマンスを維持しつつ、高速で正確な未学習を実現し、未学習のベースラインを総合的に上回っていることを確認した。

関連論文リスト

• Attribute-to-Delete: Machine Unlearning via Datamodel Matching [65.13151619119782]
  機械学習 -- 事前訓練された機械学習モデルで、小さな"ターゲットセット"トレーニングデータを効率的に削除する -- は、最近関心を集めている。 最近の研究では、機械学習技術はこのような困難な環境では耐えられないことが示されている。
  論文  参考訳（メタデータ） (2024-10-30T17:20:10Z)
• SINDER: Repairing the Singular Defects of DINOv2 [61.98878352956125]
  大規模なデータセットでトレーニングされたビジョントランスフォーマーモデルは、抽出したパッチトークンにアーティファクトを表示することが多い。 本稿では,小さなデータセットのみを用いて構造欠陥を補正するスムーズなスムーズな正規化を提案する。
  論文  参考訳（メタデータ） (2024-07-23T20:34:23Z)
• Towards Scalable Exact Machine Unlearning Using Parameter-Efficient Fine-Tuning [35.681853074122735]
  S3T(Sequence-aware Sharded Sliced Training)を導入した。 S3Tは、モデルの性能への影響を最小限に抑えつつ、正確な未学習システムの削除能力を高めるように設計されている。 我々は、S3Tが幅広い設定におけるベースラインに比べて優れた削除能力と性能を発揮できることを実証した。
  論文  参考訳（メタデータ） (2024-06-24T01:45:13Z)
• Optimizing Dense Feed-Forward Neural Networks [0.0]
  本稿では,プルーニングと移動学習に基づくフィードフォワードニューラルネットワークの構築手法を提案する。 提案手法では,パラメータ数を70%以上圧縮できる。 また、ニューラルネットワークをスクラッチからトレーニングしたモデルと元のモデルを比較し、トランスファー学習レベルを評価した。
  論文  参考訳（メタデータ） (2023-12-16T23:23:16Z)
• Uncertainty-aware Parameter-Efficient Self-training for Semi-supervised Language Understanding [38.11411155621616]
  我々は,主に半教師あり学習の手法として,自己学習について研究している。 我々は,新しい不確かさを意識した自己学習フレームワークであるUPETを紹介する。 UPETは性能と効率の面で大幅に向上したことを示す。
  論文  参考訳（メタデータ） (2023-10-19T02:18:29Z)
• Analyzing the Performance of Deep Encoder-Decoder Networks as Surrogates for a Diffusion Equation [0.0]
  本研究では,エンコーダ・デコーダ畳み込みニューラルネットワーク(CNN)を定常拡散解法の代用として利用することを検討した。 その結果,トレーニングセットのサイズが大きくなると,性能変動や全体的な誤差の低減に大きく影響することが示唆された。
  論文  参考訳（メタデータ） (2023-02-07T22:53:19Z)
• Machine Unlearning of Features and Labels [72.81914952849334]
  機械学習モデルにおけるアンラーニングとラベルのファーストシナリオを提案する。 提案手法は,影響関数の概念に基づいて,モデルパラメータのクローズドフォーム更新によるアンラーニングを実現する。
  論文  参考訳（メタデータ） (2021-08-26T04:42:24Z)
• Self-Damaging Contrastive Learning [92.34124578823977]
  ラベルのないデータは一般に不均衡であり、長い尾の分布を示す。 本稿では,クラスを知らずに表現学習を自動的にバランスをとるための,自己学習コントラスト学習という原則的枠組みを提案する。 実験の結果,SDCLRは全体としての精度だけでなく,バランス性も著しく向上することがわかった。
  論文  参考訳（メタデータ） (2021-06-06T00:04:49Z)
• Coded Machine Unlearning [34.08435990347253]
  学習フェーズの前にデータセットを線形に符号化する符号化学習プロトコルを提案する。 また, 符号化学習モデルのアンラーニングプロトコルについて述べるとともに, 完全なアンラーニングを実現するための提案プロトコルの成功について考察する。
  論文  参考訳（メタデータ） (2020-12-31T17:20:34Z)
• Parameter-Efficient Transfer from Sequential Behaviors for User Modeling and Recommendation [111.44445634272235]
  本稿では,PeterRecと呼ばれるパラメータ効率のよい移動学習アーキテクチャを提案する。 PeterRecは、トレーニング済みのパラメータを、一連の再学習ニューラルネットワークを注入することで、微調整中に修正されないようにする。 我々は5つの下流タスクにおいて学習したユーザ表現の有効性を示すために、広範囲な実験的アブレーションを行う。
  論文  参考訳（メタデータ） (2020-01-13T14:09:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。