Fugu-MT 論文翻訳(概要): LMEraser: Large Model Unlearning through Adaptive Prompt Tuning

論文の概要: LMEraser: Large Model Unlearning through Adaptive Prompt Tuning

arxiv url: http://arxiv.org/abs/2404.11056v1
Date: Wed, 17 Apr 2024 04:08:38 GMT
ステータス: 処理完了
システム内更新日: 2024-04-18 15:14:36.526962
Title: LMEraser: Large Model Unlearning through Adaptive Prompt Tuning
Title（参考訳）: LMEraser: 適応型プロンプトチューニングによる大規模モデル学習
Authors: Jie Xu, Zihan Wu, Cong Wang, Xiaohua Jia,
Abstract要約: LMEraserは、データインフルエンスを分離するために、迅速なチューニングアーキテクチャを備えた、分割とコンカマーの戦略を採用している。実験の結果,LMEraserは精度を損なうことなく,学習コストを100ドル程度削減できることがわかった。
参考スコア（独自算出の注目度）: 21.141664917477257
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: To address the growing demand for privacy protection in machine learning, we propose a novel and efficient machine unlearning approach for \textbf{L}arge \textbf{M}odels, called \textbf{LM}Eraser. Existing unlearning research suffers from entangled training data and complex model architectures, incurring extremely high computational costs for large models. LMEraser takes a divide-and-conquer strategy with a prompt tuning architecture to isolate data influence. The training dataset is partitioned into public and private datasets. Public data are used to train the backbone of the model. Private data are adaptively clustered based on their diversity, and each cluster is used to optimize a prompt separately. This adaptive prompt tuning mechanism reduces unlearning costs and maintains model performance. Experiments demonstrate that LMEraser achieves a $100$-fold reduction in unlearning costs without compromising accuracy compared to prior work. Our code is available at: \url{https://github.com/lmeraser/lmeraser}.
Abstract（参考訳）: 機械学習におけるプライバシ保護の需要の高まりに対処するため,新しい機械学習手法を提案し,その手法として,‘textbf{L}arge \textbf{M}odels,すなわち‘textbf{LM}Eraser’を提案する。既存の未学習の研究は、絡み合ったトレーニングデータと複雑なモデルアーキテクチャに悩まされており、大規模モデルの計算コストが非常に高い。 LMEraserは、データインフルエンスを分離するために、迅速なチューニングアーキテクチャを備えた、分割とコンカマーの戦略を採用している。トレーニングデータセットは、パブリックデータセットとプライベートデータセットに分割される。公開データはモデルのバックボーンをトレーニングするために使用される。プライベートデータは、その多様性に基づいて適応的にクラスタ化され、各クラスタは、プロンプトを個別に最適化するために使用される。この適応的なプロンプトチューニング機構は、未学習コストを低減し、モデル性能を維持する。実験により,LMEraserは従来の作業に比べて精度を損なうことなく,学習コストを100ドル程度削減できることが示された。私たちのコードは以下の通りです。

関連論文リスト

DreamMask: Boosting Open-vocabulary Panoptic Segmentation with Synthetic Data [61.62554324594797]
オープンな語彙設定でトレーニングデータを生成する方法と、実データと合成データの両方でモデルをトレーニングする方法を探索するDreamMaskを提案する。一般的に、DreamMaskは大規模なトレーニングデータの収集を著しく単純化し、既存のメソッドのプラグイン・アンド・プレイ・エンハンスメントとして機能する。例えば、COCOで訓練しADE20Kで試験すると、ドリームマスクを装備したモデルは以前の最先端の2.1% mIoUよりも優れていた。
論文参考訳（メタデータ） (2025-01-03T19:00:00Z)
LoRA Unlearns More and Retains More (Student Abstract) [0.0]
PruneLoRAは、モデルに低ランクの更新を適用することで、大規模なパラメータ更新の必要性を減らす。そこで我々はLoRAを利用してプルーンドモデルのパラメータのサブセットを選択的に修正し、計算コスト、メモリ要件を低減し、残りのクラスの性能を維持するモデルの能力を向上させる。
論文参考訳（メタデータ） (2024-11-16T16:47:57Z)
Accelerating Large Language Model Pretraining via LFR Pedagogy: Learn, Focus, and Review [50.78587571704713]
Learn-Focus-Review(LFR)は、モデルの学習進捗に適応する動的トレーニングアプローチである。 LFRは、データブロック(トークンのシーケンス)にわたるモデルの学習パフォーマンスを追跡し、データセットの困難な領域を再検討する。フルデータセットでトレーニングされたベースラインモデルと比較して、LFRは一貫して低いパープレキシティと高い精度を達成した。
論文参考訳（メタデータ） (2024-09-10T00:59:18Z)
$\nabla τ$: Gradient-based and Task-Agnostic machine Unlearning [7.04736023670375]
グラディエントベースおよびタスク非依存マシンUnlearning(nabla tau$)を紹介する。 $nabla tau$は、残りのデータに対して標準の勾配勾配を使いながら、忘れられるデータに適応的な勾配勾配を適用します。我々は、確立されたメンバーシップ推論攻撃指標を用いて、フレームワークの有効性を評価する。
論文参考訳（メタデータ） (2024-03-21T12:11:26Z)
Rephrasing the Web: A Recipe for Compute and Data-Efficient Language Modeling [27.975832264345772]
本稿では,Web上の文書をパラフレーズ化するために,既製の命令調整モデルを用いたWeb Rephrase Augmented Pre-training(textbfWRAP$)を提案する。自然にノイズの多いC4データセットでWRAPを使用することで、プリトレーニングを$sim3x$で高速化する。同じトレーニング済みの計算予算で、Pileのさまざまなサブセットで平均して10%以上のパープレキシティを改善し、13のタスクでゼロショットの質問応答精度を2%以上改善する。
論文参考訳（メタデータ） (2024-01-29T18:19:08Z)
A Data-Free Approach to Mitigate Catastrophic Forgetting in Federated Class Incremental Learning for Vision Tasks [34.971800168823215]
本稿では、過去の分布からサンプルを合成するために生成モデルを利用する、$textbffederated class incremental learning$のフレームワークを提案する。プライバシを保護するため、生成モデルはクライアントからデータを要求することなく、各タスクの最後にデータフリーなメソッドを使用してサーバ上でトレーニングされる。
論文参考訳（メタデータ） (2023-11-13T22:21:27Z)
Unlearn What You Want to Forget: Efficient Unlearning for LLMs [92.51670143929056]
大規模言語モデル(LLM)は、幅広いテキストデータを事前学習し記憶することで大きな進歩を遂げた。このプロセスはプライバシー問題やデータ保護規則違反に悩まされる可能性がある。データ削除後のモデル全体を再トレーニングすることなく、LLMを効率的に更新できる効率的なアンラーニングフレームワークを提案する。
論文参考訳（メタデータ） (2023-10-31T03:35:59Z)
Fast Machine Unlearning Without Retraining Through Selective Synaptic Dampening [51.34904967046097]
Selective Synaptic Dampening (SSD)は高速で、訓練データの長期保存を必要としない。高速で性能が高く,トレーニングデータの長期保存を必要としない,新しい2段階のポストホック,リトレーニングフリーなマシンアンラーニング手法を提案する。
論文参考訳（メタデータ） (2023-08-15T11:30:45Z)
TMI! Finetuned Models Leak Private Information from their Pretraining Data [5.150344987657356]
我々は,敵が細かなモデルにのみアクセス可能な新しいメンバーシップ推論脅威モデルを提案する。我々は、複数の移動学習環境において、視覚と自然言語の両方のタスクに対して$textbfTMI$を評価した。 $textbfTMI$のオープンソース実装はGitHubにある。
論文参考訳（メタデータ） (2023-06-01T22:29:28Z)
SAFE: Machine Unlearning With Shard Graphs [100.12621304361288]
本稿では,大規模モデルを多種多様なデータ集合に適応させる手法であるSynergy Aware Forgetting Ensemble (SAFE)を提案する。 SAFEは軽量なアダプタシステムを使用し、ほとんどの計算を再利用しながらトレーニングすることができる。これにより、SAFEは現在の最先端の方法よりも小さなシャードの順序でトレーニングすることができる。
論文参考訳（メタデータ） (2023-04-25T22:02:09Z)
LegoNet: A Fast and Exact Unlearning Architecture [59.49058450583149]
機械学習は、トレーニングされたモデルから削除された要求に対する特定のトレーニングサンプルの影響を削除することを目的としている。固定エンコーダ+複数アダプタのフレームワークを採用した新しいネットワークである textitLegoNet を提案する。我々は、LegoNetが許容できる性能を維持しつつ、高速かつ正確な未学習を実現し、未学習のベースラインを総合的に上回っていることを示す。
論文参考訳（メタデータ） (2022-10-28T09:53:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。