論文の概要: ERASER: Machine Unlearning in MLaaS via an Inference Serving-Aware Approach

• arxiv url: http://arxiv.org/abs/2311.16136v3
• Date: Tue, 18 Jun 2024 09:46:06 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-20 04:54:22.340814
• Title: ERASER: Machine Unlearning in MLaaS via an Inference Serving-Aware Approach
• Title（参考訳）: ERASER: 推論Serving-AwareアプローチによるMLaaSの機械学習
• Authors: Yuke Hu, Jian Lou, Jiaqi Liu, Wangze Ni, Feng Lin, Zhan Qin, Kui Ren,
• Abstract要約: 多くの機械学習手法が提案され、訓練されたモデルからデータ所有者のデータを非学習要求で除去する。 ERASERは、推論サービス問題に対処する適切な未学習実行タイミングを戦略的に選択する。 推論待ち時間の99%と、推論オフブリビオンベースラインでの計算オーバーヘッドの31%を効果的に節約できる。
• 参考スコア（独自算出の注目度）: 27.908239750919066
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Over the past years, Machine Learning-as-a-Service (MLaaS) has received a surging demand for supporting Machine Learning-driven services to offer revolutionized user experience across diverse application areas. MLaaS provides inference service with low inference latency based on an ML model trained using a dataset collected from numerous individual data owners. Recently, for the sake of data owners' privacy and to comply with the "right to be forgotten (RTBF)" as enacted by data protection legislation, many machine unlearning methods have been proposed to remove data owners' data from trained models upon their unlearning requests. However, despite their promising efficiency, almost all existing machine unlearning methods handle unlearning requests independently from inference requests, which unfortunately introduces a new security issue of inference service obsolescence and a privacy vulnerability of undesirable exposure for machine unlearning in MLaaS. In this paper, we propose the ERASER framework for machinE unleaRning in MLaAS via an inferencE seRving-aware approach. ERASER strategically choose appropriate unlearning execution timing to address the inference service obsolescence issue. A novel inference consistency certification mechanism is proposed to avoid the violation of RTBF principle caused by postponed unlearning executions, thereby mitigating the undesirable exposure vulnerability. ERASER offers three groups of design choices to allow for tailor-made variants that best suit the specific environments and preferences of various MLaaS systems. Extensive empirical evaluations across various settings confirm ERASER's effectiveness, e.g., it can effectively save up to 99% of inference latency and 31% of computation overhead over the inference-oblivion baseline.
• Abstract（参考訳）: 過去数年間、MLaaS(Machine Learning-as-a-Service)は、さまざまなアプリケーション領域にわたる革新的なユーザエクスペリエンスを提供するマシンラーニング駆動サービスのサポートに対する需要が急増している。 MLaaSは、多数の個々のデータ所有者から収集されたデータセットを使用してトレーニングされたMLモデルに基づいて、推論レイテンシの低い推論サービスを提供する。 近年,データ所有者のプライバシのため,データ保護法によって制定された「忘れられる権利(RTBF)」に準拠するため,データ所有者の未学習要求に基づいてトレーニングされたモデルからデータを削除するための機械学習手法が多数提案されている。 しかし、その有望な効率にもかかわらず、既存の機械学習メソッドのほとんどすべてが、推論要求から独立して、未学習リクエストを処理する。 本稿では,MLaASにおけるmachinE unleaRningのためのERASERフレームワークについて,InferencE seRving-awareアプローチを用いて提案する。 ERASERは、推論サービスの陳腐化問題に対処する適切な未学習実行タイミングを戦略的に選択する。 未学習実行の延期によるRTBF原則違反を回避し、望ましくない露光の脆弱性を軽減するため、新しい推論整合性認証機構を提案する。 ERASERは、さまざまなMLaaSシステムの特定の環境や好みに最も適した、テーラーメイドのバリエーションを可能にするために、3つのグループの設計選択を提供する。 さまざまな設定にわたる大規模な実験的な評価により、ERASERの有効性が確認されている。例えば、推論待ち時間の99%と、推論オフブリビオンベースライン上での計算オーバーヘッドの31%を効果的に削減できる。

関連論文リスト

• A Closer Look at Machine Unlearning for Large Language Models [46.245404272612795]
  大型言語モデル(LLM)は機密または著作権のあるコンテンツを記憶し、プライバシーと法的懸念を高める。 LLMの機械学習におけるいくつかの問題について議論し、可能なアプローチについての洞察を提供する。
  論文  参考訳（メタデータ） (2024-10-10T16:56:05Z)
• Learn while Unlearn: An Iterative Unlearning Framework for Generative Language Models [49.043599241803825]
  Iterative Contrastive Unlearning (ICU)フレームワークは3つのコアコンポーネントで構成されている。 知識未学習誘導モジュールは、未学習の損失を通じて特定の知識を除去する。 Contrastive Learning Enhancementモジュールは、純粋な未学習の目標に対してモデルの表現力を維持する。 また、特定のデータ片の未学習範囲を動的に評価し、反復的な更新を行う反復未学習リファインメントモジュールも用意されている。
  論文  参考訳（メタデータ） (2024-07-25T07:09:35Z)
• Practical Unlearning for Large Language Models [23.515444452866404]
  機械学習(MU)は、これらの問題に対処するための有望なソリューションとして登場した。 MUは通常、実用性を維持するために元のトレーニングデータへの完全なアクセスを前提とします。 既存のLLMアンラーニング手法は、望ましくないデータアンラーニングに最も影響を受けるデータへのアクセスを前提としていることが多い。 我々は,これらの課題を克服し,実践的なLLMアンラーニングを実現するためのO3フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-14T14:26:17Z)
• Silver Linings in the Shadows: Harnessing Membership Inference for Machine Unlearning [7.557226714828334]
  ニューラルネットワークから特定のデータサンプルの影響を除去する新しい学習機構を提案する。 この目的を達成するために、我々は、ターゲットモデルの重みやアクティベーション値からプライバシーに敏感な情報を排除するための、新しい損失関数を構築した。 本研究の結果は,未学習の有効性とレイテンシ,および主課題の忠実度の観点から,我々のアプローチの優れた性能を示すものである。
  論文  参考訳（メタデータ） (2024-07-01T00:20:26Z)
• The Frontier of Data Erasure: Machine Unlearning for Large Language Models [56.26002631481726]
  大規模言語モデル(LLM)はAIの進歩の基礎となっている。 LLMは機密情報、偏見情報、著作権情報を記憶し、広めることによってリスクを生じさせる。 機械学習は、これらの懸念を軽減するための最先端のソリューションとして現れます。
  論文  参考訳（メタデータ） (2024-03-23T09:26:15Z)
• Unlearn What You Want to Forget: Efficient Unlearning for LLMs [92.51670143929056]
  大規模言語モデル(LLM)は、幅広いテキストデータを事前学習し記憶することで大きな進歩を遂げた。 このプロセスはプライバシー問題やデータ保護規則違反に悩まされる可能性がある。 データ削除後のモデル全体を再トレーニングすることなく、LLMを効率的に更新できる効率的なアンラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-31T03:35:59Z)
• A Duty to Forget, a Right to be Assured? Exposing Vulnerabilities in Machine Unlearning Services [31.347825826778276]
  機械学習(ML)における未学習サービスによる潜在的な脅威を探究する。 オーバー・アンラーニングを利用してトレードオフバランスに与える影響を計測する2つの戦略を提案する。 その結果,両戦略が未学習シナリオにおけるモデルの有効性を損なう可能性が示唆された。
  論文  参考訳（メタデータ） (2023-09-15T08:00:45Z)
• Privacy Adhering Machine Un-learning in NLP [66.17039929803933]
  現実の業界では、機械学習を使ってユーザデータに基づくモデルを構築します。 このような委任事項には、データだけでなく、モデルの再トレーニングにも労力が要る。 データの継続的な削除と モデル再訓練のステップはスケールしません この課題に対処するために、textitMachine Unlearningを提案する。
  論文  参考訳（メタデータ） (2022-12-19T16:06:45Z)
• Transfer Learning without Knowing: Reprogramming Black-box Machine Learning Models with Scarce Data and Limited Resources [78.72922528736011]
  そこで我々は,ブラックボックス・アタベラル・リプログラミング (BAR) という新しい手法を提案する。 ゼロオーダー最適化とマルチラベルマッピング技術を用いて、BARは入力出力応答のみに基づいてブラックボックスMLモデルをプログラムする。 BARは最先端の手法より優れ、バニラ対逆プログラミング法に匹敵する性能を得る。
  論文  参考訳（メタデータ） (2020-07-17T01:52:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。