論文の概要: ERASER: Machine Unlearning in MLaaS via an Inference Serving-Aware Approach

• arxiv url: http://arxiv.org/abs/2311.16136v1
• Date: Fri, 3 Nov 2023 12:20:13 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-03 13:31:39.759107
• Title: ERASER: Machine Unlearning in MLaaS via an Inference Serving-Aware Approach
• Title（参考訳）: ERASER: 推論Serving-AwareアプローチによるMLaaSの機械学習
• Authors: Yuke Hu, Jian Lou, Jiaqi Liu, Feng Lin, Zhan Qin, Kui Ren
• Abstract要約: 多くの機械学習手法が提案され、訓練されたモデルからデータ所有者のデータを非学習要求で除去する。 ERASERは、推論遅延を低減するための新しい認証された推論整合性メカニズムを提案する。 推論待ち時間の99%、推論オフブリビオンベースライン上のオーバーヘッドの31%を効果的に節約できる。
• 参考スコア（独自算出の注目度）: 29.736049220095488
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Over the past few years, Machine Learning-as-a-Service (MLaaS) has received a surging demand for supporting Machine Learning-driven services to offer revolutionized user experience across diverse application areas. MLaaS provides inference service with low inference latency to application users based on an ML model trained using a dataset collected from numerous individual data owners. Recently, for the sake of data owners' privacy and to comply with the "right to be forgotten (RTBF)" as enacted by data protection legislation, many machine unlearning methods have been proposed to remove data owners' data from trained models upon their unlearning requests. However, despite their promising efficiency, almost all existing machine unlearning methods handle unlearning requests in a manner that is independent of inference requests, which unfortunately introduces new security and privacy vulnerabilities for machine unlearning in MLaaS. In this paper, we propose the ERASER framework for machinE unleaRning in MLaAS via an inferencE seRving-aware approach. ERASER proposes a novel certified inference consistency mechanism that reduces inference latency by selectively postponing unlearning execution incurred by unlearning requests from data owners, while strictly adhering to the RTBF principle. ERASER offers three groups of design choices to allow for tailor-made variants that best suit the specific environments and preferences of different MLaaS systems. Extensive empirical evaluations across various settings confirm ERASER's effectiveness, e.g., it can effectively save up to 99% of inference latency and 31% of computation overhead over the inference-oblivion baseline.
• Abstract（参考訳）: 過去数年間、MLaaS(Machine Learning-as-a-Service)は、さまざまなアプリケーション領域にわたる革新的なユーザエクスペリエンスを提供するマシンラーニング駆動サービスのサポートに対する需要が急増している。 MLaaSは、多数の個々のデータ所有者から収集されたデータセットを使用してトレーニングされたMLモデルに基づいて、アプリケーションユーザに低い推論レイテンシを提供する。 近年,データ所有者のプライバシのため,データ保護法によって制定された「忘れられる権利(RTBF)」に準拠するため,データ所有者の未学習要求に基づいてトレーニングされたモデルからデータを削除するための機械学習手法が多数提案されている。 しかし、その有望な効率にもかかわらず、既存の機械学習のほとんどすべてのメソッドは、推論要求とは独立して、未学習の要求を処理する。 本稿では,MLaASにおけるmachinE unleaRningのためのERASERフレームワークについて,InferencE seRving-awareアプローチを用いて提案する。 ERASERは、データ所有者からの未学習要求によって引き起こされる未学習の実行を選択的に延期し、RTBFの原則を厳格に守ることで、推論遅延を低減する新しい推論一貫性機構を提案する。 ERASERは、異なるMLaaSシステムの特定の環境と好みに最も適した、テーラーメイドのバリエーションを可能にするために、3つのグループの設計選択を提供する。 さまざまな設定にわたる大規模な実験的な評価により、ERASERの有効性が確認されている。例えば、推論待ち時間の99%と、推論オフブリビオンベースラインに対する計算オーバーヘッドの31%を効果的に節約できる。

関連論文リスト

• A Closer Look at Machine Unlearning for Large Language Models [46.245404272612795]
  大型言語モデル(LLM)は機密または著作権のあるコンテンツを記憶し、プライバシーと法的懸念を高める。 LLMの機械学習におけるいくつかの問題について議論し、可能なアプローチについての洞察を提供する。
  論文  参考訳（メタデータ） (2024-10-10T16:56:05Z)
• Learn while Unlearn: An Iterative Unlearning Framework for Generative Language Models [49.043599241803825]
  Iterative Contrastive Unlearning (ICU)フレームワークは3つのコアコンポーネントで構成されている。 知識未学習誘導モジュールは、未学習の損失を通じて特定の知識を除去する。 Contrastive Learning Enhancementモジュールは、純粋な未学習の目標に対してモデルの表現力を維持する。 また、特定のデータ片の未学習範囲を動的に評価し、反復的な更新を行う反復未学習リファインメントモジュールも用意されている。
  論文  参考訳（メタデータ） (2024-07-25T07:09:35Z)
• Practical Unlearning for Large Language Models [23.515444452866404]
  機械学習(MU)は、これらの問題に対処するための有望なソリューションとして登場した。 MUは通常、実用性を維持するために元のトレーニングデータへの完全なアクセスを前提とします。 既存のLLMアンラーニング手法は、望ましくないデータアンラーニングに最も影響を受けるデータへのアクセスを前提としていることが多い。 我々は,これらの課題を克服し,実践的なLLMアンラーニングを実現するためのO3フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-14T14:26:17Z)
• Silver Linings in the Shadows: Harnessing Membership Inference for Machine Unlearning [7.557226714828334]
  ニューラルネットワークから特定のデータサンプルの影響を除去する新しい学習機構を提案する。 この目的を達成するために、我々は、ターゲットモデルの重みやアクティベーション値からプライバシーに敏感な情報を排除するための、新しい損失関数を構築した。 本研究の結果は,未学習の有効性とレイテンシ,および主課題の忠実度の観点から,我々のアプローチの優れた性能を示すものである。
  論文  参考訳（メタデータ） (2024-07-01T00:20:26Z)
• The Frontier of Data Erasure: Machine Unlearning for Large Language Models [56.26002631481726]
  大規模言語モデル(LLM)はAIの進歩の基礎となっている。 LLMは機密情報、偏見情報、著作権情報を記憶し、広めることによってリスクを生じさせる。 機械学習は、これらの懸念を軽減するための最先端のソリューションとして現れます。
  論文  参考訳（メタデータ） (2024-03-23T09:26:15Z)
• Unlearn What You Want to Forget: Efficient Unlearning for LLMs [92.51670143929056]
  大規模言語モデル(LLM)は、幅広いテキストデータを事前学習し記憶することで大きな進歩を遂げた。 このプロセスはプライバシー問題やデータ保護規則違反に悩まされる可能性がある。 データ削除後のモデル全体を再トレーニングすることなく、LLMを効率的に更新できる効率的なアンラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-31T03:35:59Z)
• A Duty to Forget, a Right to be Assured? Exposing Vulnerabilities in Machine Unlearning Services [31.347825826778276]
  機械学習(ML)における未学習サービスによる潜在的な脅威を探究する。 オーバー・アンラーニングを利用してトレードオフバランスに与える影響を計測する2つの戦略を提案する。 その結果,両戦略が未学習シナリオにおけるモデルの有効性を損なう可能性が示唆された。
  論文  参考訳（メタデータ） (2023-09-15T08:00:45Z)
• Privacy Adhering Machine Un-learning in NLP [66.17039929803933]
  現実の業界では、機械学習を使ってユーザデータに基づくモデルを構築します。 このような委任事項には、データだけでなく、モデルの再トレーニングにも労力が要る。 データの継続的な削除と モデル再訓練のステップはスケールしません この課題に対処するために、textitMachine Unlearningを提案する。
  論文  参考訳（メタデータ） (2022-12-19T16:06:45Z)
• Transfer Learning without Knowing: Reprogramming Black-box Machine Learning Models with Scarce Data and Limited Resources [78.72922528736011]
  そこで我々は,ブラックボックス・アタベラル・リプログラミング (BAR) という新しい手法を提案する。 ゼロオーダー最適化とマルチラベルマッピング技術を用いて、BARは入力出力応答のみに基づいてブラックボックスMLモデルをプログラムする。 BARは最先端の手法より優れ、バニラ対逆プログラミング法に匹敵する性能を得る。
  論文  参考訳（メタデータ） (2020-07-17T01:52:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。