論文の概要: Machine Unlearning for Streaming Forgetting
- arxiv url: http://arxiv.org/abs/2507.15280v1
- Date: Mon, 21 Jul 2025 06:30:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-22 20:51:32.282457
- Title: Machine Unlearning for Streaming Forgetting
- Title（参考訳）: ストリーミングフォーミングのための機械学習
- Authors: Shaofei Shen, Chenhao Zhang, Yawen Zhao, Alina Bialkowski, Weitong Chen, Miao Xu,
- Abstract要約: 現在、機械学習メソッドは、すべての忘れたデータを単一のバッチで処理し、要求に応じて対応する知識を一度に削除している。
我々はストリーミングアンラーニングのパラダイムを導入し、アンラーニングを分散シフト問題として定式化する。
そこで本研究では,従来のトレーニングデータへのアクセスを必要とせずに,効率的なストリーミング記憶を実現するための新しいストリーミングアンラーニングアルゴリズムを提案する。
- 参考スコア（独自算出の注目度）: 10.140596908665419
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Machine unlearning aims to remove knowledge of the specific training data in a well-trained model. Currently, machine unlearning methods typically handle all forgetting data in a single batch, removing the corresponding knowledge all at once upon request. However, in practical scenarios, requests for data removal often arise in a streaming manner rather than in a single batch, leading to reduced efficiency and effectiveness in existing methods. Such challenges of streaming forgetting have not been the focus of much research. In this paper, to address the challenges of performance maintenance, efficiency, and data access brought about by streaming unlearning requests, we introduce a streaming unlearning paradigm, formalizing the unlearning as a distribution shift problem. We then estimate the altered distribution and propose a novel streaming unlearning algorithm to achieve efficient streaming forgetting without requiring access to the original training data. Theoretical analyses confirm an $O(\sqrt{T} + V_T)$ error bound on the streaming unlearning regret, where $V_T$ represents the cumulative total variation in the optimal solution over $T$ learning rounds. This theoretical guarantee is achieved under mild conditions without the strong restriction of convex loss function. Experiments across various models and datasets validate the performance of our proposed method.
- Abstract（参考訳）: 機械学習は、訓練されたモデルで特定のトレーニングデータの知識を取り除くことを目的としている。
現在、機械学習の手法は、通常、すべての忘れたデータを単一のバッチで処理し、要求に応じて対応する知識を一度に削除する。
しかし、実際のシナリオでは、データ削除の要求は単一のバッチではなくストリーミング方式で発生することが多く、既存の手法では効率と効率性が低下する。
ストリーミングを忘れることの課題は、多くの研究の焦点にはなっていない。
本稿では,非学習要求をストリーミングすることで生じる性能維持,効率,データアクセスの課題に対処するため,ストリーミングアンラーニングパラダイムを導入し,アンラーニングを分散シフト問題として定式化する。
次に,変化した分布を推定し,元のトレーニングデータへのアクセスを必要とせず,効率的なストリーミング記憶を実現するための新しいストリーミングアンラーニングアルゴリズムを提案する。
理論的解析により、ストリーミング未学習の後悔に縛られた$O(\sqrt{T} + V_T)$エラーを確認し、$V_T$は学習ラウンドに対する最適解の累積総変量を表す。
この理論的な保証は、凸損失関数の強い制限なしに穏やかな条件下で達成される。
各種モデルおよびデータセットを用いた実験により,提案手法の有効性が検証された。
関連論文リスト
- Learning from Streaming Video with Orthogonal Gradients [62.51504086522027]
本稿では,映像の連続的ストリームからの表現学習を自己指導的に行うという課題に対処する。
これは、トレーニング中にビデオが切り刻まれ、シャッフルされ、非冗長なバッチを生成する、ビデオ学習の標準的なアプローチとは異なる。
3つのタスクでシャッフルからシーケンシャルな学習に移行する際のパフォーマンスの低下を実演する。
論文 参考訳（メタデータ） (2025-04-02T17:59:57Z) - Online Cascade Learning for Efficient Inference over Streams [9.516197133796437]
大規模言語モデル(LLM)は、データストリームに関する複雑なクエリに応答する自然な役割を持つ。
この課題に対処する最初のアプローチであるオンラインカスケード学習を提案する。
我々は,オンラインでカスケードを学習するタスクを模倣学習問題として定式化する。
論文 参考訳（メタデータ） (2024-02-07T01:46:50Z) - Task-Aware Machine Unlearning and Its Application in Load Forecasting [4.00606516946677]
本稿では、すでに訓練済みの予測器に対するデータセットの一部の影響を除去するために特別に設計された機械学習の概念を紹介する。
局所モデルパラメータ変化の感度を影響関数とサンプル再重み付けを用いて評価することにより,性能認識アルゴリズムを提案する。
リアルな負荷データセットを用いて,線形,CNN,Mixerベースの負荷予測器上で,未学習アルゴリズムを検証した。
論文 参考訳（メタデータ） (2023-08-28T08:50:12Z) - Task-Robust Pre-Training for Worst-Case Downstream Adaptation [62.05108162160981]
プレトレーニングは下流のタスクに移行することで大きな成功を収めた。
本稿では,下流タスクに対する一様性能を保証するモデルについて,事前学習について考察する。
論文 参考訳（メタデータ） (2023-06-21T07:43:23Z) - BOOT: Data-free Distillation of Denoising Diffusion Models with
Bootstrapping [64.54271680071373]
拡散モデルは多様な画像を生成する優れた可能性を示している。
知識蒸留は、推論ステップの数を1つか数に減らすための治療法として最近提案されている。
本稿では,効率的なデータフリー蒸留アルゴリズムにより限界を克服するBOOTと呼ばれる新しい手法を提案する。
論文 参考訳（メタデータ） (2023-06-08T20:30:55Z) - Learning Representations on the Unit Sphere: Investigating Angular
Gaussian and von Mises-Fisher Distributions for Online Continual Learning [7.145581090959242]
本稿では,新たな損失関数を備えたメモリベース表現学習手法を提案する。
提案手法は,タスク境界がぼやけた標準的な評価シナリオと現実的なシナリオの両方において,現状の手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2023-06-06T02:38:01Z) - Discrete Key-Value Bottleneck [95.61236311369821]
ディープニューラルネットワークは、データストリームがi.d.d.であり、ラベル付きデータが豊富である分類タスクでうまく機能する。
この課題に対処した強力なアプローチの1つは、手軽に利用可能なデータ量に対する大規模なエンコーダの事前トレーニングと、タスク固有のチューニングである。
しかし、新しいタスクを考えると、多くの重みを微調整する必要があるため、エンコーダの重みを更新することは困難であり、その結果、以前のタスクに関する情報を忘れてしまう。
この問題に対処するモデルアーキテクチャを提案し,個別かつ学習可能なキー値符号のペアを含む離散的ボトルネックの上に構築する。
論文 参考訳（メタデータ） (2022-07-22T17:52:30Z) - CAFA: Class-Aware Feature Alignment for Test-Time Adaptation [50.26963784271912]
テスト時間適応(TTA)は、テスト時にラベルのないデータにモデルを適応させることによって、この問題に対処することを目的としている。
本稿では,クラス認識特徴アライメント(CAFA, Class-Aware Feature Alignment)と呼ばれる単純な機能アライメント損失を提案する。
論文 参考訳（メタデータ） (2022-06-01T03:02:07Z) - The Challenges of Continuous Self-Supervised Learning [40.941767578622745]
自己教師付き学習(SSL)は、表現学習における主要なボトルネックの1つ、すなわち人間のアノテーションの必要性を取り除くことを目的としている。
このような連続的なセットアップに対する現在の手法の直接的な適用は、計算量と必要なデータ量の両方において非効率であることを示す。
本稿では,非効率性や時間的相関の問題を緩和する手法として,リプレイバッファの利用を提案する。
論文 参考訳（メタデータ） (2022-03-23T20:05:06Z) - Class Incremental Online Streaming Learning [40.97848249237289]
本稿では,これらの課題に対処するために,エンフォリンストリーミング環境におけるクラスインクリメンタル学習のための新しいアプローチを提案する。
提案手法は暗黙的かつ明示的な二重重み正規化と経験的リプレイを利用する。
また、モデルの性能を大幅に向上させる効率的なオンラインメモリ再生および置換バッファ戦略を提案する。
論文 参考訳（メタデータ） (2021-10-20T19:24:31Z) - Machine Unlearning of Features and Labels [72.81914952849334]
機械学習モデルにおけるアンラーニングとラベルのファーストシナリオを提案する。
提案手法は,影響関数の概念に基づいて,モデルパラメータのクローズドフォーム更新によるアンラーニングを実現する。
論文 参考訳（メタデータ） (2021-08-26T04:42:24Z) - Certifiable Machine Unlearning for Linear Models [1.484852576248587]
機械学習は、トレーニングされたトレーニングデータのサブセットが削除された後、機械学習(ML)モデルを更新するタスクである。
本稿では,線形モデルに対する3つの非学習手法について実験的に検討する。
論文 参考訳（メタデータ） (2021-06-29T05:05:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。