論文の概要: Mo' Memory, Mo' Problems: Stream-Native Machine Unlearning
- arxiv url: http://arxiv.org/abs/2508.10193v1
- Date: Wed, 13 Aug 2025 20:56:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-15 22:24:48.119598
- Title: Mo' Memory, Mo' Problems: Stream-Native Machine Unlearning
- Title（参考訳）: Mo'Memory, Mo' problem: Stream-Native Machine Unlearning
- Authors: Kennon Stewart,
- Abstract要約: 最新のMLパイプラインは、データのプロダクションストリームを継続的に学習し、学び、予測する必要がある。
我々は、バッチアンラーニングのシナリオの概念を、後悔、サンプルの複雑さ、削除能力の概念を用いてオンライン設定に翻訳する。
高価なHessianインバージョンをL-BFGS最適化のオンライン版に置き換え、時間とともに線形にスケールするメモリフットプリントを削除します。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Machine unlearning work assumes a static, i.i.d training environment that doesn't truly exist. Modern ML pipelines need to learn, unlearn, and predict continuously on production streams of data. We translate the notion of the batch unlearning scenario to the online setting using notions of regret, sample complexity, and deletion capacity. We further tighten regret bounds to a logarithmic $\mathcal{O}(\ln{T})$, a first for a machine unlearning algorithm. And we swap out an expensive Hessian inversion with online variant of L-BFGS optimization, removing a memory footprint that scales linearly with time. Such changes extend the lifespan of an ML model before expensive retraining, making for a more efficient unlearning process.
- Abstract（参考訳）: 機械学習の作業は、実際には存在しない静的な、すなわち訓練環境を前提とします。
最新のMLパイプラインは、データのプロダクションストリームを継続的に学習し、学び、予測する必要がある。
我々は、バッチアンラーニングのシナリオの概念を、後悔、サンプルの複雑さ、削除能力の概念を用いてオンライン設定に翻訳する。
さらに、機械アンラーニングアルゴリズムの初となる対数$\mathcal{O}(\ln{T})$に対する後悔の境界をさらに厳しくする。
高価なHessianインバージョンをL-BFGS最適化のオンライン版に置き換えて、時間とともに線形にスケールするメモリフットプリントを取り除きます。
このような変更は、高価な再トレーニングの前にMLモデルの寿命を延ばし、より効率的な未学習プロセスを実現する。
関連論文リスト
- Online Learning and Unlearning [56.770023668379615]
オンライングラデーション降下(OGD)に基づくオンライン学習者アンラーナー(OLU)アルゴリズムを2つ提示する。
第一の受動的OLUは、OGDの収縮特性を利用し、未学習時にノイズを注入し、追加の計算を行わない。
2つめのアクティブなOLUは、オフラインの未学習アルゴリズムを使用して、削除されたデータを除くソリューションにモデルをシフトする。
論文 参考訳（メタデータ） (2025-05-13T13:33:36Z) - Zeroth-Order Adaptive Neuron Alignment Based Pruning without Re-Training [3.195234044113248]
ネットワークプルーニングのためのemphtop-upアルゴリズムであるtextscNeuroALを提案する。
これは、高密度モデルとスパースバージョンの両方から情報を利用するブロックワイドと行ワイドのスパース性を変更する。
パフォーマンスと実行時のトレードオフの観点から、最新の最先端の手法を一貫して上回ります。
論文 参考訳（メタデータ） (2024-11-11T15:30:16Z) - Linearizing Large Language Models [26.94551511277412]
本稿では,既存の大規模事前学習型トランスフォーマーを,控えめな計算予算でリカレントニューラルネットワーク(RNN)にアップトレーニングする方法を提案する。
線形化手法は標準ベンチマーク上での競合性能につながるが,最大線形モデルにおいても,永続的な文脈内学習と長期コンテキストモデリングの欠点を同定する。
論文 参考訳（メタデータ） (2024-05-10T17:59:08Z) - In Situ Framework for Coupling Simulation and Machine Learning with
Application to CFD [51.04126395480625]
近年、流体力学計算を容易にする機械学習(ML)の多くの成功例が報告されている。
シミュレーションが大きくなるにつれて、従来のオフライン学習のための新しいトレーニングデータセットの生成は、I/Oとストレージのボトルネックを生み出します。
この作業は、この結合を単純化し、異種クラスタでのその場トレーニングと推論を可能にするソリューションを提供する。
論文 参考訳（メタデータ） (2023-06-22T14:07:54Z) - Winner-Take-All Column Row Sampling for Memory Efficient Adaptation of Language Model [89.8764435351222]
分散を低減した行列生成のために, WTA-CRS と呼ばれる新しい非バイアス推定系を提案する。
我々の研究は、チューニング変換器の文脈において、提案した推定器が既存のものよりも低い分散を示すという理論的および実験的証拠を提供する。
論文 参考訳（メタデータ） (2023-05-24T15:52:08Z) - Deep Regression Unlearning [6.884272840652062]
我々は、プライバシー攻撃に対して堅牢な、一般化された深層回帰学習手法を導入する。
我々は、コンピュータビジョン、自然言語処理、予測アプリケーションのための回帰学習実験を行う。
論文 参考訳（メタデータ） (2022-10-15T05:00:20Z) - Fast Yet Effective Machine Unlearning [6.884272840652062]
本稿では,誤り最大化雑音発生と不適切な反動に基づく重み操作を併用した新しい機械学習フレームワークを提案する。
モデル全体の精度を著しく保ちながら、優れた未学習を示す。
この作業は、ディープネットワークにおけるアンラーニングの迅速かつ簡単な実装に向けた重要なステップである。
論文 参考訳（メタデータ） (2021-11-17T07:29:24Z) - Sub-Linear Memory: How to Make Performers SLiM [38.068090269482425]
vanilla Transformerは、入力長$L$の関数としてシリアル時間とメモリで$O(L2)$を必要とする。
最近の研究は、連続計算に$o(l)$でしかスケールしない様々な線形自己アテンション機構を提案している。
計算の柔軟性は顕著であり, サブリニアメモリを用いた近似をすることなく, 前方および後方の伝播を行うことができる。
論文 参考訳（メタデータ） (2020-12-21T13:56:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。