論文の概要: Model State Arithmetic for Machine Unlearning

• arxiv url: http://arxiv.org/abs/2506.20941v1
• Date: Thu, 26 Jun 2025 02:16:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-27 19:53:09.943084
• Title: Model State Arithmetic for Machine Unlearning
• Title（参考訳）: 機械学習のためのモデル状態算術
• Authors: Keivan Rezaei, Mehrdad Saberi, Abhilasha Ravichander, Soheil Feizi,
• Abstract要約: 我々は,データポイントの影響を推定し,解消するための新しいアルゴリズムであるMSAを提案する。 実験の結果、MSAは既存の機械学習アルゴリズムよりずっと優れています。
• 参考スコア（独自算出の注目度）: 43.773053236733425
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models are trained on massive corpora of web data, which may include private data, copyrighted material, factually inaccurate data, or data that degrades model performance. Eliminating the influence of such problematic datapoints through complete retraining -- by repeatedly pretraining the model on datasets that exclude these specific instances -- is computationally prohibitive. For this reason, unlearning algorithms have emerged that aim to eliminate the influence of particular datapoints, while otherwise preserving the model -- at a low computational cost. However, precisely estimating and undoing the influence of individual datapoints has proved to be challenging. In this work, we propose a new algorithm, MSA, for estimating and undoing the influence of datapoints -- by leveraging model checkpoints i.e. artifacts capturing model states at different stages of pretraining. Our experimental results demonstrate that MSA consistently outperforms existing machine unlearning algorithms across multiple benchmarks, models, and evaluation metrics, suggesting that MSA could be an effective approach towards more flexible large language models that are capable of data erasure.
• Abstract（参考訳）: 大規模な言語モデルは、プライベートデータ、著作権のある資料、実際に不正確なデータ、またはモデルの性能を低下させるデータを含む、大量のWebデータのコーパスに基づいて訓練される。 このような問題のあるデータポイントの影響を -- これらの特定のインスタンスを除外するデータセットに対して、モデルを繰り返し事前トレーニングすることで -- 完全に再トレーニングすることで排除することは、計算的に禁じられている。 このため、特定のデータポイントの影響を排除し、それ以外はモデルを保存することを目的としたアンラーニングアルゴリズムが低計算コストで登場した。しかし、個々のデータポイントの影響を正確に推定し、解き放つことは困難であることが判明した。本研究では、モデルチェックポイント、すなわち、事前訓練の異なる段階でモデル状態を取得するアーティファクトを活用することで、データポイントの影響を推定し、解き放つための新しいアルゴリズムであるMSAを提案する。 我々の実験結果は、MSAが既存の機械学習アルゴリズムを複数のベンチマーク、モデル、評価指標で一貫して上回っており、MSAがデータ消去が可能なより柔軟な大規模言語モデルへの効果的なアプローチであることを示唆している。

関連論文リスト

• RESTOR: Knowledge Recovery in Machine Unlearning [71.75834077528305]
  Webスケールコーパスでトレーニングされた大規模な言語モデルは、プライベートまたはセンシティブな情報を含むことができる。 このようなデータポイントの効果を排除するために、いくつかの機械学習アルゴリズムが提案されている。 機械学習評価のためのRESTORフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-31T20:54:35Z)
• Data Shapley in One Training Run [88.59484417202454]
  Data Shapleyは、機械学習コンテキストにおけるデータのコントリビューションに寄与するための、原則化されたフレームワークを提供する。 既存のアプローチでは、計算集約的な異なるデータサブセット上の再学習モデルが必要である。 本稿では、対象とするデータモデルに対するスケーラブルなデータ属性を提供することにより、これらの制限に対処するIn-Run Data Shapleyを紹介する。
  論文  参考訳（メタデータ） (2024-06-16T17:09:24Z)
• Unlearning Traces the Influential Training Data of Language Models [31.33791825286853]
  アンラーニングは、トレーニングデータセットがモデルの性能に与える影響をトレースする。 よりスケーラブルなアプローチであるUnTrac-Invを提案し、テストデータセットを解放し、トレーニングデータセットの未学習モデルを評価する。
  論文  参考訳（メタデータ） (2024-01-26T23:17:31Z)
• Machine Learning Based Missing Values Imputation in Categorical Datasets [2.5611256859404983]
  この研究では、分類データセットのギャップを埋めるための機械学習アルゴリズムの使用について検討した。 Error Correction Output Codesフレームワークを使用して構築されたアンサンブルモデルに重点が置かれた。 大量のラベル付きデータの要求を含む、これらの奨励的な結果にもかかわらず、データ計算の欠如に対する深い学習には障害がある。
  論文  参考訳（メタデータ） (2023-06-10T03:29:48Z)
• How Training Data Impacts Performance in Learning-based Control [67.7875109298865]
  本稿では,トレーニングデータの密度と制御性能の関係を考察する。 データセットの品質尺度を定式化し、$rho$-gap と呼ぶ。 フィードバック線形化制御法に$rho$-gapを適用する方法を示す。
  論文  参考訳（メタデータ） (2020-05-25T12:13:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。