論文の概要: Single Layer Single Gradient Unlearning

• arxiv url: http://arxiv.org/abs/2407.11867v1
• Date: Tue, 16 Jul 2024 15:52:36 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-17 14:03:36.676047
• Title: Single Layer Single Gradient Unlearning
• Title（参考訳）: 単層シングルグラディエント・アンラーニング
• Authors: Zikui Cai, Yaoteng Tan, M. Salman Asif,
• Abstract要約: モデルパラメータの単一層のみを変更できる1時間勾配しか必要としない効率的な手法を提案する。 CLIP, 安定拡散, VLM など, 様々なモデルにおける本手法の有効性と有効性を示す。
• 参考スコア（独自算出の注目度）: 15.374381635334897
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Machine unlearning methods seek to revise pretrained models such that effects of certain training samples can be removed. In addition to effective erasure, low computational cost and general utility retention are also highly desirable. Existing unlearning methods usually involve iterative updates over the model parameters, which incurs a high computational cost. In this work, we propose an efficient method that only requires a one-time gradient computation, with which we modify only a single layer of model parameters. Specifically, we first identify a small number of model layers that lie on the Pareto front of high forget importance and low retain influence as critical layers. Then we search for a suitable step size and take a step along the gradient direction of a single critical layer while keeping other layers frozen. This method is highly modular and can be used to unlearn multiple concepts simultaneously in a controllable manner. We demonstrate the effectiveness and efficiency of this method on various models including CLIP, stable diffusion, and VLMs, surpassing other state-of-the-art methods.
• Abstract（参考訳）: 機械学習手法は、特定のトレーニングサンプルの効果を取り除くことができるように、事前訓練されたモデルを修正しようとする。 効率的な消去に加えて、計算コストの低減と汎用性維持も非常に望ましい。 既存の未学習の手法では、通常、モデルパラメータを反復的に更新し、高い計算コストを発生させる。 本研究では,1時間勾配計算のみを必要とする効率的な手法を提案し,モデルパラメータの単一層のみを修正した。 具体的には、まずParetoのフロントにある少数のモデルレイヤを特定します。 次に、適切なステップサイズを探索し、他のレイヤを凍結させながら、単一の臨界層の勾配方向に沿ってステップを踏む。 この方法は高度にモジュール化されており、複数の概念を同時に制御可能な方法で解き放つのに使うことができる。 CLIP, 安定拡散, VLM など, 各種モデルにおける本手法の有効性と有効性を示す。

関連論文リスト

• Technical Report for the Forgotten-by-Design Project: Targeted Obfuscation for Machine Learning [0.03749861135832072]
  本稿では、従来のデータ消去手法と対比して、AIシステム内でのRTBF(Right to be Forgotten)の概念について考察する。 Forgotten by Designは,インスタンス固有の難読化技術を統合した,プライバシ保護のための積極的なアプローチである。 CIFAR-10データセットを用いた実験では,モデル精度を維持しながら,少なくとも1桁のプライバシーリスクを低減できることが示されている。
  論文  参考訳（メタデータ） (2025-01-20T15:07:59Z)
• Machine Unlearning Doesn't Do What You Think: Lessons for Generative AI Policy, Research, and Practice [186.055899073629]
  非学習はしばしば、生成AIモデルからターゲット情報の影響を取り除くソリューションとして呼び出される。 未学習はまた、モデルが出力中にターゲットとなるタイプの情報を生成するのを防ぐ方法として提案されている。 これら2つの目標 - モデルからの情報の標的的除去と、モデル出力からの情報のターゲット的抑制 - は、様々な技術的および現実的な課題を表す。
  論文  参考訳（メタデータ） (2024-12-09T20:18:43Z)
• Game-Theoretic Machine Unlearning: Mitigating Extra Privacy Leakage [12.737028324709609]
  最近の法律では、要求されたデータとその影響を訓練されたモデルから取り除くことが義務付けられている。 本研究では,非学習性能とプライバシ保護の競合関係をシミュレートするゲーム理論マシンアンラーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-11-06T13:47:04Z)
• Learn while Unlearn: An Iterative Unlearning Framework for Generative Language Models [49.043599241803825]
  Iterative Contrastive Unlearning (ICU)フレームワークは3つのコアコンポーネントで構成されている。 知識未学習誘導モジュールは、未学習の損失を通じて特定の知識を除去する。 Contrastive Learning Enhancementモジュールは、純粋な未学習の目標に対してモデルの表現力を維持する。 また、特定のデータ片の未学習範囲を動的に評価し、反復的な更新を行う反復未学習リファインメントモジュールも用意されている。
  論文  参考訳（メタデータ） (2024-07-25T07:09:35Z)
• The Frontier of Data Erasure: Machine Unlearning for Large Language Models [56.26002631481726]
  大規模言語モデル(LLM)はAIの進歩の基礎となっている。 LLMは機密情報、偏見情報、著作権情報を記憶し、広めることによってリスクを生じさせる。 機械学習は、これらの懸念を軽減するための最先端のソリューションとして現れます。
  論文  参考訳（メタデータ） (2024-03-23T09:26:15Z)
• Generative Models are Self-Watermarked: Declaring Model Authentication through Re-Generation [17.88043926057354]
  データオーナシップの検証は、特に生成したデータの不正な再利用の場合、非常に困難な問題を引き起こします。 私たちの研究は、個々のサンプルからでもデータの再利用を検出することに集中しています。 本稿では, 再生成によるデータ所有を考慮に入れた説明可能な検証手法を提案し, さらに, 反復的データ再生による生成モデルにおけるこれらの指紋の増幅を行う。
  論文  参考訳（メタデータ） (2024-02-23T10:48:21Z)
• A Dataset and Benchmark for Copyright Infringement Unlearning from Text-to-Image Diffusion Models [52.49582606341111]
  著作権法は、クリエイティブ作品を再生、配布、収益化する排他的権利をクリエイターに与えている。 テキスト・ツー・イメージ・ジェネレーションの最近の進歩は、著作権の執行に重大な課題をもたらしている。 CLIP、ChatGPT、拡散モデルを調和させてデータセットをキュレートする新しいパイプラインを導入する。
  論文  参考訳（メタデータ） (2024-01-04T11:14:01Z)
• A Survey of Machine Unlearning [56.017968863854186]
  最近の規制では、要求に応じて、ユーザに関する個人情報をコンピュータシステムから削除する必要がある。 MLモデルは古いデータをよく記憶します。 機械学習に関する最近の研究は、この問題を完全に解決することはできなかった。
  論文  参考訳（メタデータ） (2022-09-06T08:51:53Z)
• Disentangling private classes through regularization [8.72305226979945]
  深層学習モデルのためのアプローチであるDisPを提案する。 DisPは、トレーニング時に同一のプライベートクラスに属する機能を非相関化し、プライベートクラスのメンバーシップの情報を隠蔽する正規化戦略である。 最先端のディープラーニングモデルを用いた実験により,DisPの有効性が示された。
  論文  参考訳（メタデータ） (2022-07-05T12:35:47Z)
• Representative & Fair Synthetic Data [68.8204255655161]
  公平性制約を自己監督学習プロセスに組み込むためのフレームワークを提示する。 私たちはuci成人国勢調査データセットの代表者および公正版を作成します。 我々は、代表的かつ公正な合成データを将来有望なビルディングブロックとみなし、歴史的世界ではなく、私たちが生きようとしている世界についてアルゴリズムを教える。
  論文  参考訳（メタデータ） (2021-04-07T09:19:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。