論文の概要: Contrastive Unlearning: A Contrastive Approach to Machine Unlearning

• arxiv url: http://arxiv.org/abs/2401.10458v1
• Date: Fri, 19 Jan 2024 02:16:30 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-22 17:09:06.892087
• Title: Contrastive Unlearning: A Contrastive Approach to Machine Unlearning
• Title（参考訳）: コントラスト的アンラーニング: 機械的アンラーニングに対するコントラスト的アプローチ
• Authors: Hong kyu Lee, Qiuchen Zhang, Carl Yang, Jian Lou, Li Xiong
• Abstract要約: 本研究では,表現学習の概念を有効活用する,対照的な非学習フレームワークを提案する。 その結果,非学習の非学習効果と効率性は,最先端のアルゴリズムと比較して低い結果が得られた。
• 参考スコア（独自算出の注目度）: 30.38966646250252
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Machine unlearning aims to eliminate the influence of a subset of training samples (i.e., unlearning samples) from a trained model. Effectively and efficiently removing the unlearning samples without negatively impacting the overall model performance is still challenging. In this paper, we propose a contrastive unlearning framework, leveraging the concept of representation learning for more effective unlearning. It removes the influence of unlearning samples by contrasting their embeddings against the remaining samples so that they are pushed away from their original classes and pulled toward other classes. By directly optimizing the representation space, it effectively removes the influence of unlearning samples while maintaining the representations learned from the remaining samples. Experiments on a variety of datasets and models on both class unlearning and sample unlearning showed that contrastive unlearning achieves the best unlearning effects and efficiency with the lowest performance loss compared with the state-of-the-art algorithms.
• Abstract（参考訳）: 機械学習は、訓練されたモデルからトレーニングサンプルのサブセット(すなわち、未学習サンプル)の影響を取り除くことを目的としている。 モデル全体のパフォーマンスに悪影響を与えることなく、非学習サンプルを効果的かつ効率的に除去することは依然として難しい。 本稿では,表現学習の概念を有効活用する,対照的な非学習フレームワークを提案する。 組込みを残りのサンプルと対比することで、未学習のサンプルの影響を排除し、元のクラスから追い出され、他のクラスに引っ張られる。 表現空間を直接最適化することにより、未学習サンプルの影響を効果的に除去し、残りのサンプルから学んだ表現を維持できる。 クラスアンラーニングとサンプルアンラーニングの両方で、さまざまなデータセットとモデルの実験により、対照的なアンラーニングは、最先端のアルゴリズムと比較して、最高のアンラーニング効果と効率を達成できることを示した。

関連論文リスト

• Dissecting Misalignment of Multimodal Large Language Models via Influence Function [12.832792175138241]
  コントラスト損失に対する拡張影響関数 (ECIF) を導入し, コントラスト損失に対する影響関数について検討した。 ECIFは正と負の両方のサンプルを考慮し、対照的な学習モデルの閉形式近似を提供する。 ECIFを基盤として,MLLMにおけるデータ評価,誤アライメント検出,誤予測トレースバックタスクなどの一連のアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2024-11-18T15:45:41Z)
• Unlearning in- vs. out-of-distribution data in LLMs under gradient-based method [31.268301764230525]
  この研究は、生成モデルにおける未学習の品質を評価するための指標を定式化する。 学習しない品質とパフォーマンスのトレードオフを評価するために、それを使用します。 さらに,古典的漸進的アプローチの下で,サンプルの記憶と難易度が未学習にどのように影響するかを評価する。
  論文  参考訳（メタデータ） (2024-11-07T03:02:09Z)
• Model Sparsity Can Simplify Machine Unlearning [33.18951938708467]
  最近のデータ規制要件に応えて、マシン・アンラーニング(MU)が重要なプロセスとして登場した。 本研究は,ウェイトプルーニングによるモデルスペーシフィケーションという,新しいモデルベース視点を紹介する。 理論と実践の両方において、モデルスパーシティは、近似アンラーナーのマルチ基準アンラーニング性能を高めることができることを示す。
  論文  参考訳（メタデータ） (2023-04-11T02:12:02Z)
• Mind Your Outliers! Investigating the Negative Impact of Outliers on Active Learning for Visual Question Answering [71.15403434929915]
  視覚的質問応答のタスクにおいて、5つのモデルと4つのデータセットにまたがって、多種多様な能動的学習アプローチがランダム選択を上回りません。 アクティブな学習手法が好まれるが、モデルは学習に失敗する例の集まりである。 本研究では,アクティブ学習プールにおける集団外乱の減少に伴い,アクティブ学習サンプル効率が著しく向上することを示す。
  論文  参考訳（メタデータ） (2021-07-06T00:52:11Z)
• Incremental False Negative Detection for Contrastive Learning [95.68120675114878]
  本稿では,自己指導型コントラスト学習のための新たな偽陰性検出手法を提案する。 対照的な学習では、検出された偽陰性を明示的に除去する2つの戦略について議論する。 提案手法は,制限された計算内での複数のベンチマークにおいて,他の自己教師付きコントラスト学習フレームワークよりも優れる。
  論文  参考訳（メタデータ） (2021-06-07T15:29:14Z)
• Self-Damaging Contrastive Learning [92.34124578823977]
  ラベルのないデータは一般に不均衡であり、長い尾の分布を示す。 本稿では,クラスを知らずに表現学習を自動的にバランスをとるための,自己学習コントラスト学習という原則的枠組みを提案する。 実験の結果,SDCLRは全体としての精度だけでなく,バランス性も著しく向上することがわかった。
  論文  参考訳（メタデータ） (2021-06-06T00:04:49Z)
• Solving Inefficiency of Self-supervised Representation Learning [87.30876679780532]
  既存のコントラスト学習法は、非常に低い学習効率に苦しむ。 アンダークラスタリングとオーバークラスタリングの問題は、学習効率の大きな障害である。 中央三重項損失を用いた新しい自己監督学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-04-18T07:47:10Z)
• Doubly Contrastive Deep Clustering [135.7001508427597]
  本稿では、サンプルビューとクラスビューの両方でコントラスト損失を構築する新しい二重コントラストディープクラスタリング(DCDC)フレームワークを紹介します。 具体的には、サンプルビューに対して、元のサンプルとその拡張バージョンのクラス分布を正のサンプルペアとして設定する。 クラスビューでは、クラスのサンプル分布から正のペアと負のペアを構築します。 このように、2つのコントラスト損失は、サンプルとクラスレベルでのミニバッチサンプルのクラスタリング結果をうまく制限します。
  論文  参考訳（メタデータ） (2021-03-09T15:15:32Z)
• Coded Machine Unlearning [34.08435990347253]
  学習フェーズの前にデータセットを線形に符号化する符号化学習プロトコルを提案する。 また, 符号化学習モデルのアンラーニングプロトコルについて述べるとともに, 完全なアンラーニングを実現するための提案プロトコルの成功について考察する。
  論文  参考訳（メタデータ） (2020-12-31T17:20:34Z)
• Contrastive Learning with Hard Negative Samples [80.12117639845678]
  我々は, 厳密な陰性サンプルを選択するために, 教師なしサンプリング手法を新たに開発する。 このサンプリングの制限ケースは、各クラスをしっかりとクラスタ化し、可能な限り異なるクラスを遠くにプッシュする表現をもたらす。 提案手法は、複数のモードをまたいだダウンストリーム性能を改善し、実装するコード行数が少なく、計算オーバーヘッドを伴わない。
  論文  参考訳（メタデータ） (2020-10-09T14:18:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。