論文の概要: Targeted Forgetting of Image Subgroups in CLIP Models

• arxiv url: http://arxiv.org/abs/2506.03117v1
• Date: Tue, 03 Jun 2025 17:50:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-04 21:47:35.971973
• Title: Targeted Forgetting of Image Subgroups in CLIP Models
• Title（参考訳）: CLIPモデルにおける画像サブグループの目標設定
• Authors: Zeliang Zhang, Gaowen Liu, Charles Fleming, Ramana Rao Kompella, Chenliang Xu,
• Abstract要約: CLIPのようなファンデーションモデル(FM)は、様々なタスクで印象的なゼロショット性能を示している。 彼らはしばしば、ノイズの多いインターネットソースのデータセットから有害または望ましくない知識を継承する。 既存のモデルアンラーニングメソッドは、事前訓練されたデータセットへのアクセスに依存するか、あるいは粗い粒度のアンラーニングにフォーカスする。 過剰な鍛造を省きながら、対象とする知識を徐々に解き放つ新しい3段階アプローチを提案する。
• 参考スコア（独自算出の注目度）: 30.78624907082701
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Foundation models (FMs) such as CLIP have demonstrated impressive zero-shot performance across various tasks by leveraging large-scale, unsupervised pre-training. However, they often inherit harmful or unwanted knowledge from noisy internet-sourced datasets, compromising their reliability in real-world applications. Existing model unlearning methods either rely on access to pre-trained datasets or focus on coarse-grained unlearning (e.g., entire classes), leaving a critical gap for fine-grained unlearning. In this paper, we address the challenging scenario of selectively forgetting specific portions of knowledge within a class, without access to pre-trained data, while preserving the model's overall performance. We propose a novel three-stage approach that progressively unlearns targeted knowledge while mitigating over-forgetting. It consists of (1) a forgetting stage to fine-tune the CLIP on samples to be forgotten, (2) a reminding stage to restore performance on retained samples, and (3) a restoring stage to recover zero-shot capabilities using model souping. Additionally, we introduce knowledge distillation to handle the distribution disparity between forgetting, retaining samples, and unseen pre-trained data. Extensive experiments on CIFAR-10, ImageNet-1K, and style datasets demonstrate that our approach effectively unlearns specific subgroups while maintaining strong zero-shot performance on semantically similar subgroups and other categories, significantly outperforming baseline unlearning methods, which lose effectiveness under the CLIP unlearning setting.
• Abstract（参考訳）: CLIPのようなファンデーションモデル(FM)は、大規模で教師なしの事前トレーニングを活用することで、様々なタスクにわたって印象的なゼロショットのパフォーマンスを実証している。 しかし、それらはしばしば、ノイズの多いインターネットソースデータセットから有害または望ましくない知識を継承し、現実のアプリケーションにおける信頼性を損なう。 既存のモデルアンラーニングメソッドは、事前訓練されたデータセットへのアクセスに依存するか、粗い粒度のアンラーニング(クラス全体など)にフォーカスする。 本稿では,モデル全体の性能を保ちながら,事前学習されたデータにアクセスすることなく,クラス内の特定の知識を選択的に忘れてしまうという課題に対処する。 過剰な鍛造を省きながら、対象とする知識を徐々に解き放つ新しい3段階アプローチを提案する。 これは、(1)忘れられるサンプルにCLIPを微調整する忘れステージ、(2)保持されたサンプルのパフォーマンスを復元するリマインドステージ、(3)モデルスープを使用してゼロショット機能を回復する回復ステージからなる。 さらに, 知識蒸留を導入して, 忘れ, サンプル保持, 未学習データ間の分布格差を解消する。 CIFAR-10, ImageNet-1K, スタイルデータセットの大規模な実験により, セマンティックに類似したサブグループや他のカテゴリにおいて, 強力なゼロショット性能を維持しつつ, 特定のサブグループを効果的に解放し, ベースラインのアンラーニング手法を著しく上回っており, CLIPアンラーニング環境では有効性が失われていることが示された。

関連論文リスト

• Federated Unlearning Model Recovery in Data with Skewed Label Distributions [10.236494861079779]
  本稿では,スキューラベル分布を用いたフェデレーション・アンラーニングの回復手法を提案する。 まず、難解なクラスデータを補うために、深層学習とオーバーサンプリングを組み込んだ戦略を採用する。 そして、密度に基づく復調法を適用して、生成されたデータからノイズを除去する。 残りのすべてのクライアントは、強化されたローカルデータセットを活用し、未学習モデルのパフォーマンスを効果的に回復するための反復的なトレーニングに従事します。
  論文  参考訳（メタデータ） (2024-12-18T03:25:11Z)
• Data Adaptive Traceback for Vision-Language Foundation Models in Image Classification [34.37262622415682]
  我々はData Adaptive Tracebackと呼ばれる新しい適応フレームワークを提案する。 具体的には、ゼロショット法を用いて、事前学習データの最もダウンストリームなタスク関連サブセットを抽出する。 我々は、擬似ラベルに基づく半教師付き手法を採用し、事前学習画像の再利用と、半教師付き学習における確証バイアス問題に対処するための視覚言語コントラスト学習手法を提案する。
  論文  参考訳（メタデータ） (2024-07-11T18:01:58Z)
• Lightweight Unsupervised Federated Learning with Pretrained Vision Language Model [32.094290282897894]
  フェデレートラーニングは、物理的に孤立したクライアントから、ユーザのデータのプライバシを保護しながら、集合モデルをトレーニングすることを目的としている。 本稿では,各クライアントのラベルのないデータを活用して,軽量なモデルトレーニングとコミュニケーションを行う,軽量な非教師付きフェデレーション学習手法を提案する。 提案手法は,CLIPのゼロショット予測と比較してモデル性能を大幅に向上させるとともに,教師付きフェデレーション学習ベンチマーク手法よりも優れる。
  論文  参考訳（メタデータ） (2024-04-17T03:42:48Z)
• Partially Blinded Unlearning: Class Unlearning for Deep Networks a Bayesian Perspective [4.31734012105466]
  マシン・アンラーニング(英: Machine Unlearning)とは、特定のデータセットやクラスに指定された情報を事前訓練されたモデルから選択的に破棄するプロセスである。 本研究では,事前学習した分類ネットワークから,特定の種類のデータに関連付けられた情報の目的的除去に適した手法を提案する。 本手法は,従来の最先端の未学習手法を超越し,優れた有効性を示す。
  論文  参考訳（メタデータ） (2024-03-24T17:33:22Z)
• RanPAC: Random Projections and Pre-trained Models for Continual Learning [59.07316955610658]
  継続学習(CL)は、古いタスクを忘れずに、非定常データストリームで異なるタスク(分類など)を学習することを目的としている。 本稿では,事前学習モデルを用いたCLの簡潔かつ効果的なアプローチを提案する。
  論文  参考訳（メタデータ） (2023-07-05T12:49:02Z)
• ALP: Action-Aware Embodied Learning for Perception [60.64801970249279]
  認知のための行動認識型身体学習(ALP)について紹介する。 ALPは、強化学習ポリシーと逆ダイナミクス予測目標を最適化することにより、行動情報を表現学習に組み込む。 ALPは、複数の下流認識タスクにおいて、既存のベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-06-16T21:51:04Z)
• Retrieval-Enhanced Contrastive Vision-Text Models [61.783728119255365]
  そこで本研究では,メモリから取得したクロスモーダルな情報を推論時に表現することで,その埋め込みを洗練できる視覚テキストモデルを提案する。 注目すべきことに、これは凍ったCLIPの上に軽量の単層核融合トランスを用いて行うことができる。 検索強化コントラスト訓練(RECO)がCLIPの性能を大幅に向上することを示す。
  論文  参考訳（メタデータ） (2023-06-12T15:52:02Z)
• Getting More Juice Out of Your Data: Hard Pair Refinement Enhances Visual-Language Models Without Extra Data [122.282521548393]
  コントラスト言語-画像事前学習 (CLIP) は, クロスモーダルな画像-テキスト表現学習の標準となっている。 HELIPは、CLIPモデルを改善するためのコスト効率のよい戦略であり、継続的なトレーニングにおいて既存のデータセット内の挑戦的なテキストイメージペアを利用することで、CLIPモデルを改善する。
  論文  参考訳（メタデータ） (2023-05-09T07:00:17Z)
• Masked Unsupervised Self-training for Zero-shot Image Classification [98.23094305347709]
  Masked Unsupervised Self-Training (MUST)は、疑似ラベルと生画像という2つの異なる、補完的な監督源を活用する新しいアプローチである。 MUSTはCLIPを大きなマージンで改善し、教師なしと教師なしの分類のパフォーマンスギャップを狭める。
  論文  参考訳（メタデータ） (2022-06-07T02:03:06Z)
• Open-Set Semi-Supervised Learning for 3D Point Cloud Understanding [62.17020485045456]
  半教師付き学習(SSL)では、ラベル付きデータと同じ分布からラベル付きデータが引き出されることが一般的である。 サンプル重み付けによりラベルなしデータを選択的に活用することを提案する。
  論文  参考訳（メタデータ） (2022-05-02T16:09:17Z)
• CLASTER: Clustering with Reinforcement Learning for Zero-Shot Action Recognition [52.66360172784038]
  各インスタンスを個別に最適化するのではなく,すべてのトレーニングサンプルを同時に考慮したクラスタリングモデルを提案する。 提案手法をCLASTERと呼び,すべての標準データセットの最先端性を常に改善することを確認する。
  論文  参考訳（メタデータ） (2021-01-18T12:46:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。