論文の概要: SALMUBench: A Benchmark for Sensitive Association-Level Multimodal Unlearning
- arxiv url: http://arxiv.org/abs/2603.26316v1
- Date: Fri, 27 Mar 2026 11:33:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-30 21:49:48.469169
- Title: SALMUBench: A Benchmark for Sensitive Association-Level Multimodal Unlearning
- Title(参考訳): SALMUBench: センシティブなアソシエーションレベルのマルチモーダル・アンラーニングのためのベンチマーク
- Authors: Cai Selvas-Sala, Lei Kang, Lluis Gomez,
- Abstract要約: SALMUBench (Sensitive Association-Level Multimodal Unlearning, SALMUBench) は、60Kのペルソナ属性アソシエーションの合成データセット上に構築されたベンチマークである。
アンラーニング効果を分離するためには、どちらも同じ400Mペアレザーブベースでゼロからトレーニングされる。
構造化されたホールドアウト・セット(ホールドアウト・アイデンティティ、ホールドアウト・アソシエーション)を用いて、未学習の有効性と副作用を正確に測定する新しい評価プロトコルを提案する。
- 参考スコア(独自算出の注目度): 1.9342545005503784
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As multimodal models like CLIP become integral to downstream systems, the need to remove sensitive information is critical. However, machine unlearning for contrastively-trained encoders remains underexplored, and existing evaluations fail to diagnose fine-grained, association-level forgetting. We introduce SALMUBench (Sensitive Association-Level Multimodal Unlearning), a benchmark built upon a synthetic dataset of 60K persona-attribute associations and two foundational models: a Compromised model polluted with this data, and a Clean model without it. To isolate unlearning effects, both are trained from scratch on the same 400M-pair retain base, with the Compromised model additionally trained on the sensitive set. We propose a novel evaluation protocol with structured holdout sets (holdout identity, holdout association) to precisely measure unlearning efficacy and collateral damage. Our benchmark reveals that while utility-efficient deletion is feasible, current methods exhibit distinct failure modes: they either fail to forget effectively or over-generalize by erasing more than intended. SALMUBench sets a new standard for comprehensive unlearning evaluation, and we publicly release our dataset, models, evaluation scripts, and leaderboards to foster future research.
- Abstract(参考訳): CLIPのようなマルチモーダルモデルが下流システムに不可欠なものになると、機密情報を削除する必要が重要になる。
しかし、対照的に訓練されたエンコーダの機械学習は未学習のままであり、既存の評価では粒度の細かい関連レベルの忘れを診断できない。
SALMUBench (Sensitive Association-Level Multimodal Unlearning) は60Kのペルソナ属性アソシエーションの合成データセットと2つの基礎モデルに基づいて構築されたベンチマークである。
非学習効果を分離するために、どちらも同一の400Mペアレザーブベースでスクラッチからトレーニングされ、センシティブなセットでCompromizedモデルが追加でトレーニングされる。
構造化されたホールドアウト・セット(ホールドアウト・アイデンティティ、ホールドアウト・アソシエーション)を用いて、未学習の有効性と副作用を正確に測定する新しい評価プロトコルを提案する。
我々のベンチマークでは、ユーティリティ効率の低下は実現可能であるが、現在の手法では、効果的に忘れたり、意図以上の消去を行うことで、過度に一般化できないという、明確な障害モードが示されている。
SALMUBenchは、総合的なアンラーニング評価のための新しい標準を設定し、将来の研究を促進するために、データセット、モデル、評価スクリプト、リーダーボードを公開します。
関連論文リスト
- Hierarchical Self-Supervised Representation Learning for Depression Detection from Speech [51.14752758616364]
音声による抑うつ検出 (SDD) は、従来の臨床評価に代わる有望で非侵襲的な代替手段である。
HAREN-CTCは,マルチタスク学習フレームワーク内でのクロスアテンションを用いて,多層SSL機能を統合した新しいアーキテクチャである。
このモデルはDAIC-WOZで0.81、MODMAで0.82の最先端マクロF1スコアを達成し、両方の評価シナリオで先行手法より優れている。
論文 参考訳(メタデータ) (2025-10-05T09:32:12Z) - Unlearning That Lasts: Utility-Preserving, Robust, and Almost Irreversible Forgetting in LLMs [31.768387661474904]
大規模言語モデル(LLM)におけるアンラーニングでは、事前訓練されたモデルから特定の情報を正確に除去する。
これは、事前訓練中に取得した個人データや有害な知識を削除することで、LLMの安全性を確保するために重要である。
JensUnを導入し、Jensen-Shannon Divergenceをセットを忘れたり、保持したりするためのトレーニングの目的として活用する。
大規模な実験では、JensUnは競合するメソッドよりも忘れやすいトレードオフを実現し、再学習に強いレジリエンスを示しています。
論文 参考訳(メタデータ) (2025-09-02T20:38:53Z) - Unlearning Isn't Deletion: Investigating Reversibility of Machine Unlearning in LLMs [38.837810490068556]
大規模言語モデル(LLM)におけるアンラーニングは、指定されたデータを削除することを目的としているが、その効果は通常、正確性や複雑度のようなタスクレベルのメトリクスで評価される。
最小限の微調整によって元の動作が容易に復元される間、モデルは忘れることができることを実証する。
この表現可能性の現象は、情報は単に抑圧されているだけであり、真に消去されていないことを示唆している。
論文 参考訳(メタデータ) (2025-05-22T16:02:10Z) - UPCORE: Utility-Preserving Coreset Selection for Balanced Unlearning [57.081646768835704]
ユーザ仕様や法的フレームワークは、しばしば、大きな言語モデル(LLM)を含む、事前訓練されたモデルから削除される情報を必要とする。
これは、既に訓練済みのモデルからデータポイントのセットを削除または"偽造"する必要がある。
本研究では,非学習時の副次的損傷を軽減するための手法に依存しないデータ選択フレームワークUPCOREを提案する。
論文 参考訳(メタデータ) (2025-02-20T22:51:10Z) - Towards Effective Evaluations and Comparisons for LLM Unlearning Methods [97.2995389188179]
本稿では,大規模言語モデルにおける機械学習評価の精度向上を図る。
評価指標の堅牢性と、競合する目標間のトレードオフという、2つの重要な課題に対処します。
論文 参考訳(メタデータ) (2024-06-13T14:41:00Z) - Partially Blinded Unlearning: Class Unlearning for Deep Networks a Bayesian Perspective [4.31734012105466]
マシン・アンラーニング(英: Machine Unlearning)とは、特定のデータセットやクラスに指定された情報を事前訓練されたモデルから選択的に破棄するプロセスである。
本研究では,事前学習した分類ネットワークから,特定の種類のデータに関連付けられた情報の目的的除去に適した手法を提案する。
本手法は,従来の最先端の未学習手法を超越し,優れた有効性を示す。
論文 参考訳(メタデータ) (2024-03-24T17:33:22Z) - Generative Adversarial Networks Unlearning [13.342749941357152]
機械学習は、訓練された機械学習モデルからトレーニングデータを消去するソリューションとして登場した。
GAN(Generative Adversarial Networks)の研究は、ジェネレータと識別器を含む独自のアーキテクチャによって制限されている。
本稿では,GANモデルにおける項目学習とクラス学習の両方を対象としたケースドアンラーニング手法を提案する。
論文 参考訳(メタデータ) (2023-08-19T02:21:21Z) - Learning Prompt-Enhanced Context Features for Weakly-Supervised Video
Anomaly Detection [37.99031842449251]
弱い監督下での映像異常検出は重大な課題を呈する。
本稿では,効率的なコンテキストモデリングとセマンティック識別性の向上に焦点をあてた,弱教師付き異常検出フレームワークを提案する。
提案手法は,特定の異常なサブクラスの検出精度を大幅に向上させ,その実用的価値と有効性を裏付けるものである。
論文 参考訳(メタデータ) (2023-06-26T06:45:16Z) - Bring Your Own Data! Self-Supervised Evaluation for Large Language
Models [52.15056231665816]
大規模言語モデル(LLM)の自己教師型評価のためのフレームワークを提案する。
閉書知識,毒性,長期文脈依存性を測定するための自己指導型評価戦略を実証する。
自己監督評価と人監督評価との間には強い相関関係が認められた。
論文 参考訳(メタデータ) (2023-06-23T17:59:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。