論文の概要: eval-unlearn: Benchmarking unlearning in Text-to-Image Diffusion Models
- arxiv url: http://arxiv.org/abs/2609.35269v1
- Date: Mon, 28 Sep 2026 14:25:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-02 07:00:15.160234
- Title: eval-unlearn: Benchmarking unlearning in Text-to-Image Diffusion Models
- Title(参考訳): eval-unlearn: テキストから画像への拡散モデルにおけるアンラーニングのベンチマーク
- Abstract要約: 本稿では,T2I拡散モデルにおける概念アンラーニングのためのベンチマークフレームワークeval-Unlearnを提案する。
eval-Unlearnは、微調整、クローズドフォームモデル編集、推論時間介入にまたがる12の未学習テクニックを統合している。
プラグインアーキテクチャにより、コアフレームワークを変更することなく、サードパーティのテクニックやメトリクスを自己登録できる。
- 参考スコア(独自算出の注目度): 2.504267725838901
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The rising number of concept unlearning techniques for text-to-image (T2I) diffusion models has produced a fragmented evaluation landscape. Methods are assessed under heterogeneous experimental conditions making principled cross-method comparison difficult. We present eval-unlearn, an open-source Python library providing a unified, reproducible benchmarking framework for concept unlearning in T2I Diffusion models. eval-unlearn integrates twelve published unlearning techniques spanning fine-tuning, closed-form model editing, and inference-time intervention, alongside nine complementary evaluation metrics covering erasure efficacy, adversarial robustness, generative quality, and concept retention. Its plugin architecture lets third-party techniques and metrics self-register without modifying the core framework, and its streaming, batched pipeline supports efficient evaluation of both standard NSFW concepts and arbitrary general concepts. As a further contribution, we release a public leaderboard on HuggingFace along with an interactive tool for real-time evaluation of unlearning techniques. The leaderboard compares nudity concept erasure case study across all twelve techniques, exposing significant accuracy-quality trade-offs that are obscured by heterogeneous evaluation. eval-unlearn is released under the MIT license; the package, code, leaderboard, and documentation are all available at https://eval-unlearn.readthedocs.io.
- Abstract(参考訳): テキスト・ツー・イメージ(T2I)拡散モデルにおける非学習的概念の増大は,断片的な評価環境を生み出している。
不均一な実験条件下での手法の評価は、原理的クロスメソッド比較を困難にしている。
我々は,T2I拡散モデルにおける概念未学習のための統一的で再現可能なベンチマークフレームワークを提供する,オープンソースのPythonライブラリであるeval-Unlearnを紹介する。
eval-Unlearnは、細調整、クローズドフォームモデル編集、推論時間介入を含む12の未学習のテクニックと、消去効果、対向的堅牢性、生成品質、概念保持を含む9つの相補的評価指標を統合している。
プラグインアーキテクチャにより、コアフレームワークを変更することなく、サードパーティのテクニックやメトリクスを自己登録することができる。
さらなるコントリビューションとして、HuggingFace上の公開リーダボードと、非学習テクニックのリアルタイム評価のためのインタラクティブツールをリリースする。
リーダーボードは、12のテクニックすべてでヌードの概念消去ケーススタディを比較し、不均一な評価によって隠蔽される重要な精度品質のトレードオフを明らかにする。
eval-unlearnはMITライセンス下でリリースされている。パッケージ、コード、リーダーボード、ドキュメントはすべてhttps://eval-unlearn.readthedocs.ioで公開されている。
関連論文リスト
- EvaNet: Towards More Efficient and Consistent Infrared and Visible Image Fusion Assessment [63.853717062482815]
画像融合研究において評価は不可欠であるが、既存の指標のほとんどは、適切な適応なしに他の視覚タスクから直接借用されている。
画像融合に適した統合評価フレームワークを提案する。
我々の学習に基づく評価パラダイムは、様々な標準画像融合ベンチマークにおいて、優れた効率(最大1000倍高速)とより優れた一貫性を提供する。
論文 参考訳(メタデータ) (2026-04-03T09:12:16Z) - Unlearning or Concealment? A Critical Analysis and Evaluation Metrics for Unlearning in Diffusion Models [7.9993879763024065]
本稿では,拡散モデルにおける未学習の5つの手法の理論的,実証的研究について述べる。
概念検索スコア(textbfCRS)と概念信頼スコア(textbfCCS)の2つの新しい評価指標を導入する。
論文 参考訳(メタデータ) (2024-09-09T14:38:31Z) - MUC: Machine Unlearning for Contrastive Learning with Black-box Evaluation [33.418062986773606]
本稿では,Machine Unlearning for Contrastive Learning(MUC)フレームワークを導入し,既存の手法を適用した。
いくつかの手法が未学習者として不十分に動作し、既存の評価ツールが対照的な学習における未学習効果を検証していることに注意して、現在のアプローチにおける制限を識別する。
我々は、ACが最先端のパフォーマンスを達成し、正確な未学習(リトレーニング)を近似し、データ所有者がブラックボックス評価によって未学習効果を明確に可視化できることを実証した。
論文 参考訳(メタデータ) (2024-06-05T19:55:45Z) - A Comprehensive Empirical Evaluation on Online Continual Learning [20.39495058720296]
オンライン連続学習に取り組む文献から手法を評価する。
画像分類の文脈におけるクラスインクリメンタル設定に焦点をあてる。
これらの手法をSplit-CIFAR100とSplit-TinyImagenetベンチマークで比較する。
論文 参考訳(メタデータ) (2023-08-20T17:52:02Z) - Preserving Knowledge Invariance: Rethinking Robustness Evaluation of Open Information Extraction [49.15931834209624]
実世界におけるオープン情報抽出モデルの評価をシミュレートする最初のベンチマークを示す。
我々は、それぞれの例が知識不変のcliqueである大規模なテストベッドを設計し、注釈付けする。
さらにロバスト性計量を解明することにより、その性能が全体の傾きに対して一貫して正確であるならば、モデルはロバストであると判断される。
論文 参考訳(メタデータ) (2023-05-23T12:05:09Z) - Weighted Ensemble Self-Supervised Learning [67.24482854208783]
組み立ては、モデルパフォーマンスを高めるための強力なテクニックであることが証明されている。
我々は,データ依存型重み付きクロスエントロピー損失を許容するフレームワークを開発した。
提案手法は、ImageNet-1K上での複数の評価指標において、両者に優れる。
論文 参考訳(メタデータ) (2022-11-18T02:00:17Z) - Just Rank: Rethinking Evaluation with Word and Sentence Similarities [105.5541653811528]
埋め込みの本質的な評価は かなり遅れています そして過去10年間 重要な更新は行われていません
本稿ではまず,単語と文の埋め込み評価におけるゴールドスタンダードとして意味的類似性を用いた問題点を指摘する。
本稿では,下流タスクとより強い相関関係を示すEvalRankという本質的な評価手法を提案する。
論文 参考訳(メタデータ) (2022-03-05T08:40:05Z) - Learning by Distillation: A Self-Supervised Learning Framework for
Optical Flow Estimation [71.76008290101214]
DistillFlowは光の流れを学ぶための知識蒸留手法である。
KITTIとSintelの両方のデータセット上で、最先端の教師なし学習性能を実現する。
我々のモデルは、KITTI 2015ベンチマークにおけるすべての単分子的手法の中で、第1位にランクされ、Sintel Finalベンチマークで発表されたすべてのメソッドよりも優れています。
論文 参考訳(メタデータ) (2021-06-08T09:13:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。