論文の概要: DriftScope: Measuring The Hidden Effects of Diffusion Model Adaptation
- arxiv url: http://arxiv.org/abs/2607.00183v1
- Date: Tue, 30 Jun 2026 20:57:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-02 19:56:07.639036
- Title: DriftScope: Measuring The Hidden Effects of Diffusion Model Adaptation
- Title(参考訳): DriftScope:拡散モデル適応の隠れ効果の測定
- Authors: Héctor Laria, Yiping Han, Julian D. Santamaria, Kai Wang, Bogdan Raducanu, Joost van de Weijer, Alexandra Gomez-Villa,
- Abstract要約: 新しい視覚概念を学習するか、望ましくないものを消去するか、事前学習したテキスト・画像拡散モデルに適応させることは、意図した効果だけで日常的に評価される。
適応が意味論的に無関係な概念を、構造的にメトリクスを集約することができない方法で体系的に損なうことを実証する。
DriftScopeは、任意の2つのモデルチェックポイントを取り込み、視覚的概念が最も移行したトークンのランクリストを返す、プロンプトレベルの診断ツールである。
- 参考スコア(独自算出の注目度): 50.584834483403675
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Adapting pre-trained text-to-image diffusion models, whether to learn new visual concepts or erase unwanted ones, is routinely evaluated on its intended effects alone. We argue this framing is incomplete. Through sparse autoencoder analysis and zero-shot classification, we demonstrate that adaptation systematically damages semantically unrelated concepts in ways that aggregate metrics structurally cannot surface: when damage is severe enough for FID and KID to respond, the model is already nearly unusable; when the model remains functional, FID and KID stay flat while specific classes silently suffer worst-case zero-shot accuracy drops of up to 18.9 points and concept-level distributions shift dramatically. This pattern appears at both ends of the adaptation spectrum (concept customization and concept unlearning), suggesting it is a systematic consequence of weight-level modification rather than an artifact of any particular method. To surface this hidden drift before deployment, we introduce DriftScope, a prompt-level diagnostic tool that takes any two model checkpoints and returns a ranked list of tokens whose visual concepts have shifted most between them. DriftScope optimizes a soft prompt to attribute drift at the token level without requiring access to real data or model internals. The result is an interpretable, concept-level audit that aggregate evaluation cannot provide.
- Abstract(参考訳): 新しい視覚概念を学習するか、望ましくないものを消去するか、事前学習したテキスト・画像拡散モデルに適応させることは、意図した効果だけで日常的に評価される。
私たちはこのフレーミングが不完全であると主張している。
スパースオートエンコーダ分析とゼロショット分類により、アダプティブ・アダプティブ・アダプティブ・アダプティブ・アダプティブ・アダプティブ・アダストリーズ・アダストリーズ・アダストリーズ・アダストリーズ・アダストリーズ・アダストリーズ・インダストリーズ・アダストリーズ・アダストリーズ・アダストリーズ・アダストリーズ・アダストリーズ・アダストリーズ・アダストリーズ・アダストリーズ・アダストリーズ・アダストリーズ・アダストリーズ・アダストリーズ・アダストリーズ・アダストリーズ・アダストリーズ・インダストリーズ(英語版)は、FIDとKIDとKIDの対応が十分に厳しい場合、モデルがほぼ使用不可能であることを示した。
このパターンは適応スペクトルの両端(概念のカスタマイズと概念の未学習)に現れ、これは特定の方法の人工物ではなく重量レベルの修正の体系的な結果であることを示している。
DriftScopeは、2つのモデルチェックポイントを取り、その間に最も視覚的概念がシフトしたトークンのランクリストを返す。
DriftScopeは、実際のデータやモデル内部へのアクセスを必要とせずに、トークンレベルでドリフトを属性するソフトプロンプトを最適化する。
その結果は、総合評価が提供できない解釈可能な概念レベルの監査となる。
関連論文リスト
- Cluster Analysis and Concept Drift Detection in Malware [1.3812010983144798]
概念ドリフト(concept drift)とは、機械学習モデルの精度に影響を与えるデータの特性の漸進的または突然の変化を指す。
マルウェア領域におけるコンセプトドリフトを検出するためのクラスタリングに基づく手法を提案し,解析する。
論文 参考訳(メタデータ) (2025-02-19T22:42:30Z) - Unsupervised Model Diagnosis [49.36194740479798]
本稿では,ユーザガイドを使わずに,意味論的対実的説明を生成するために,Unsupervised Model Diagnosis (UMO)を提案する。
提案手法は意味論における変化を特定し可視化し,その変化を広範囲なテキストソースの属性と照合する。
論文 参考訳(メタデータ) (2024-10-08T17:59:03Z) - SINDER: Repairing the Singular Defects of DINOv2 [61.98878352956125]
大規模なデータセットでトレーニングされたビジョントランスフォーマーモデルは、抽出したパッチトークンにアーティファクトを表示することが多い。
本稿では,小さなデータセットのみを用いて構造欠陥を補正するスムーズなスムーズな正規化を提案する。
論文 参考訳(メタデータ) (2024-07-23T20:34:23Z) - A Neighbor-Searching Discrepancy-based Drift Detection Scheme for Learning Evolving Data [40.00357483768265]
本研究では,Nighbor-Searching Discrepancyに基づく新しい概念ドリフト検出手法を提案する。
提案手法は,仮想ドリフトを無視しながら,実概念ドリフトを高精度に検出することができる。
また、ある階級の侵略や撤退を特定することで、分類境界の変化の方向を示すこともできる。
論文 参考訳(メタデータ) (2024-05-23T04:03:36Z) - Combating Concept Drift with Explanatory Detection and Adaptation for Android Malware Classification [17.399454244765842]
DREAMはドリフトの検出を改善し、説明適応プロセスを確立する新しいシステムである。
評価の結果,DREAMはドリフト検出精度を効果的に向上し,適応における専門家分析の労力を削減できることがわかった。
論文 参考訳(メタデータ) (2024-05-07T07:55:45Z) - CADM: Confusion Model-based Detection Method for Real-drift in Chunk
Data Stream [3.0885191226198785]
コンセプトドリフト検出は、健康モニタリングや故障診断といった現実の多くの応用において重要であることから、かなりの注目を集めている。
本稿では,概念的混乱に基づく限定アノテーションを用いて,チャンクデータストリーム内のリアルタイムドリフトを検出する手法を提案する。
論文 参考訳(メタデータ) (2023-03-25T08:59:27Z) - Augment and Criticize: Exploring Informative Samples for Semi-Supervised
Monocular 3D Object Detection [64.65563422852568]
我々は、一般的な半教師付きフレームワークを用いて、難解な単分子3次元物体検出問題を改善する。
我々は、ラベルのないデータから豊富な情報的サンプルを探索する、新しい、シンプルで効果的なAugment and Criticize'フレームワークを紹介します。
3DSeMo_DLEと3DSeMo_FLEXと呼ばれる2つの新しい検出器は、KITTIのAP_3D/BEV(Easy)を3.5%以上改善した。
論文 参考訳(メタデータ) (2023-03-20T16:28:15Z) - Consistent Diffusion Models: Mitigating Sampling Drift by Learning to be
Consistent [97.64313409741614]
本稿では, モデルが生成したデータ上での予測が時間とともに一定であることを示す, 両立性特性を強制することを提案する。
CIFAR-10の条件および非条件生成とAFHQとFFHQのベースライン改良について,本研究の新たな訓練目標が得られた。
論文 参考訳(メタデータ) (2023-02-17T18:45:04Z) - Self-Supervised Training with Autoencoders for Visual Anomaly Detection [61.62861063776813]
我々は, 正規サンプルの分布を低次元多様体で支持する異常検出において, 特定のユースケースに焦点を当てた。
我々は、訓練中に識別情報を活用する自己指導型学習体制に適応するが、通常の例のサブ多様体に焦点をあてる。
製造領域における視覚異常検出のための挑戦的なベンチマークであるMVTec ADデータセットで、最先端の新たな結果を達成する。
論文 参考訳(メタデータ) (2022-06-23T14:16:30Z) - Detecting Concept Drift With Neural Network Model Uncertainty [0.0]
不確実ドリフト検出(UDD)は、真のラベルにアクセスすることなくドリフトを検出することができる。
入力データに基づくドリフト検出とは対照的に,現在の入力データが予測モデルの特性に与える影響を考察する。
UDDは2つの合成および10の実世界のデータセットにおいて、回帰処理と分類処理の両方において、他の最先端戦略よりも優れていることを示す。
論文 参考訳(メタデータ) (2021-07-05T08:56:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。