論文の概要: Concept-based Visual Counterfactual Explanations with Diffusion Models
- arxiv url: http://arxiv.org/abs/2607.22544v1
- Date: Tue, 05 May 2026 15:32:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-02 22:55:38.954449
- Title: Concept-based Visual Counterfactual Explanations with Diffusion Models
- Title（参考訳）: 拡散モデルを用いた概念に基づく視覚的対実的説明
- Abstract要約: C-VCEは、概念ボトルネック層を通じて、分類器を生成モデルに直接組み込む。
我々のモデルでは,サンプリング中にセマンティックな概念をオン/オフし,最小限のイメージ領域を調整できる。
CelebAのようなベンチマークでは、C-VCEは入力に視覚的に近い反事実を生成しながらフリップレートを一致または改善する。
- 参考スコア（独自算出の注目度）: 6.539386622516073
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Visual counterfactual explanations aim to answer "what minimal change to this image would flip the model's prediction?", and are increasingly important as vision models are deployed in safety-critical domains (e.g., medicine). Existing diffusion-based methods can produce realistic edits, but they rely on external classifiers that must work reliably on noisy images, which makes them fragile and hard to deploy for robust explanations. We introduce C-VCE, a new diffusion framework that builds the classifier directly into the generative model via a concept bottleneck layer, so that counterfactuals are guided by human-interpretable features (concepts) instead of a separate noise robust classifier that works with pixel-level edits. Our model lets users to toggle on/off semantic concepts during sampling, then minimally adjusts relevant image regions, while preserving the rest of the image, respecting feature correlations. To keep edits small and controlled, we add a simple probabilistic regularizer that balances "change the prediction" against "stay close to the original", plus a gradient-based mask that confines modifications to the most relevant regions. On benchmarks such as CelebA, C-VCE matches or improves flip rates while producing counterfactuals that are visually closer to the input and less distorted than baselines that depend on separate noisy-image classifiers. These properties make C-VCE a practical tool for vision systems where users need concrete "what-if" images without having to trust an additional, noise-robust classifier. More broadly, our results suggest that exposing and controlling an internal concept layer is a promising way to make powerful generative models easier to understand and safer to use.
- Abstract（参考訳）: 視覚的カウンターファクトの説明は、"この画像のどの最小限の変更がモデルの予測を覆すか?"という質問に答えることを目的としており、視覚モデルが安全クリティカルな領域(医療など)にデプロイされるにつれて、ますます重要になっている。
既存の拡散法ではリアルな編集が可能であるが、ノイズの多い画像に確実に対応しなければならない外部分類器に依存しているため、堅牢な説明のために脆弱でデプロイが難しい。
C-VCEは,概念ボトルネック層を介して生成モデルに直接分類器を組み込む新しい拡散フレームワークであり,画素レベルの編集で動作する別個のノイズ頑健な分類器ではなく,人間の解釈可能な特徴(概念)によって反事実を導出する。
我々のモデルでは,サンプリング中にセマンティックな概念をオン/オフし,画像の残りの部分を保存しながら,特徴相関を尊重しながら,関連する画像領域を最小限に調整することができる。
編集を小さくし、制御し続けるために、"オリジナルに近い状態"と"予測を変更する"単純な確率正則化器と、最も関連する領域への修正を限定する勾配ベースのマスクを加えます。
CelebAのようなベンチマークでは、C-VCEがフリップレートにマッチまたは改善する一方で、視覚的に入力に近づき、別々のノイズ画像分類器に依存するベースラインよりも歪まない偽物を生成する。
これらの特性により、C-VCEは、ユーザが付加的なノイズローバスト分類器を信頼することなく、具体的な「What-if」画像を必要とする視覚システムのための実用的なツールとなる。
より広範に、内部概念層を公開し、制御することは、強力な生成モデルをより理解し、より安全に使えるようにする、有望な方法である、と我々は示唆している。
関連論文リスト
- Where Does Generative Difficulty Reside? An Empirical Study of Target Representations [62.54876287800644]
ターゲット表現は、イメージジェネレータが学ぶ必要がある分布を定義するが、しばしば交換可能なインターフェースとして扱われる。
マスク付き自己回帰整流モデルにおいて,生画素,SD-VAE潜伏剤,DINOv2,MAE表現-オートエンコーダの特徴について検討した。
その結果, 圧縮, 再構成忠実度, トークン次元, 可視的セマンティッククラスタリングは生成挙動を個別に予測できないことがわかった。
論文 参考訳（メタデータ） (2026-08-01T12:32:31Z) - V-Co: A Closer Look at Visual Representation Alignment via Co-Denoising [65.5867130156805]
統合JTフレームワークにおける視覚的コデノゲーションの体系的研究であるV-Coについて述べる。
本研究は,視覚的コデノジングを効果的に行うための4つの重要な要素を明らかにする。
V-Coは、基礎となる画素空間拡散ベースラインと強い前の画素拡散法より優れている。
論文 参考訳（メタデータ） (2026-03-17T17:01:54Z) - Concept-Guided Fine-Tuning: Steering ViTs away from Spurious Correlations to Improve Robustness [16.541207762213272]
視覚変換器(ViT)は、しばしば急激な相関に依存するため、分布シフトによって劣化する。
概念レベルのセマンティクスに対する推論をモデル化する,新たなファインタニングフレームワークを提案する。
提案手法は,複数のViTモデル間のロバスト性を向上する。
論文 参考訳（メタデータ） (2026-03-09T12:31:14Z) - Looking in the mirror: A faithful counterfactual explanation method for interpreting deep image classification models [6.848183976353123]
Mirror-CFEは、分類器の特徴空間で直接操作することで忠実な反事実的説明を生成する。
ミラーCFEは、最先端の説明手法と比較して入力類似性を保ちながら、有効性を向上する。
論文 参考訳（メタデータ） (2025-09-20T22:21:20Z) - CAM-Seg: A Continuous-valued Embedding Approach for Semantic Image Generation [11.170848285659572]
量子化埋め込みを用いたセグメンテーションマスクのオートエンコーダ精度は連続数値埋め込みよりも8%低い。
セマンティックセグメンテーションのための連続評価組込みフレームワークを提案する。
提案手法では,細粒度のセマンティックな詳細を保存しながら,離散的な潜在表現の必要性を排除している。
論文 参考訳（メタデータ） (2025-03-19T18:06:54Z) - CoLa-DCE -- Concept-guided Latent Diffusion Counterfactual Explanations [2.3083192626377755]
概念誘導型遅延拡散対実例(CoLa-DCE)を紹介する。
CoLa-DCEは、概念選択と空間条件に関する高度な制御を持つ任意の分類器に対して、概念誘導対物を生成する。
我々は,複数の画像分類モデルとデータセットにまたがって,最小化と理解性のアプローチの利点を実証する。
論文 参考訳（メタデータ） (2024-06-03T14:27:46Z) - Masked Images Are Counterfactual Samples for Robust Fine-tuning [77.82348472169335]
微調整の深層学習モデルは、分布内(ID)性能と分布外(OOD)堅牢性の間のトレードオフにつながる可能性がある。
そこで本研究では,マスク付き画像を対物サンプルとして用いて,ファインチューニングモデルのロバスト性を向上させる新しいファインチューニング手法を提案する。
論文 参考訳（メタデータ） (2023-03-06T11:51:28Z) - Uncovering the Disentanglement Capability in Text-to-Image Diffusion
Models [60.63556257324894]
画像生成モデルの重要な特性は、異なる属性をアンタングルする能力である。
本稿では,2つのテキスト埋め込みの混合重みをスタイルマッチングとコンテンツ保存に最適化した,シンプルで軽量な画像編集アルゴリズムを提案する。
実験により,提案手法は拡散モデルに基づく画像編集アルゴリズムよりも優れた性能で,幅広い属性を修正可能であることが示された。
論文 参考訳（メタデータ） (2022-12-16T19:58:52Z) - Diffusion Visual Counterfactual Explanations [51.077318228247925]
VCE(Visual Counterfactual Explanations)は、画像の決定を理解するための重要なツールである。
VCEの生成に対する現在のアプローチは、逆向きに堅牢なモデルに制限されており、しばしば非現実的なアーティファクトを含んでいる。
本稿では、任意のイメージネット分類器に対して、視覚拡散対実説明(DVCE)を生成することでこれを克服する。
論文 参考訳（メタデータ） (2022-10-21T09:35:47Z) - Semantic Image Synthesis via Diffusion Models [174.24523061460704]
Denoising Diffusion Probabilistic Models (DDPM) は様々な画像生成タスクにおいて顕著な成功を収めた。
セマンティック画像合成に関する最近の研究は、主に事実上のGANベースのアプローチに従っている。
意味画像合成のためのDDPMに基づく新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2022-06-30T18:31:51Z) - Encoding Robustness to Image Style via Adversarial Feature Perturbations [72.81911076841408]
我々は、画像画素ではなく特徴統計を直接摂動することで、頑健なモデルを生成することで、敵の訓練に適応する。
提案手法であるAdvBN(Adversarial Batch Normalization)は,トレーニング中に最悪の機能摂動を発生させる単一ネットワーク層である。
論文 参考訳（メタデータ） (2020-09-18T17:52:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。