論文の概要: DEXTER: Diffusion-Guided EXplanations with TExtual Reasoning for Vision Models
- arxiv url: http://arxiv.org/abs/2510.14741v1
- Date: Thu, 16 Oct 2025 14:43:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-17 21:15:14.904572
- Title: DEXTER: Diffusion-Guided EXplanations with TExtual Reasoning for Vision Models
- Title(参考訳): DEXTER:視覚モデルのためのテクスチャ推論を用いた拡散誘導説明法
- Authors: Simone Carnemolla, Matteo Pennisi, Sarinda Samarasinghe, Giovanni Bellitto, Simone Palazzo, Daniela Giordano, Mubarak Shah, Concetto Spampinato,
- Abstract要約: DEXTERは、視覚分類器のグローバルでテキストによる説明を生成する、データフリーのフレームワークである。
我々はDEXTERが正確な解釈可能な出力を生成することを示す。
ImageNet、Waterbirds、CelebA、FairFacesの実験では、DEXTERがグローバルモデル説明やクラスレベルのバイアスレポートにおいて、既存のアプローチよりも優れていることを確認した。
- 参考スコア(独自算出の注目度): 49.25757423776323
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Understanding and explaining the behavior of machine learning models is essential for building transparent and trustworthy AI systems. We introduce DEXTER, a data-free framework that employs diffusion models and large language models to generate global, textual explanations of visual classifiers. DEXTER operates by optimizing text prompts to synthesize class-conditional images that strongly activate a target classifier. These synthetic samples are then used to elicit detailed natural language reports that describe class-specific decision patterns and biases. Unlike prior work, DEXTER enables natural language explanation about a classifier's decision process without access to training data or ground-truth labels. We demonstrate DEXTER's flexibility across three tasks-activation maximization, slice discovery and debiasing, and bias explanation-each illustrating its ability to uncover the internal mechanisms of visual classifiers. Quantitative and qualitative evaluations, including a user study, show that DEXTER produces accurate, interpretable outputs. Experiments on ImageNet, Waterbirds, CelebA, and FairFaces confirm that DEXTER outperforms existing approaches in global model explanation and class-level bias reporting. Code is available at https://github.com/perceivelab/dexter.
- Abstract(参考訳): 透明で信頼性の高いAIシステムを構築するには、機械学習モデルの振る舞いを理解し説明する必要がある。
拡散モデルと大規模言語モデルを用いて視覚分類器のグローバルなテキスト記述を生成するデータフリーフレームワークであるDEXTERを紹介する。
DEXTERはテキストプロンプトを最適化し、ターゲット分類器を強く活性化するクラス条件の画像を合成する。
これらの合成サンプルは、クラス固有の決定パターンとバイアスを記述した詳細な自然言語レポートを引き出すために使用される。
以前の作業とは異なり、DEXTERは、訓練データや接地木ラベルにアクセスすることなく、分類器の決定プロセスについて自然言語で説明することができる。
視覚分類器の内部メカニズムを明らかにするために,3つのタスクアクティベーション最大化,スライス発見,デバイアス化,バイアス説明の3つにまたがるDEXTERの柔軟性を実証する。
ユーザスタディを含む定量的で質的な評価は、DEXTERが正確な解釈可能な出力を生成することを示している。
ImageNet、Waterbirds、CelebA、FairFacesの実験では、DEXTERがグローバルモデル説明やクラスレベルのバイアスレポートにおいて、既存のアプローチよりも優れていることを確認した。
コードはhttps://github.com/perceivelab/dexter.comから入手できる。
関連論文リスト
- Unlocking Text Capabilities in Vision Models [26.280572432059085]
本稿では,任意の事前学習された視覚分類器を,自由形式のテキストで検索できるように書き換える強力な手法を提案する。
提案手法は,ラベルフリー,データ,計算効率で,基礎となる分類器の分布と決定過程を保存するために訓練されている。
1)ラベルのない概念ボトルネックモデルとゼロショットの概念ボトルネックモデルの両方を構築し、視覚的分類器を本質的に解釈可能なものにし、2)視覚的特徴のゼロショットデコーディングを自然言語文に変換する。
論文 参考訳(メタデータ) (2025-03-14T01:04:38Z) - GIFT: A Framework for Global Interpretable Faithful Textual Explanations of Vision Classifiers [47.197438852068146]
GIFTは、視覚分類器に対するポストホック、グローバル、解釈可能、忠実なテキスト説明を導出するためのフレームワークである。
GIFTは、深い視覚分類器が使用する課題、概念、バイアスを効果的に明らかにする。
論文 参考訳(メタデータ) (2024-11-23T16:52:22Z) - Distilling Vision-Language Foundation Models: A Data-Free Approach via Prompt Diversification [49.41632476658246]
我々は、数十億レベルの画像テキストデータセットにアクセスすることなく、DFKDをVision-Language Foundation Modelsに拡張することについて議論する。
目的は,配当に依存しないダウンストリームタスクに対して,与えられたカテゴリ概念を学生モデルにカスタマイズすることである。
本稿では,多様なスタイルで画像合成を促進するために,3つの新しいプロンプト分岐法を提案する。
論文 参考訳(メタデータ) (2024-07-21T13:26:30Z) - Contrastive Learning with Counterfactual Explanations for Radiology Report Generation [83.30609465252441]
放射線学レポート生成のためのtextbfCountertextbfFactual textbfExplanations-based framework (CoFE) を提案する。
反現実的な説明は、アルゴリズムによってなされた決定をどのように変えられるかを理解するための強力なツールとして、シナリオが何であるかを問うことによって役立ちます。
2つのベンチマークの実験では、反ファクト的な説明を活用することで、CoFEは意味的に一貫性があり、事実的に完全なレポートを生成することができる。
論文 参考訳(メタデータ) (2024-07-19T17:24:25Z) - Diffexplainer: Towards Cross-modal Global Explanations with Diffusion Models [51.21351775178525]
DiffExplainerは、言語ビジョンモデルを活用することで、マルチモーダルなグローバルな説明可能性を実現する新しいフレームワークである。
最適化されたテキストプロンプトに条件付けされた拡散モデルを使用し、クラス出力を最大化する画像を合成する。
生成した視覚的記述の分析により、バイアスと突発的特徴の自動識別が可能になる。
論文 参考訳(メタデータ) (2024-04-03T10:11:22Z) - An Empirical Investigation of Commonsense Self-Supervision with
Knowledge Graphs [67.23285413610243]
大規模知識グラフから抽出した情報に基づく自己監督は、言語モデルの一般化を改善することが示されている。
本研究では,言語モデルに適用可能な合成データを生成するための知識サンプリング戦略とサイズの影響について検討する。
論文 参考訳(メタデータ) (2022-05-21T19:49:04Z) - Interpretable Data-Based Explanations for Fairness Debugging [7.266116143672294]
Gopherは、バイアスや予期せぬモデルの振る舞いに関するコンパクトで解釈可能な、因果的な説明を生成するシステムである。
我々は,学習データに介入する程度を,サブセットの削除や更新によって定量化する因果責任の概念を導入し,バイアスを解消する。
この概念に基づいて、モデルバイアスを説明するトップkパターンを生成するための効率的なアプローチを開発する。
論文 参考訳(メタデータ) (2021-12-17T20:10:00Z) - Generative Counterfactuals for Neural Networks via Attribute-Informed
Perturbation [51.29486247405601]
AIP(Attribute-Informed Perturbation)の提案により,生データインスタンスの反事実を生成するフレームワークを設計する。
異なる属性を条件とした生成モデルを利用することで、所望のラベルとの反事実を効果的かつ効率的に得ることができる。
実世界のテキストや画像に対する実験結果から, 設計したフレームワークの有効性, サンプル品質, および効率が示された。
論文 参考訳(メタデータ) (2021-01-18T08:37:13Z) - Adversarial Infidelity Learning for Model Interpretation [43.37354056251584]
本稿では,モデル解釈のためのモデル非依存能率直接(MEED)FSフレームワークを提案する。
我々のフレームワークは、正当性、ショートカット、モデルの識別可能性、情報伝達に関する懸念を緩和する。
我々のAILメカニズムは、選択した特徴と目標の間の条件分布を学習するのに役立ちます。
論文 参考訳(メタデータ) (2020-06-09T16:27:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。