論文の概要: Diffexplainer: Towards Cross-modal Global Explanations with Diffusion Models

• arxiv url: http://arxiv.org/abs/2404.02618v1
• Date: Wed, 3 Apr 2024 10:11:22 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-04 17:50:35.096873
• Title: Diffexplainer: Towards Cross-modal Global Explanations with Diffusion Models
• Title（参考訳）: DiffExplainer:拡散モデルを用いたクロスモーダルグローバルな説明を目指して
• Authors: Matteo Pennisi, Giovanni Bellitto, Simone Palazzo, Mubarak Shah, Concetto Spampinato,
• Abstract要約: DiffExplainerは、言語ビジョンモデルを活用することで、マルチモーダルなグローバルな説明可能性を実現する新しいフレームワークである。 最適化されたテキストプロンプトに条件付けされた拡散モデルを使用し、クラス出力を最大化する画像を合成する。 生成した視覚的記述の分析により、バイアスと突発的特徴の自動識別が可能になる。
• 参考スコア（独自算出の注目度）: 51.21351775178525
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present DiffExplainer, a novel framework that, leveraging language-vision models, enables multimodal global explainability. DiffExplainer employs diffusion models conditioned on optimized text prompts, synthesizing images that maximize class outputs and hidden features of a classifier, thus providing a visual tool for explaining decisions. Moreover, the analysis of generated visual descriptions allows for automatic identification of biases and spurious features, as opposed to traditional methods that often rely on manual intervention. The cross-modal transferability of language-vision models also enables the possibility to describe decisions in a more human-interpretable way, i.e., through text. We conduct comprehensive experiments, which include an extensive user study, demonstrating the effectiveness of DiffExplainer on 1) the generation of high-quality images explaining model decisions, surpassing existing activation maximization methods, and 2) the automated identification of biases and spurious features.
• Abstract（参考訳）: 言語ビジョンモデルを活用する新しいフレームワークであるDiffExplainerを提案する。 DiffExplainerは、最適化されたテキストプロンプトに条件付けされた拡散モデルを採用し、クラス出力と分類器の隠れた特徴を最大化する画像の合成を行い、意思決定を説明するビジュアルツールを提供する。 さらに、生成した視覚的記述の分析により、しばしば手作業による介入に依存する従来の手法とは対照的に、バイアスや刺激的な特徴の自動識別が可能になる。 言語ビジョンモデルのクロスモーダルトランスファービリティはまた、テキストを通じてより人間的に解釈可能な方法で決定を記述することが可能である。 DiffExplainerの有効性を実証する広範なユーザスタディを含む包括的実験を実施している。 1)モデル決定、既存のアクティベーション最大化手法を超越した高品質な画像の生成 2)偏見と突発的特徴の自動識別。

関連論文リスト

• Decoding Diffusion: A Scalable Framework for Unsupervised Analysis of Latent Space Biases and Representations Using Natural Language Prompts [68.48103545146127]
  本稿では拡散潜在空間の教師なし探索のための新しい枠組みを提案する。 我々は、自然言語のプロンプトと画像キャプションを直接利用して、遅延方向をマップする。 本手法は,拡散モデルに符号化された意味的知識をよりスケーラブルで解釈可能な理解を提供する。
  論文  参考訳（メタデータ） (2024-10-25T21:44:51Z)
• DiffusionPID: Interpreting Diffusion via Partial Information Decomposition [24.83767778658948]
  入力テキストプロンプトを基本成分に分解するために,情報理論の原理を適用した。 個々のトークンとその相互作用が生成した画像をどのように形成するかを分析する。 PIDはテキスト・画像拡散モデルの評価と診断のための強力なツールであることを示す。
  論文  参考訳（メタデータ） (2024-06-07T18:17:17Z)
• CNN-based explanation ensembling for dataset, representation and explanations evaluation [1.1060425537315088]
  畳み込みモデルを用いた深層分類モデルによる説明文の要約の可能性について検討する。 実験と分析を通じて、モデル行動のより一貫性と信頼性のあるパターンを明らかにするために、説明を組み合わせることの意味を明らかにすることを目的とする。
  論文  参考訳（メタデータ） (2024-04-16T08:39:29Z)
• Exploring the Trade-off Between Model Performance and Explanation Plausibility of Text Classifiers Using Human Rationales [3.242050660144211]
  ホック後説明可能性法は、ますます複雑なNLPモデルを理解するための重要なツールである。 本稿では,人間の判断を説明するテキストアノテーションをテキスト分類モデルに組み込む手法を提案する。
  論文  参考訳（メタデータ） (2024-04-03T22:39:33Z)
• Text-to-Image Diffusion Models are Great Sketch-Photo Matchmakers [120.49126407479717]
  本稿では,ゼロショットスケッチに基づく画像検索(ZS-SBIR)のためのテキスト・画像拡散モデルについて検討する。 スケッチと写真の間のギャップをシームレスに埋めるテキストと画像の拡散モデルの能力。
  論文  参考訳（メタデータ） (2024-03-12T00:02:03Z)
• Bridging Generative and Discriminative Models for Unified Visual Perception with Diffusion Priors [56.82596340418697]
  本稿では,豊富な生成前駆体を含む事前学習型安定拡散(SD)モデルと,階層的表現を統合可能な統一型ヘッド(Uヘッド)と,識別前駆体を提供する適応型専門家からなる,シンプルで効果的なフレームワークを提案する。 包括的調査では、異なる時間ステップで潜伏変数に隠された知覚の粒度や様々なU-netステージなど、バーマスの潜在的な特性が明らかになった。 有望な結果は,有望な学習者としての拡散モデルの可能性を示し,情報的かつ堅牢な視覚表現の確立にその意義を定めている。
  論文  参考訳（メタデータ） (2024-01-29T10:36:57Z)
• UniDiff: Advancing Vision-Language Models with Generative and Discriminative Learning [86.91893533388628]
  本稿では、画像テキストコントラスト学習(ITC)、テキスト条件付き画像合成学習(IS)、相互意味整合性モデリング(RSC)を統合した統合マルチモーダルモデルUniDiffを提案する。 UniDiffはマルチモーダル理解と生成タスクの両方において汎用性を示す。
  論文  参考訳（メタデータ） (2023-06-01T15:39:38Z)
• Interpretable multimodal sentiment analysis based on textual modality descriptions by using large-scale language models [1.4213973379473654]
  マルチモーダル感情分析は、ユーザの内部状態を理解する上で重要な領域である。 従来の研究は、注意重みやベクトル分布を使って解釈性を提供しようと試みてきた。 本研究では,非言語的モダリティをテキスト記述に変換することによって解釈可能性を実現する手法を提案する。
  論文  参考訳（メタデータ） (2023-05-07T06:48:06Z)
• Compositional Visual Generation with Composable Diffusion Models [80.75258849913574]
  拡散モデルを用いた構成生成のための代替的な構造的アプローチを提案する。 画像は拡散モデルの集合を構成することで生成され、それぞれが画像の特定のコンポーネントをモデル化する。 提案手法は, トレーニングで見られるものよりもはるかに複雑なシーンを, テスト時に生成することができる。
  論文  参考訳（メタデータ） (2022-06-03T17:47:04Z)
• Human-interpretable model explainability on high-dimensional data [8.574682463936007]
  2つのモジュールからなる高次元データに対する人間解釈可能な説明可能性のためのフレームワークを提案する。 まず、データの生の次元性を減らし、人間の解釈可能性を確保するために、意味的に意味のある潜在表現を適用する。 第2に、モデルに依存しないこれらの潜在的特徴を扱うために、Shapleyパラダイムを適用し、理論的に制御され、計算的に抽出可能なモデル説明をもたらす。
  論文  参考訳（メタデータ） (2020-10-14T20:06:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。