論文の概要: Enhancing Concept Localization in CLIP-based Concept Bottleneck Models
- arxiv url: http://arxiv.org/abs/2510.07115v1
- Date: Wed, 08 Oct 2025 15:07:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-09 16:41:20.583642
- Title: Enhancing Concept Localization in CLIP-based Concept Bottleneck Models
- Title(参考訳): CLIPに基づく概念ボトルネックモデルにおける概念ローカライゼーションの強化
- Authors: Rémi Kazmierczak, Steve Azzolin, Eloïse Berthier, Goran Frehse, Gianni Franchi,
- Abstract要約: 概念ボトルネックモデル(CBM)は明示的な概念アノテーションを必要とせず、代わりにゼロショットでCLIPを用いて抽出した概念に依存していることを示す。
本稿では,画像の埋め込みをアンタングル化し,対象とする概念に対応する画素をローカライズする手法である,局所的解釈可能性(CHILI)による概念幻覚抑制について紹介する。
- 参考スコア(独自算出の注目度): 11.592826680892367
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: This paper addresses explainable AI (XAI) through the lens of Concept Bottleneck Models (CBMs) that do not require explicit concept annotations, relying instead on concepts extracted using CLIP in a zero-shot manner. We show that CLIP, which is central in these techniques, is prone to concept hallucination, incorrectly predicting the presence or absence of concepts within an image in scenarios used in numerous CBMs, hence undermining the faithfulness of explanations. To mitigate this issue, we introduce Concept Hallucination Inhibition via Localized Interpretability (CHILI), a technique that disentangles image embeddings and localizes pixels corresponding to target concepts. Furthermore, our approach supports the generation of saliency-based explanations that are more interpretable.
- Abstract(参考訳): 本稿では、CLIPを用いてゼロショットで抽出した概念に依存して、明示的な概念アノテーションを必要としないConcept Bottleneck Models(CBM)のレンズを通して、説明可能なAI(XAI)に対処する。
これらの技術の中心にあるCLIPは、多くのCBMで使用されるシナリオにおいて、画像内の概念の存在や欠如を誤って予測するので、説明の忠実さを損なう傾向がある。
この問題を軽減するために,画像埋め込みをアンタングル化し,対象とする概念に対応する画素をローカライズする手法であるCHILI(Concept Hallucination Inhibition via Localized Interpretability)を導入する。
さらに,本手法はより解釈可能なサリエンシに基づく説明の生成を支援する。
関連論文リスト
- ConceptPrism: Concept Disentanglement in Personalized Diffusion Models via Residual Token Optimization [11.472088067393074]
ConceptPrismは、画像固有の残留物から共有視覚概念を自動的に切り離す新しいフレームワークである。
実験では、ConceptPrismは概念の絡み合いを効果的に解決し、忠実さと整合性の間のトレードオフを著しく改善する。
論文 参考訳(メタデータ) (2026-02-23T07:46:19Z) - Concepts from Representations: Post-hoc Concept Bottleneck Models via Sparse Decomposition of Visual Representations [20.859723044900154]
本稿では,PCBM-ReDについて述べる。PCBM-ReDは,事前学習した不透明なモデルに解釈性を再現する新しいパイプラインである。
最先端の精度を実現し、エンドツーエンドモデルのパフォーマンスギャップを狭め、より優れた解釈性を示す。
論文 参考訳(メタデータ) (2026-01-18T08:01:44Z) - FaCT: Faithful Concept Traces for Explaining Neural Network Decisions [56.796533084868884]
ディープネットワークは、幅広いタスクで顕著なパフォーマンスを示しているが、それらの機能に関するグローバルな概念レベルの理解は、依然として重要な課題である。
本稿では,概念に基づく説明の忠実さを強調し,モデル独立な機械的概念説明を用いた新しいモデルを提案する。
私たちの概念はクラス間で共有され、あらゆるレイヤから、ロジットへの貢献と入力-視覚化を忠実にトレースすることができます。
論文 参考訳(メタデータ) (2025-10-29T13:35:46Z) - CoPA: Hierarchical Concept Prompting and Aggregating Network for Explainable Diagnosis [8.56688324078793]
Concept Prompting and Aggregating (CoPA)は、プロンプトガイダンスの下で多層概念をキャプチャするために設計された新しいフレームワークである。
各レイヤからの視覚表現は、テキストの概念表現と整合するように集約される。
CoPAは3つのパブリックデータセット上で最先端のメソッドよりも優れています。
論文 参考訳(メタデータ) (2025-10-04T10:29:15Z) - Post-Hoc Concept Disentanglement: From Correlated to Isolated Concept Representations [12.072112471560716]
概念活性化ベクトル(Concept Activation Vectors, CAV)は、人間の理解可能な概念をモデル化するために広く使われている。
それらは、概念サンプルの活性化から非概念サンプルの活性化までの方向を特定することによって訓練される。
この方法は、"beard"や"necktie"のような類似した概念に対して、類似した非直交方向を生成する。
この絡み合いは、分離された概念の解釈を複雑にし、CAVアプリケーションにおいて望ましくない効果をもたらす可能性がある。
論文 参考訳(メタデータ) (2025-03-07T15:45:43Z) - V2C-CBM: Building Concept Bottlenecks with Vision-to-Concept Tokenizer [19.177297480709512]
概念ボトルネックモデル (Concept Bottleneck Models, CBM) は、イメージを人間の理解可能な概念に変換することによって、固有の解釈性を提供する。
最近のアプローチでは、概念ボトルネックを構築するために、大きな言語モデルの知識を活用している。
本研究では,CBMをマルチモーダルモデルから直接構築することで,これらの問題を回避する。
論文 参考訳(メタデータ) (2025-01-09T05:12:38Z) - OmniPrism: Learning Disentangled Visual Concept for Image Generation [57.21097864811521]
創造的な視覚概念の生成は、しばしば関連する結果を生み出すために参照イメージ内の特定の概念からインスピレーションを引き出す。
我々は,創造的画像生成のための視覚的概念分離手法であるOmniPrismを提案する。
提案手法は,自然言語で案内される不整合概念表現を学習し,これらの概念を組み込むために拡散モデルを訓練する。
論文 参考訳(メタデータ) (2024-12-16T18:59:52Z) - Non-confusing Generation of Customized Concepts in Diffusion Models [135.4385383284657]
テキスト誘導拡散モデル(TGDM)を用いた合成概念生成における概念間視覚混乱の共通課題に取り組む。
既存のカスタマイズされた生成方法は、第2ステージの微調整のみに焦点を当て、第1ステージを見下ろしている。
本稿では,CLIF(CLIF)と呼ばれる単純かつ効果的な画像言語微調整法を提案する。
論文 参考訳(メタデータ) (2024-05-11T05:01:53Z) - Visual Concept-driven Image Generation with Text-to-Image Diffusion Model [65.96212844602866]
テキスト・ツー・イメージ(TTI)モデルは複雑なシーンの高解像度画像を生成するという印象的な結果を示した。
近年のアプローチでは、これらの手法をパーソナライズ技術で拡張し、ユーザ認証の概念の統合を可能にしている。
しかし、人間の被写体のような複数の相互作用する概念を持つ画像を生成する能力は、1つにまたがったり、複数にまたがったりする概念は、いまだに説明がつかないままである。
これらの課題に対処する概念駆動型TTIパーソナライズフレームワークを提案する。
論文 参考訳(メタデータ) (2024-02-18T07:28:37Z) - Implicit Concept Removal of Diffusion Models [92.55152501707995]
テキスト・ツー・イメージ(T2I)拡散モデルはしばしば、透かしや安全でない画像のような望ましくない概念を不注意に生成する。
幾何学駆動制御に基づく新しい概念除去手法であるGeom-Erasingを提案する。
論文 参考訳(メタデータ) (2023-10-09T17:13:10Z) - Coarse-to-Fine Concept Bottleneck Models [9.910980079138206]
この研究は、アンテホック解釈可能性、特に概念ボトルネックモデル(CBM)をターゲットにしている。
我々のゴールは、人間の理解可能な概念を2段階の粒度で、高度に解釈可能な意思決定プロセスを認めるフレームワークを設計することである。
この枠組みでは、概念情報は全体像と一般的な非構造概念の類似性にのみ依存せず、画像シーンのパッチ固有の領域に存在するより粒度の細かい概念情報を発見・活用するために概念階層の概念を導入している。
論文 参考訳(メタデータ) (2023-10-03T14:57:31Z) - Concept Gradient: Concept-based Interpretation Without Linear Assumption [77.96338722483226]
概念活性化ベクトル(Concept Activation Vector, CAV)は、与えられたモデルと概念の潜在表現の間の線形関係を学習することに依存する。
我々は、線形概念関数を超えて概念に基づく解釈を拡張する概念グラディエント(CG)を提案した。
我々は、CGがおもちゃの例と実世界のデータセットの両方でCAVより優れていることを実証した。
論文 参考訳(メタデータ) (2022-08-31T17:06:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。