論文の概要: Aligning Visual and Semantic Interpretability through Visually Grounded Concept Bottleneck Models

• arxiv url: http://arxiv.org/abs/2412.11576v1
• Date: Mon, 16 Dec 2024 09:04:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-17 13:56:59.762539
• Title: Aligning Visual and Semantic Interpretability through Visually Grounded Concept Bottleneck Models
• Title（参考訳）: 視覚的概念ボトルネックモデルによる視覚的・意味的解釈可能性の調整
• Authors: Patrick Knab, Katharina Prasse, Sascha Marton, Christian Bartelt, Margret Keuper,
• Abstract要約: 概念ボトルネックモデル(CBM)は、人間の理解可能な概念を予測プロセスに組み込んで、透明性と解釈可能性を高める。 画像レベルでのセグメンテーションと検出基盤モデルを用いて概念を導出するGCBM(Visually Grounded Concept Bottleneck Models)を提案する。 提案手法は,帰納的手法を用いて入力画像に接地可能な本質的に解釈可能な概念を生成し,その解釈を画像平面に遡ることができる。
• 参考スコア（独自算出の注目度）: 13.36057999450821
• License:
• Abstract: The performance of neural networks increases steadily, but our understanding of their decision-making lags behind. Concept Bottleneck Models (CBMs) address this issue by incorporating human-understandable concepts into the prediction process, thereby enhancing transparency and interpretability. Since existing approaches often rely on large language models (LLMs) to infer concepts, their results may contain inaccurate or incomplete mappings, especially in complex visual domains. We introduce visually Grounded Concept Bottleneck Models (GCBM), which derive concepts on the image level using segmentation and detection foundation models. Our method generates inherently interpretable concepts, which can be grounded in the input image using attribution methods, allowing interpretations to be traced back to the image plane. We show that GCBM concepts are meaningful interpretability vehicles, which aid our understanding of model embedding spaces. GCBMs allow users to control the granularity, number, and naming of concepts, providing flexibility and are easily adaptable to new datasets without pre-training or additional data needed. Prediction accuracy is within 0.3-6% of the linear probe and GCBMs perform especially well for fine-grained classification interpretability on CUB, due to their dataset specificity. Our code is available on https://github.com/KathPra/GCBM.
• Abstract（参考訳）: ニューラルネットワークのパフォーマンスは着実に向上していますが、意思決定の遅れに対する私たちの理解は遅れています。 概念ボトルネックモデル(CBM)は、人間の理解可能な概念を予測プロセスに組み込んで、透明性と解釈可能性を高めることでこの問題に対処する。 既存のアプローチは概念を推論するために大きな言語モデル(LLM)に依存することが多いため、その結果は特に複雑な視覚領域において不正確なマッピングや不完全なマッピングを含むことがある。 画像レベルでのセグメンテーションと検出基盤モデルを用いて概念を導出するGCBM(Visually Grounded Concept Bottleneck Models)を提案する。 提案手法は,帰納的手法を用いて入力画像に接地可能な本質的に解釈可能な概念を生成し,その解釈を画像平面に遡ることができる。 我々はGCBMの概念が意味のある解釈可能性を持つ車両であることを示し、モデル埋め込み空間の理解を支援する。 GCBMでは、ユーザーは概念の粒度、番号、命名を制御でき、柔軟性を提供し、事前のトレーニングや追加のデータを必要とせずに、新しいデータセットに容易に適応できる。 予測精度は線形プローブの0.3-6%以内であり、GCBMはデータセットの特異性のため、特にCUB上のきめ細かい分類解釈性に優れる。 私たちのコードはhttps://github.com/KathPra/GCBMで利用可能です。

関連論文リスト

• V2C-CBM: Building Concept Bottlenecks with Vision-to-Concept Tokenizer [19.177297480709512]
  概念ボトルネックモデル (Concept Bottleneck Models, CBM) は、イメージを人間の理解可能な概念に変換することによって、固有の解釈性を提供する。 最近のアプローチでは、概念ボトルネックを構築するために、大きな言語モデルの知識を活用している。 本研究では,CBMをマルチモーダルモデルから直接構築することで,これらの問題を回避する。
  論文  参考訳（メタデータ） (2025-01-09T05:12:38Z)
• How to Continually Adapt Text-to-Image Diffusion Models for Flexible Customization? [91.49559116493414]
  本稿では,CIDM(Concept-Incremental Text-to-image Diffusion Model)を提案する。 破滅的な忘れと概念の無視を解決し、新しいカスタマイズタスクを概念的な方法で学習する。 実験により、CIDMが既存のカスタム拡散モデルを上回ることが確認された。
  論文  参考訳（メタデータ） (2024-10-23T06:47:29Z)
• Discover-then-Name: Task-Agnostic Concept Bottlenecks via Automated Concept Discovery [52.498055901649025]
  ディープニューラルネットワークの「ブラックボックス」問題に対処するために、概念ボトルネックモデル(CBM)が提案されている。 本稿では,典型的なパラダイムを逆転させる新しいCBMアプローチであるDiscover-then-Name-CBM(DN-CBM)を提案する。 我々の概念抽出戦略は、下流のタスクに非依存であり、既にそのモデルに知られている概念を使用するため、効率的である。
  論文  参考訳（メタデータ） (2024-07-19T17:50:11Z)
• Improving Intervention Efficacy via Concept Realignment in Concept Bottleneck Models [57.86303579812877]
  概念ボトルネックモデル (Concept Bottleneck Models, CBM) は、人間の理解可能な概念に基づいて、解釈可能なモデル決定を可能にする画像分類である。 既存のアプローチは、強いパフォーマンスを達成するために、画像ごとに多数の人間の介入を必要とすることが多い。 本稿では,概念関係を利用した学習型概念認識介入モジュールについて紹介する。
  論文  参考訳（メタデータ） (2024-05-02T17:59:01Z)
• Incremental Residual Concept Bottleneck Models [29.388549499546556]
  Concept Bottleneck Models (CBM) は、ディープニューラルネットワークによって抽出されたブラックボックスの視覚表現を、解釈可能な概念のセットにマッピングする。 本稿では,概念完全性の課題を解決するために,インクリメンタル・Residual Concept Bottleneck Model (Res-CBM)を提案する。 提案手法は,任意のCBMの性能向上を目的としたポストホック処理法として,ユーザ定義の概念バンクに適用できる。
  論文  参考訳（メタデータ） (2024-04-13T12:02:19Z)
• Visual Concept-driven Image Generation with Text-to-Image Diffusion Model [65.96212844602866]
  テキスト・ツー・イメージ(TTI)モデルは複雑なシーンの高解像度画像を生成するという印象的な結果を示した。 近年のアプローチでは、これらの手法をパーソナライズ技術で拡張し、ユーザ認証の概念の統合を可能にしている。 しかし、人間の被写体のような複数の相互作用する概念を持つ画像を生成する能力は、1つにまたがったり、複数にまたがったりする概念は、いまだに説明がつかないままである。 これらの課題に対処する概念駆動型TTIパーソナライズフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-18T07:28:37Z)
• Auxiliary Losses for Learning Generalizable Concept-based Models [5.4066453042367435]
  コンセプト・ボトルネック・モデル (Concept Bottleneck Models, CBM) は導入以来人気を集めている。 CBMは基本的に、モデルの潜在空間を人間に理解可能な高レベルな概念に制限する。 本稿では,協調型コンセプション・ボトルネックモデル(coop-CBM)を提案し,性能トレードオフを克服する。
  論文  参考訳（メタデータ） (2023-11-18T15:50:07Z)
• I saw, I conceived, I concluded: Progressive Concepts as Bottlenecks [2.9398911304923447]
  概念ボトルネックモデル(CBM)は、予測中間概念の修正による推論時の説明可能性と介入を提供する。 これにより、CBMは高い意思決定に魅力的なものとなる。 胎児超音波検査の品質評価を,医療におけるCBM意思決定支援の現実的ユースケースとして捉えた。
  論文  参考訳（メタデータ） (2022-11-19T09:31:19Z)
• Post-hoc Concept Bottleneck Models [11.358495577593441]
  概念ボトルネックモデル (Concept Bottleneck Models, CBM) は、入力を解釈可能な概念のセットにマッピングし、その概念を用いて予測を行う。 CBMは、ボトルネックを学ぶためにトレーニングデータに概念ラベルを必要とするため、実際には制限があり、強い事前訓練されたモデルを活用しない。 解釈可能性の利点を保ちながら、モデル性能を犠牲にすることなく、任意のニューラルネットワークをPCBMに変換することができることを示す。
  論文  参考訳（メタデータ） (2022-05-31T00:29:26Z)
• Modeling Temporal Concept Receptive Field Dynamically for Untrimmed Video Analysis [105.06166692486674]
  本稿では,概念に基づくイベント表現の時間的概念受容分野について考察する。 時間的動的畳み込み(TDC)を導入し、概念に基づくイベント分析をより柔軟にする。 異なる係数は、入力ビデオに応じて適切な時間的概念受容フィールドサイズを生成することができる。
  論文  参考訳（メタデータ） (2021-11-23T04:59:48Z)
• Closed-Form Factorization of Latent Semantics in GANs [65.42778970898534]
  画像合成のために訓練されたGAN(Generative Adversarial Networks)の潜在空間に、解釈可能な次元の豊富なセットが出現することが示されている。 本研究では,GANが学習した内部表現について検討し,その基礎となる変動要因を教師なしで明らかにする。 本稿では,事前学習した重みを直接分解することで,潜在意味発見のためのクローズドフォーム因数分解アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-07-13T18:05:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。