論文の概要: Aligning Visual and Semantic Interpretability through Visually Grounded Concept Bottleneck Models

• arxiv url: http://arxiv.org/abs/2412.11576v1
• Date: Mon, 16 Dec 2024 09:04:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-17 13:56:59.762539
• Title: Aligning Visual and Semantic Interpretability through Visually Grounded Concept Bottleneck Models
• Title（参考訳）: 視覚的概念ボトルネックモデルによる視覚的・意味的解釈可能性の調整
• Authors: Patrick Knab, Katharina Prasse, Sascha Marton, Christian Bartelt, Margret Keuper,
• Abstract要約: 概念ボトルネックモデル(CBM)は、人間の理解可能な概念を予測プロセスに組み込んで、透明性と解釈可能性を高める。 画像レベルでのセグメンテーションと検出基盤モデルを用いて概念を導出するGCBM(Visually Grounded Concept Bottleneck Models)を提案する。 提案手法は,帰納的手法を用いて入力画像に接地可能な本質的に解釈可能な概念を生成し,その解釈を画像平面に遡ることができる。
• 参考スコア（独自算出の注目度）: 13.36057999450821
• License:
• Abstract: The performance of neural networks increases steadily, but our understanding of their decision-making lags behind. Concept Bottleneck Models (CBMs) address this issue by incorporating human-understandable concepts into the prediction process, thereby enhancing transparency and interpretability. Since existing approaches often rely on large language models (LLMs) to infer concepts, their results may contain inaccurate or incomplete mappings, especially in complex visual domains. We introduce visually Grounded Concept Bottleneck Models (GCBM), which derive concepts on the image level using segmentation and detection foundation models. Our method generates inherently interpretable concepts, which can be grounded in the input image using attribution methods, allowing interpretations to be traced back to the image plane. We show that GCBM concepts are meaningful interpretability vehicles, which aid our understanding of model embedding spaces. GCBMs allow users to control the granularity, number, and naming of concepts, providing flexibility and are easily adaptable to new datasets without pre-training or additional data needed. Prediction accuracy is within 0.3-6% of the linear probe and GCBMs perform especially well for fine-grained classification interpretability on CUB, due to their dataset specificity. Our code is available on https://github.com/KathPra/GCBM.
• Abstract（参考訳）: ニューラルネットワークのパフォーマンスは着実に向上していますが、意思決定の遅れに対する私たちの理解は遅れています。 概念ボトルネックモデル(CBM)は、人間の理解可能な概念を予測プロセスに組み込んで、透明性と解釈可能性を高めることでこの問題に対処する。 既存のアプローチは概念を推論するために大きな言語モデル(LLM)に依存することが多いため、その結果は特に複雑な視覚領域において不正確なマッピングや不完全なマッピングを含むことがある。 画像レベルでのセグメンテーションと検出基盤モデルを用いて概念を導出するGCBM(Visually Grounded Concept Bottleneck Models)を提案する。 提案手法は,帰納的手法を用いて入力画像に接地可能な本質的に解釈可能な概念を生成し,その解釈を画像平面に遡ることができる。 我々はGCBMの概念が意味のある解釈可能性を持つ車両であることを示し、モデル埋め込み空間の理解を支援する。 GCBMでは、ユーザーは概念の粒度、番号、命名を制御でき、柔軟性を提供し、事前のトレーニングや追加のデータを必要とせずに、新しいデータセットに容易に適応できる。 予測精度は線形プローブの0.3-6%以内であり、GCBMはデータセットの特異性のため、特にCUB上のきめ細かい分類解釈性に優れる。 私たちのコードはhttps://github.com/KathPra/GCBMで利用可能です。

関連論文リスト

• TopoSD: Topology-Enhanced Lane Segment Perception with SDMap Prior [70.84644266024571]
  我々は、標準定義地図(SDMaps)を見るために知覚モデルを訓練することを提案する。 我々はSDMap要素をニューラル空間マップ表現やインスタンストークンにエンコードし、先行情報のような補完的な特徴を組み込む。 レーンセグメント表現フレームワークに基づいて、モデルはレーン、中心線、およびそれらのトポロジを同時に予測する。
  論文  参考訳（メタデータ） (2024-11-22T06:13:42Z)
• Discover-then-Name: Task-Agnostic Concept Bottlenecks via Automated Concept Discovery [52.498055901649025]
  ディープニューラルネットワークの「ブラックボックス」問題に対処するために、概念ボトルネックモデル(CBM)が提案されている。 本稿では,典型的なパラダイムを逆転させる新しいCBMアプローチであるDiscover-then-Name-CBM(DN-CBM)を提案する。 我々の概念抽出戦略は、下流のタスクに非依存であり、既にそのモデルに知られている概念を使用するため、効率的である。
  論文  参考訳（メタデータ） (2024-07-19T17:50:11Z)
• Conceptual Learning via Embedding Approximations for Reinforcing Interpretability and Transparency [2.7719338074999547]
  解釈可能性が最重要である領域において、概念ボトルネックモデル(CBM)が重要なツールとして出現している。 本研究では、アンダーラインtextbfReinforcecing Interpretability and Transparency に対するアンダーラインtextbfEmbedding UnderlinetextbfApproximations によるアンダーラインtextbfConceptual UnderlinetextbfLbeddingを提案する。
  論文  参考訳（メタデータ） (2024-06-13T06:04:34Z)
• Sparse Concept Bottleneck Models: Gumbel Tricks in Contrastive Learning [86.15009879251386]
  概念ボトルネックモデル(CBM)を用いた新しいアーキテクチャと説明可能な分類法を提案する。 CBMには、さらなる概念のセットが必要である。 CLIPをベースとしたボトルネックモデルにおいて,スパース隠れ層を用いた精度の大幅な向上を示す。
  論文  参考訳（メタデータ） (2024-04-04T09:43:43Z)
• Can we Constrain Concept Bottleneck Models to Learn Semantically Meaningful Input Features? [0.6401548653313325]
  概念ボトルネックモデル(CBM)は、人間の定義した概念の集合を最初に予測するため、本質的に解釈可能であるとみなされる。 現在の文献では、概念予測は無関係な入力特徴に依存することが多いことを示唆している。 本稿では,CBMが概念を意味的に意味のある入力特徴にマッピングできることを実証する。
  論文  参考訳（メタデータ） (2024-02-01T10:18:43Z)
• Auxiliary Losses for Learning Generalizable Concept-based Models [5.4066453042367435]
  コンセプト・ボトルネック・モデル (Concept Bottleneck Models, CBM) は導入以来人気を集めている。 CBMは基本的に、モデルの潜在空間を人間に理解可能な高レベルな概念に制限する。 本稿では,協調型コンセプション・ボトルネックモデル(coop-CBM)を提案し,性能トレードオフを克服する。
  論文  参考訳（メタデータ） (2023-11-18T15:50:07Z)
• ALSO: Automotive Lidar Self-supervision by Occupancy estimation [70.70557577874155]
  本稿では,ポイントクラウド上で動作している深層知覚モデルのバックボーンを事前学習するための自己教師型手法を提案する。 中心となる考え方は、3Dポイントがサンプリングされる表面の再構成であるプリテキストタスクでモデルをトレーニングすることである。 直感的には、もしネットワークがわずかな入力ポイントのみを考慮し、シーン表面を再構築できるなら、おそらく意味情報の断片をキャプチャする。
  論文  参考訳（メタデータ） (2022-12-12T13:10:19Z)
• Visual Recognition with Deep Nearest Centroids [57.35144702563746]
  我々は、概念的にエレガントで驚くほど効果的な大規模視覚認識ネットワークである深部セントロイド(DNC)を考案した。 パラメトリックと比較すると、DNCは画像分類(CIFAR-10, ImageNet)に優れ、画像認識(ADE20K, Cityscapes)を大いに起動する。
  論文  参考訳（メタデータ） (2022-09-15T15:47:31Z)
• Post-hoc Concept Bottleneck Models [11.358495577593441]
  概念ボトルネックモデル (Concept Bottleneck Models, CBM) は、入力を解釈可能な概念のセットにマッピングし、その概念を用いて予測を行う。 CBMは、ボトルネックを学ぶためにトレーニングデータに概念ラベルを必要とするため、実際には制限があり、強い事前訓練されたモデルを活用しない。 解釈可能性の利点を保ちながら、モデル性能を犠牲にすることなく、任意のニューラルネットワークをPCBMに変換することができることを示す。
  論文  参考訳（メタデータ） (2022-05-31T00:29:26Z)
• MACE: Model Agnostic Concept Extractor for Explaining Image Classification Networks [10.06397994266945]
  MACE: Model Agnostic Concept Extractorを提案し、より小さな概念を通じて畳み込みネットワークの動作を説明する。 VGG16やResNet50 CNNアーキテクチャ、Animals With Attributes 2(AWA2)やPlaces365といったデータセットを使って、私たちのフレームワークを検証する。
  論文  参考訳（メタデータ） (2020-11-03T04:40:49Z)
• Closed-Form Factorization of Latent Semantics in GANs [65.42778970898534]
  画像合成のために訓練されたGAN(Generative Adversarial Networks)の潜在空間に、解釈可能な次元の豊富なセットが出現することが示されている。 本研究では,GANが学習した内部表現について検討し,その基礎となる変動要因を教師なしで明らかにする。 本稿では,事前学習した重みを直接分解することで,潜在意味発見のためのクローズドフォーム因数分解アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-07-13T18:05:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。