論文の概要: Discover-then-Name: Task-Agnostic Concept Bottlenecks via Automated Concept Discovery

• arxiv url: http://arxiv.org/abs/2407.14499v2
• Date: Mon, 12 Aug 2024 14:50:01 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-13 20:33:33.686212
• Title: Discover-then-Name: Task-Agnostic Concept Bottlenecks via Automated Concept Discovery
• Title（参考訳）: Discover-then-Name: 自動概念発見によるタスク非依存の概念ボトルネック
• Authors: Sukrut Rao, Sweta Mahajan, Moritz Böhle, Bernt Schiele,
• Abstract要約: ディープニューラルネットワークの「ブラックボックス」問題に対処するために、概念ボトルネックモデル(CBM)が提案されている。 本稿では,典型的なパラダイムを逆転させる新しいCBMアプローチであるDiscover-then-Name-CBM(DN-CBM)を提案する。 我々の概念抽出戦略は、下流のタスクに非依存であり、既にそのモデルに知られている概念を使用するため、効率的である。
• 参考スコア（独自算出の注目度）: 52.498055901649025
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Concept Bottleneck Models (CBMs) have recently been proposed to address the 'black-box' problem of deep neural networks, by first mapping images to a human-understandable concept space and then linearly combining concepts for classification. Such models typically require first coming up with a set of concepts relevant to the task and then aligning the representations of a feature extractor to map to these concepts. However, even with powerful foundational feature extractors like CLIP, there are no guarantees that the specified concepts are detectable. In this work, we leverage recent advances in mechanistic interpretability and propose a novel CBM approach -- called Discover-then-Name-CBM (DN-CBM) -- that inverts the typical paradigm: instead of pre-selecting concepts based on the downstream classification task, we use sparse autoencoders to first discover concepts learnt by the model, and then name them and train linear probes for classification. Our concept extraction strategy is efficient, since it is agnostic to the downstream task, and uses concepts already known to the model. We perform a comprehensive evaluation across multiple datasets and CLIP architectures and show that our method yields semantically meaningful concepts, assigns appropriate names to them that make them easy to interpret, and yields performant and interpretable CBMs. Code available at https://github.com/neuroexplicit-saar/discover-then-name.
• Abstract（参考訳）: 概念ボトルネックモデル(CBM)は、人間の理解可能な概念空間にイメージをマッピングし、次に分類のための概念を線形に組み合わせることで、ディープニューラルネットワークの「ブラックボックス」問題に対処するために最近提案されている。 このようなモデルは通常、まずタスクに関連する概念のセットを思いつき、次にこれらの概念にマップするために特徴抽出器の表現を調整する必要がある。 しかし、CLIPのような強力な基本機能抽出器であっても、特定の概念が検出可能である保証はない。 本研究では、近年の機械的解釈可能性の進歩を活用し、典型的なパラダイムを逆転するDiscover-then-Name-CBM(DN-CBM)と呼ばれる新しいCBMアプローチを提案する。 我々の概念抽出戦略は、下流のタスクに非依存であり、既にそのモデルに知られている概念を使用するため、効率的である。 我々は,複数のデータセットやCLIPアーキテクチャを包括的に評価し,その手法が意味論的に意味のある概念を導出し,それらに適切な名前を与えて解釈しやすくし,性能的かつ解釈可能なCBMを導出することを示す。 コードはhttps://github.com/neuroexplicit-saar/discover-then-nameで公開されている。

関連論文リスト

• Explain via Any Concept: Concept Bottleneck Model with Open Vocabulary Concepts [8.028021897214238]
  OpenCBMはオープン語彙の概念を持つ最初のCBMである。 ベンチマークデータセットCUB-200-2011の分類精度は,従来のCBMよりも9%向上した。
  論文  参考訳（メタデータ） (2024-08-05T06:42:00Z)
• LLM-assisted Concept Discovery: Automatically Identifying and Explaining Neuron Functions [15.381209058506078]
  以前の研究は、概念の例や事前に定義された概念のセットに基づいて、ニューロンに関連づけられた概念を持っている。 本稿では,マルチモーダルな大規模言語モデルを用いて,自動的かつオープンな概念発見を提案する。 我々は,この新たな画像に対して,サンプルと反例を生成し,ニューロンの反応を評価することにより,それぞれの概念を検証する。
  論文  参考訳（メタデータ） (2024-06-12T18:19:37Z)
• Understanding Multimodal Deep Neural Networks: A Concept Selection View [29.08342307127578]
  概念に基づくモデルは、ディープニューラルネットワークによって抽出されたブラックボックスの視覚表現を、人間の理解可能な概念のセットにマッピングする。 人間の先入観を導入することなくコア概念をマイニングするための2段階概念選択モデル(CSM)を提案する。 提案手法は,エンドツーエンドのブラックボックスモデルに匹敵する性能を実現する。
  論文  参考訳（メタデータ） (2024-04-13T11:06:49Z)
• Sparse Concept Bottleneck Models: Gumbel Tricks in Contrastive Learning [86.15009879251386]
  概念ボトルネックモデル(CBM)を用いた新しいアーキテクチャと説明可能な分類法を提案する。 CBMには、さらなる概念のセットが必要である。 CLIPをベースとしたボトルネックモデルにおいて,スパース隠れ層を用いた精度の大幅な向上を示す。
  論文  参考訳（メタデータ） (2024-04-04T09:43:43Z)
• Simple Mechanisms for Representing, Indexing and Manipulating Concepts [46.715152257557804]
  我々は、概念の具体的な表現やシグネチャを生成するために、そのモーメント統計行列を見ることで概念を学ぶことができると論じる。 概念が交差しているとき、概念のシグネチャを使用して、関連する多くの相互交差した概念の共通テーマを見つけることができる。
  論文  参考訳（メタデータ） (2023-10-18T17:54:29Z)
• A Recursive Bateson-Inspired Model for the Generation of Semantic Formal Concepts from Spatial Sensory Data [77.34726150561087]
  本稿では,複雑な感覚データから階層構造を生成するための記号のみの手法を提案する。 このアプローチは、概念や概念の創始の鍵としてのバテソンの差異の概念に基づいている。 このモデルは、トレーニングなしでかなりリッチだが人間に読まれる概念表現を生成することができる。
  論文  参考訳（メタデータ） (2023-07-16T15:59:13Z)
• DetCLIP: Dictionary-Enriched Visual-Concept Paralleled Pre-training for Open-world Detection [118.36746273425354]
  本稿では,デザインされた概念辞書から知識の豊かさを生かして,オープンワールド検出のための並列視覚概念事前学習手法を提案する。 概念をそれらの記述で豊かにすることにより、オープンドメイン学習を促進するために、さまざまな概念間の関係を明確に構築する。 提案フレームワークは、例えばLVISデータセット上で、強力なゼロショット検出性能を示し、私たちのDetCLIP-TはGLIP-Tを9.9%向上させ、レアカテゴリで13.5%改善した。
  論文  参考訳（メタデータ） (2022-09-20T02:01:01Z)
• Automatic Concept Extraction for Concept Bottleneck-based Video Classification [58.11884357803544]
  本稿では,概念に基づくビデオ分類に必要かつ十分な概念抽象セットを厳格に構成する概念発見抽出モジュールを提案する。 提案手法は,自然言語における概念概念の抽象概念を応用し,複雑なタスクに概念ボトルネック法を一般化する。
  論文  参考訳（メタデータ） (2022-06-21T06:22:35Z)
• SegDiscover: Visual Concept Discovery via Unsupervised Semantic Segmentation [29.809900593362844]
  SegDiscoverは、監視なしで複雑なシーンを持つデータセットから意味論的に意味のある視覚概念を発見する新しいフレームワークである。 提案手法は, 生画像から概念プリミティブを生成し, 自己教師付き事前学習エンコーダの潜在空間をクラスタリングし, ニューラルネットワークのスムーズ化により概念の洗練を図る。
  論文  参考訳（メタデータ） (2022-04-22T20:44:42Z)
• Concept Bottleneck Model with Additional Unsupervised Concepts [0.5939410304994348]
  概念ボトルネックモデル(CBM)に基づく新しい解釈可能なモデルを提案する。 CBMは概念ラベルを使用して、中間層を追加の可視層としてトレーニングする。 これら2つの概念をシームレスにトレーニングし,計算量を削減することにより,教師付き概念と教師なし概念を同時に得ることができる。
  論文  参考訳（メタデータ） (2022-02-03T08:30:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。