論文の概要: Sparse Linear Concept Discovery Models

• arxiv url: http://arxiv.org/abs/2308.10782v1
• Date: Mon, 21 Aug 2023 15:16:19 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-22 13:00:10.755669
• Title: Sparse Linear Concept Discovery Models
• Title（参考訳）: スパース線形概念発見モデル
• Authors: Konstantinos P. Panousis, Dino Ienco, Diego Marcos
• Abstract要約: 概念ボトルネックモデル(Concept Bottleneck Models, CBM)は、隠蔽層が人間の理解可能な概念に結びついている一般的なアプローチである。 本稿では,Contrastive Language Imageモデルと単一スパース線形層に基づく,シンプルかつ直感的に解釈可能なフレームワークを提案する。 実験により、我々のフレームワークは、最近のCBMアプローチを精度的に上回るだけでなく、一例あたりの疎度も高いことを示す。
• 参考スコア（独自算出の注目度）: 11.138948381367133
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The recent mass adoption of DNNs, even in safety-critical scenarios, has shifted the focus of the research community towards the creation of inherently intrepretable models. Concept Bottleneck Models (CBMs) constitute a popular approach where hidden layers are tied to human understandable concepts allowing for investigation and correction of the network's decisions. However, CBMs usually suffer from: (i) performance degradation and (ii) lower interpretability than intended due to the sheer amount of concepts contributing to each decision. In this work, we propose a simple yet highly intuitive interpretable framework based on Contrastive Language Image models and a single sparse linear layer. In stark contrast to related approaches, the sparsity in our framework is achieved via principled Bayesian arguments by inferring concept presence via a data-driven Bernoulli distribution. As we experimentally show, our framework not only outperforms recent CBM approaches accuracy-wise, but it also yields high per example concept sparsity, facilitating the individual investigation of the emerging concepts.
• Abstract（参考訳）: 近年のDNNの大量導入は、安全クリティカルなシナリオにおいても、研究コミュニティの焦点を本質的に理解不能なモデルの作成へとシフトしている。 概念ボトルネックモデル(cbms)は、隠れた層が人間の理解可能な概念に結び付けられ、ネットワークの決定の検証と修正を可能にする一般的なアプローチである。 しかし、CBMは通常: (i)性能の低下及び (二)各決定に寄与する概念の多さによる意図よりも解釈可能性の低いこと。 本稿では,コントラスト言語画像モデルと1つのスパース線形層に基づく,単純かつ直感的な解釈可能なフレームワークを提案する。 関連するアプローチとは対照的に、我々のフレームワークのスパーシティは、データ駆動のベルヌーイ分布を介して概念の存在を推測することによって、原理ベイズ引数によって達成されます。 私たちが実験的に示すように、このフレームワークは、最近のcbmアプローチを精度面で上回るだけでなく、サンプル概念のスパーシティを高くし、新興概念の個別的な調査を促進する。

関連論文リスト

• Linking Robustness and Generalization: A k* Distribution Analysis of Concept Clustering in Latent Space for Vision Models [56.89974470863207]
  本稿では,局所的近傍解析手法であるk*分布を用いて,個々の概念のレベルで学習された潜伏空間について検討する。 視覚モデルの潜在空間の全体的品質を評価するために、個々の概念を解釈するための歪度に基づく真および近似メトリクスを導入する。
  論文  参考訳（メタデータ） (2024-08-17T01:43:51Z)
• Coding for Intelligence from the Perspective of Category [66.14012258680992]
  符号化の対象はデータの圧縮と再構成、インテリジェンスである。 最近の傾向は、これらの2つの分野の潜在的均一性を示している。 本稿では,カテゴリ理論の観点から,インテリジェンスのためのコーディングの新たな問題を提案する。
  論文  参考訳（メタデータ） (2024-07-01T07:05:44Z)
• Stochastic Concept Bottleneck Models [8.391254800873599]
  概念ボトルネックモデル(CBM)は、人間の理解可能な概念に基づいて最終的な予測を行う有望な解釈可能な手法として登場した。 本稿では,概念の依存関係をモデル化する新しいアプローチであるConcept Bottleneck Models (SCBM)を提案する。 単一概念の介入はすべての関係する概念に影響を与え、介入の有効性を向上させる。
  論文  参考訳（メタデータ） (2024-06-27T15:38:37Z)
• Improving Intervention Efficacy via Concept Realignment in Concept Bottleneck Models [57.86303579812877]
  概念ボトルネックモデル (Concept Bottleneck Models, CBM) は、人間の理解可能な概念に基づいて、解釈可能なモデル決定を可能にする画像分類である。 既存のアプローチは、強いパフォーマンスを達成するために、画像ごとに多数の人間の介入を必要とすることが多い。 本稿では,概念関係を利用した学習型概念認識介入モジュールについて紹介する。
  論文  参考訳（メタデータ） (2024-05-02T17:59:01Z)
• Do Concept Bottleneck Models Respect Localities? [14.77558378567965]
  概念に基づく手法は、人間の理解可能な概念を用いてモデル予測を説明する。 ローカリティ(Localities)とは、概念の価値を予測する際に、関連する機能のみを使用することである。 CBMは、独立概念が重複しない特徴部分集合に局所化されている場合でも、局所性を捉えない。
  論文  参考訳（メタデータ） (2024-01-02T16:05:23Z)
• Sparsity-Guided Holistic Explanation for LLMs with Interpretable Inference-Time Intervention [53.896974148579346]
  大規模言語モデル(LLM)は、様々な自然言語処理領域において前例のないブレークスルーを達成した。 LLMの謎的なブラックボックスの性質は、透過的で説明可能なアプリケーションを妨げる、解釈可能性にとって重要な課題である。 本稿では,LLMの全体的解釈を提供することを目的として,スポーシティ誘導技術に係わる新しい方法論を提案する。
  論文  参考訳（メタデータ） (2023-12-22T19:55:58Z)
• Auxiliary Losses for Learning Generalizable Concept-based Models [5.4066453042367435]
  コンセプト・ボトルネック・モデル (Concept Bottleneck Models, CBM) は導入以来人気を集めている。 CBMは基本的に、モデルの潜在空間を人間に理解可能な高レベルな概念に制限する。 本稿では,協調型コンセプション・ボトルネックモデル(coop-CBM)を提案し,性能トレードオフを克服する。
  論文  参考訳（メタデータ） (2023-11-18T15:50:07Z)
• Interpreting Pretrained Language Models via Concept Bottlenecks [55.47515772358389]
  事前訓練された言語モデル(PLM)は、様々な自然言語処理タスクにおいて大きな進歩を遂げてきた。 ブラックボックスの性質による解釈可能性の欠如は、責任ある実装に課題をもたらす。 本研究では,人間にとって理解しやすい高レベルで有意義な概念を用いて,PLMを解釈する新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-11-08T20:41:18Z)
• Coarse-to-Fine Concept Bottleneck Models [9.910980079138206]
  この研究は、アンテホック解釈可能性、特に概念ボトルネックモデル(CBM)をターゲットにしている。 我々のゴールは、人間の理解可能な概念を2段階の粒度で、高度に解釈可能な意思決定プロセスを認めるフレームワークを設計することである。 この枠組みでは、概念情報は全体像と一般的な非構造概念の類似性にのみ依存せず、画像シーンのパッチ固有の領域に存在するより粒度の細かい概念情報を発見・活用するために概念階層の概念を導入している。
  論文  参考訳（メタデータ） (2023-10-03T14:57:31Z)
• I saw, I conceived, I concluded: Progressive Concepts as Bottlenecks [2.9398911304923447]
  概念ボトルネックモデル(CBM)は、予測中間概念の修正による推論時の説明可能性と介入を提供する。 これにより、CBMは高い意思決定に魅力的なものとなる。 胎児超音波検査の品質評価を,医療におけるCBM意思決定支援の現実的ユースケースとして捉えた。
  論文  参考訳（メタデータ） (2022-11-19T09:31:19Z)
• Concept Gradient: Concept-based Interpretation Without Linear Assumption [77.96338722483226]
  概念活性化ベクトル(Concept Activation Vector, CAV)は、与えられたモデルと概念の潜在表現の間の線形関係を学習することに依存する。 我々は、線形概念関数を超えて概念に基づく解釈を拡張する概念グラディエント(CG)を提案した。 我々は、CGがおもちゃの例と実世界のデータセットの両方でCAVより優れていることを実証した。
  論文  参考訳（メタデータ） (2022-08-31T17:06:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。