論文の概要: Concept-Centric Transformers: Concept Transformers with Object-Centric
Concept Learning for Interpretability
- arxiv url: http://arxiv.org/abs/2305.15775v1
- Date: Thu, 25 May 2023 06:37:39 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-26 16:56:57.186124
- Title: Concept-Centric Transformers: Concept Transformers with Object-Centric
Concept Learning for Interpretability
- Title（参考訳）: 概念中心トランスフォーマ : 概念中心トランスフォーマによる解釈可能性の学習
- Authors: Jinyung Hong, Theodore P. Pavlic
- Abstract要約: 概念変換器(CT)は、トランスフォーマーの注意機構を低レベルの入力特徴からより抽象的で中間レベルの潜在概念へと一般化する。
本稿では,新しい概念抽出モジュールを統合することで,より堅牢な説明と性能を提供する概念中心変換器を提案する。
- 参考スコア（独自算出の注目度）: 3.5408022972081694
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Attention mechanisms have greatly improved the performance of deep-learning
models on visual, NLP, and multimodal tasks while also providing tools to aid
in the model's interpretability. In particular, attention scores over input
regions or concrete image features can be used to measure how much the attended
elements contribute to the model inference. The recently proposed Concept
Transformer (CT) generalizes the Transformer attention mechanism from such
low-level input features to more abstract, intermediate-level latent concepts
that better allow human analysts to more directly assess an explanation for the
reasoning of the model about any particular output classification. However, the
concept learning employed by CT implicitly assumes that across every image in a
class, each image patch makes the same contribution to concepts that
characterize membership in that class. Instead of using the CT's
image-patch-centric concepts, object-centric concepts could lead to better
classification performance as well as better explainability. Thus, we propose
Concept-Centric Transformers (CCT), a new family of concept transformers that
provides more robust explanations and performance by integrating a novel
concept-extraction module based on object-centric learning. We test our
proposed CCT against the CT and several other existing approaches on
classification problems for MNIST (odd/even), CIFAR100 (super-classes), and
CUB-200-2011 (bird species). Our experiments demonstrate that CCT not only
achieves significantly better classification accuracy than all selected
benchmark classifiers across all three of our test problems, but it generates
more consistent concept-based explanations of classification output when
compared to CT.
- Abstract（参考訳）: 注意機構は、視覚、NLP、マルチモーダルタスクにおけるディープラーニングモデルの性能を大幅に改善するとともに、モデルの解釈可能性を支援するツールを提供している。
特に、入力領域や具体的な画像の特徴に対する注意スコアを用いて、参加者の要素がモデル推論にどの程度貢献するかを測定することができる。
最近提案されたConcept Transformer (CT)は、トランスフォーマーの注意機構を低レベルな入力特徴からより抽象的で中レベルな潜在概念へと一般化し、人間の分析者が特定の出力分類に関するモデルの説明をより直接的に評価できるようにする。
しかし、ctが採用する概念学習は、クラス内のすべてのイメージにまたがる各イメージパッチが、そのクラスのメンバーシップを特徴付ける概念に同じ貢献をすることを暗黙的に仮定している。
CTのイメージパッチ中心の概念を使う代わりに、オブジェクト中心の概念はより良い分類性能と説明可能性をもたらす可能性がある。
そこで本研究では,オブジェクト中心学習に基づく新しい概念抽出モジュールを統合することで,より堅牢な説明と性能を提供する概念変換器(CCT)を提案する。
MNIST(odd/even)、CIFAR100(super-classes)、CUB-200-2011(bird species)の分類問題に対するCTと既存のいくつかのアプローチについて検討した。
実験の結果,cctは3つのテスト問題すべてにおいて,すべてのベンチマーク分類器よりも分類精度が著しく向上するだけでなく,ctと比較した場合の分類結果のより一貫した概念に基づく説明が得られた。
関連論文リスト
- Decompose the model: Mechanistic interpretability in image models with Generalized Integrated Gradients (GIG) [24.02036048242832]
本稿では,すべての中間層を経由した入力から,データセット全体の最終的な出力まで,経路全体をトレースする新しい手法を提案する。
本稿では,PFV(Pointwise Feature Vectors)とERF(Effective Receptive Fields)を用いて,モデル埋め込みを解釈可能な概念ベクトルに分解する。
そして,汎用統合勾配(GIG)を用いて概念ベクトル間の関係を計算し,モデル行動の包括的,データセットワイドな解析を可能にする。
論文 参考訳（メタデータ） (2024-09-03T05:19:35Z) - AdaCBM: An Adaptive Concept Bottleneck Model for Explainable and Accurate Diagnosis [38.16978432272716]
CLIPやConcept Bottleneck Models(CBM)といったビジョン言語モデルの統合は、ディープニューラルネットワーク(DNN)の決定を説明するための有望なアプローチを提供する。
CLIPは説明可能性とゼロショット分類の両方を提供するが、ジェネリックイメージとテキストデータによる事前トレーニングは、その分類精度と医療画像診断タスクへの適用性を制限する可能性がある。
本稿では, 単純な線形分類システムとして, 幾何学的表現のレンズを通して CBM フレームワークを再検討することによって, 従来と異なるアプローチをとる。
論文 参考訳（メタデータ） (2024-08-04T11:59:09Z) - Improving Intervention Efficacy via Concept Realignment in Concept Bottleneck Models [57.86303579812877]
概念ボトルネックモデル (Concept Bottleneck Models, CBM) は、人間の理解可能な概念に基づいて、解釈可能なモデル決定を可能にする画像分類である。
既存のアプローチは、強いパフォーマンスを達成するために、画像ごとに多数の人間の介入を必要とすることが多い。
本稿では,概念関係を利用した学習型概念認識介入モジュールについて紹介する。
論文 参考訳（メタデータ） (2024-05-02T17:59:01Z) - MCPNet: An Interpretable Classifier via Multi-Level Concept Prototypes [24.28807025839685]
我々は、低レベルの特徴の意思決定プロセスに関する洞察が欠如している説明は、完全に忠実でも有用でもないと論じる。
本稿では,クラス認識概念分布(CCD)の損失を通じて,分類目的のマルチレベル概念のプロトタイプ分布を学習・調整する新しいパラダイムを提案する。
論文 参考訳（メタデータ） (2024-04-13T11:13:56Z) - Self-Supervised Representation Learning with Meta Comprehensive
Regularization [11.387994024747842]
既存の自己管理フレームワークに組み込まれたCompMod with Meta Comprehensive Regularization (MCR)というモジュールを導入する。
提案したモデルを双方向最適化機構により更新し,包括的特徴を捉える。
本稿では,情報理論と因果対実的視点から提案手法の理論的支援を行う。
論文 参考訳（メタデータ） (2024-03-03T15:53:48Z) - Advancing Ante-Hoc Explainable Models through Generative Adversarial Networks [24.45212348373868]
本稿では,視覚的分類タスクにおけるモデル解釈可能性と性能を向上させるための新しい概念学習フレームワークを提案する。
本手法では, 教師なし説明生成器を一次分類器ネットワークに付加し, 対角訓練を利用する。
この研究は、タスク整合概念表現を用いた本質的に解釈可能なディープビジョンモデルを構築するための重要なステップを示す。
論文 参考訳（メタデータ） (2024-01-09T16:16:16Z) - Universal Information Extraction as Unified Semantic Matching [54.19974454019611]
情報抽出を,異なるタスクやスキーマで共有される構造化と概念化という,2つの能力に分割する。
このパラダイムに基づいて、統一意味マッチングフレームワークを用いて様々なIEタスクを普遍的にモデル化することを提案する。
このように、USMはスキーマと入力テキストを共同でエンコードし、サブ構造を一様に並列に抽出し、必要に応じてターゲット構造を制御できる。
論文 参考訳（メタデータ） (2023-01-09T11:51:31Z) - Translational Concept Embedding for Generalized Compositional Zero-shot
Learning [73.60639796305415]
一般合成ゼロショット学習は、ゼロショット方式で属性オブジェクト対の合成概念を学習する手段である。
本稿では,これら2つの課題を統一的なフレームワークで解決するために,翻訳概念の埋め込み(translational concept embedded)という新しいアプローチを提案する。
論文 参考訳（メタデータ） (2021-12-20T21:27:51Z) - Visual Concept Reasoning Networks [93.99840807973546]
分割変換マージ戦略は、視覚認識タスクのための畳み込みニューラルネットワークのアーキテクチャ制約として広く使用されている。
我々は、この戦略を利用して、高レベルの視覚概念間の推論を可能にするために、Visual Concept Reasoning Networks (VCRNet) と組み合わせることを提案する。
提案するモデルであるVCRNetは、パラメータ数を1%以下にすることで、一貫して性能を向上する。
論文 参考訳（メタデータ） (2020-08-26T20:02:40Z) - Concept Learners for Few-Shot Learning [76.08585517480807]
本研究では,人間の解釈可能な概念次元に沿って学習することで,一般化能力を向上させるメタ学習手法であるCOMETを提案する。
我々は,細粒度画像分類,文書分類,セルタイプアノテーションなど,さまざまな領域からの少数ショットタスクによるモデルの評価を行った。
論文 参考訳（メタデータ） (2020-07-14T22:04:17Z) - Closed-Form Factorization of Latent Semantics in GANs [65.42778970898534]
画像合成のために訓練されたGAN(Generative Adversarial Networks)の潜在空間に、解釈可能な次元の豊富なセットが出現することが示されている。
本研究では,GANが学習した内部表現について検討し,その基礎となる変動要因を教師なしで明らかにする。
本稿では,事前学習した重みを直接分解することで,潜在意味発見のためのクローズドフォーム因数分解アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-07-13T18:05:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。