論文の概要: TextCAVs: Debugging vision models using text

• arxiv url: http://arxiv.org/abs/2408.08652v1
• Date: Fri, 16 Aug 2024 10:36:08 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-19 15:57:38.976890
• Title: TextCAVs: Debugging vision models using text
• Title（参考訳）: TextCAVs: テキストを使った視覚モデルのデバッグ
• Authors: Angus Nicolson, Yarin Gal, J. Alison Noble,
• Abstract要約: 概念のテキスト記述を用いた概念アクティベーションベクトル(CAV)を作成する新しい手法であるTextCAVを紹介する。 初期の実験では、TextCAVsが胸部X線データセット(MIMIC-CXR)と自然画像(ImageNet)について合理的に説明できることを示した。
• 参考スコア（独自算出の注目度）: 37.4673705484723
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Concept-based interpretability methods are a popular form of explanation for deep learning models which provide explanations in the form of high-level human interpretable concepts. These methods typically find concept activation vectors (CAVs) using a probe dataset of concept examples. This requires labelled data for these concepts -- an expensive task in the medical domain. We introduce TextCAVs: a novel method which creates CAVs using vision-language models such as CLIP, allowing for explanations to be created solely using text descriptions of the concept, as opposed to image exemplars. This reduced cost in testing concepts allows for many concepts to be tested and for users to interact with the model, testing new ideas as they are thought of, rather than a delay caused by image collection and annotation. In early experimental results, we demonstrate that TextCAVs produces reasonable explanations for a chest x-ray dataset (MIMIC-CXR) and natural images (ImageNet), and that these explanations can be used to debug deep learning-based models.
• Abstract（参考訳）: 概念ベースの解釈可能性法は、高レベルの人間解釈可能性の概念の形で説明を提供するディープラーニングモデルの一般的な説明形式である。 これらの手法は通常、概念の例のプローブデータセットを使用して概念アクティベーションベクトル(CAV)を見つける。 これは、医療分野における高価なタスクである、これらの概念のためのラベル付きデータを必要とする。 本稿では,CLIP などの視覚言語モデルを用いて CAV を生成する新しい手法である TextCAV について紹介する。 このテストコンセプトのコスト削減により、画像収集やアノテーションによる遅延ではなく、多くの概念をテストし、ユーザがモデルと対話し、考え通りの新しいアイデアをテストすることが可能になる。 実験の結果,TextCAVは胸部X線データセット (MIMIC-CXR) と自然画像 (ImageNet) に対して合理的な説明を行い,これらの説明は深層学習に基づくモデルのデバッグに利用できることを示した。

関連論文リスト

• Exploiting Text-Image Latent Spaces for the Description of Visual Concepts [13.287533148600248]
  コンセプトアクティベーションベクトル(Concept Activation Vectors, CAV)は、人間のフレンドリな概念をモデルの内部的特徴抽出プロセスにリンクすることで、ニューラルネットワークの意思決定に関する洞察を提供する。 新しいCAVが発見されたとき、それらは人間の理解可能な記述に翻訳されなければならない。 本稿では,新たに発見された概念集合の解釈を支援するために,各CAVに対してテキスト記述を提案する。
  論文  参考訳（メタデータ） (2024-10-23T12:51:07Z)
• Explainable Concept Generation through Vision-Language Preference Learning [7.736445799116692]
  概念に基づく説明は、ポストホック後のディープニューラルネットワークを説明するための一般的な選択肢となっている。 視覚言語生成モデルを微調整する強化学習に基づく選好最適化アルゴリズムを考案する。 提案手法の有効性と信頼性に加えて,ニューラルネットワーク解析の診断ツールとしての有用性を示す。
  論文  参考訳（メタデータ） (2024-08-24T02:26:42Z)
• Discover-then-Name: Task-Agnostic Concept Bottlenecks via Automated Concept Discovery [52.498055901649025]
  ディープニューラルネットワークの「ブラックボックス」問題に対処するために、概念ボトルネックモデル(CBM)が提案されている。 本稿では,典型的なパラダイムを逆転させる新しいCBMアプローチであるDiscover-then-Name-CBM(DN-CBM)を提案する。 我々の概念抽出戦略は、下流のタスクに非依存であり、既にそのモデルに知られている概念を使用するため、効率的である。
  論文  参考訳（メタデータ） (2024-07-19T17:50:11Z)
• Explainable Image Captioning using CNN- CNN architecture and Hierarchical Attention [0.0]
  説明可能なAIは、モデルやアルゴリズムの予測が説明可能で正当化可能な方法で、従来の手法にアプローチするアプローチである。 CNNデコーダと階層型アテンションの概念を取り入れた新しいアーキテクチャが,キャプション生成の高速化と精度向上に利用されている。
  論文  参考訳（メタデータ） (2024-06-28T16:27:47Z)
• Explaining Explainability: Understanding Concept Activation Vectors [35.37586279472797]
  最近の解釈可能性法では、概念に基づく説明を用いて、ディープラーニングモデルの内部表現を、人間が慣れ親しんだ言語に翻訳する。 これは、ニューラルネットワークの表現空間にどの概念が存在するかを理解する必要がある。 本研究では,概念活性化ベクトル(Concept Activation Vectors, CAV)の3つの特性について検討する。 本研究では,これらの特性の存在を検出するためのツールを導入し,それらが引き起こした説明にどのように影響するかを把握し,その影響を最小限に抑えるための推奨事項を提供する。
  論文  参考訳（メタデータ） (2024-04-04T17:46:20Z)
• Advancing Visual Grounding with Scene Knowledge: Benchmark and Method [74.72663425217522]
  ビジュアルグラウンドディング(VG)は、視覚と言語の間にきめ細かいアライメントを確立することを目的としている。 既存のVGデータセットの多くは、単純な記述テキストを使って構築されている。 我々は、アンダーラインScene underline-guided underlineVisual underlineGroundingの新たなベンチマークを提案する。
  論文  参考訳（メタデータ） (2023-07-21T13:06:02Z)
• DisCLIP: Open-Vocabulary Referring Expression Generation [37.789850573203694]
  大規模ビジュアル・セマンティック・モデルであるCLIPを用いてLCMを誘導し、画像中のターゲット概念の文脈記述を生成する。 本研究では、シーン内の記述対象を正確に識別する受信機モデルの能力を評価することにより、生成されたテキストの品質を測定する。 本結果は,事前学習した視覚意味論モデルを用いて,高品質な文脈記述を生成する可能性を強調した。
  論文  参考訳（メタデータ） (2023-05-30T15:13:17Z)
• Text-To-Concept (and Back) via Cross-Model Alignment [48.133333356834186]
  一方のモデルにおける画像表現と他方のモデルにおける画像表現とのマッピングは、ただの線形層で驚くほどよく学習できることを示す。 固定オフザシェルフビジョンエンコーダを驚くほど強力なゼロショット分類器に無償で変換する。 概念監督なしで概念ボトルネックモデルを構築するなど、テキスト・トゥ・コンセプトの即時使用例を示す。
  論文  参考訳（メタデータ） (2023-05-10T18:01:06Z)
• Unleashing Text-to-Image Diffusion Models for Visual Perception [84.41514649568094]
  VPD (Visual Perception with a pre-trained diffusion model) は、視覚知覚タスクにおいて、事前訓練されたテキスト・画像拡散モデルの意味情報を利用する新しいフレームワークである。 本稿では,提案したVPDを用いて,下流の視覚的タスクに迅速に適応できることを示す。
  論文  参考訳（メタデータ） (2023-03-03T18:59:47Z)
• DenseCLIP: Language-Guided Dense Prediction with Context-Aware Prompting [91.56988987393483]
  本稿では,CLIPから事前学習した知識を暗黙的かつ明示的に活用することで,高密度予測のための新しい枠組みを提案する。 具体的には,CLIPにおける元の画像テキストマッチング問題を画素テキストマッチング問題に変換し,画素テキストスコアマップを用いて高密度予測モデルの学習を指導する。 本手法は,任意の密集予測システムや種々の事前学習された視覚バックボーンに適用可能な,モデルに依存しない手法である。
  論文  参考訳（メタデータ） (2021-12-02T18:59:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。