論文の概要: VALE: A Multimodal Visual and Language Explanation Framework for Image Classifiers using eXplainable AI and Language Models

• arxiv url: http://arxiv.org/abs/2408.12808v1
• Date: Fri, 23 Aug 2024 03:02:11 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-26 16:09:18.592675
• Title: VALE: A Multimodal Visual and Language Explanation Framework for Image Classifiers using eXplainable AI and Language Models
• Title（参考訳）: VALE: eXplainable AIとLanguage Modelを用いた画像分類用マルチモーダルビジュアルおよび言語記述フレームワーク
• Authors: Purushothaman Natarajan, Athira Nambiar,
• Abstract要約: VALE Visual and Language Explanation という新しいフレームワークを提案する。 VALEは説明可能なAI技術と高度な言語モデルを統合し、包括的な説明を提供する。 本稿では,画像分類タスクのためのVALEフレームワークの試験的検討を行う。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep Neural Networks (DNNs) have revolutionized various fields by enabling task automation and reducing human error. However, their internal workings and decision-making processes remain obscure due to their black box nature. Consequently, the lack of interpretability limits the application of these models in high-risk scenarios. To address this issue, the emerging field of eXplainable Artificial Intelligence (XAI) aims to explain and interpret the inner workings of DNNs. Despite advancements, XAI faces challenges such as the semantic gap between machine and human understanding, the trade-off between interpretability and performance, and the need for context-specific explanations. To overcome these limitations, we propose a novel multimodal framework named VALE Visual and Language Explanation. VALE integrates explainable AI techniques with advanced language models to provide comprehensive explanations. This framework utilizes visual explanations from XAI tools, an advanced zero-shot image segmentation model, and a visual language model to generate corresponding textual explanations. By combining visual and textual explanations, VALE bridges the semantic gap between machine outputs and human interpretation, delivering results that are more comprehensible to users. In this paper, we conduct a pilot study of the VALE framework for image classification tasks. Specifically, Shapley Additive Explanations (SHAP) are used to identify the most influential regions in classified images. The object of interest is then extracted using the Segment Anything Model (SAM), and explanations are generated using state-of-the-art pre-trained Vision-Language Models (VLMs). Extensive experimental studies are performed on two datasets: the ImageNet dataset and a custom underwater SONAR image dataset, demonstrating VALEs real-world applicability in underwater image classification.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)は、タスクの自動化とヒューマンエラーの低減によって、さまざまな分野に革命をもたらした。 しかし、内部の作業や意思決定プロセスはブラックボックスの性質上不明瞭なままである。 その結果、解釈可能性の欠如により、リスクの高いシナリオにおけるこれらのモデルの適用が制限される。 この問題に対処するため、eXplainable Artificial Intelligence(XAI)の新興分野は、DNNの内部動作を説明し、解釈することを目的としている。 進歩にもかかわらず、XAIは機械と人間の理解のセマンティックなギャップ、解釈可能性と性能のトレードオフ、文脈固有の説明の必要性といった課題に直面している。 これらの制約を克服するために,VALEビジュアルと言語説明という新しいマルチモーダルフレームワークを提案する。 VALEは説明可能なAI技術と高度な言語モデルを統合し、包括的な説明を提供する。 このフレームワークは、XAIツールからの視覚的説明、高度なゼロショット画像分割モデル、および視覚言語モデルを用いて、対応するテキスト的説明を生成する。 視覚的およびテキスト的説明を組み合わせることで、VALEはマシン出力と人間の解釈のセマンティックなギャップを埋め、ユーザにとってより理解しやすい結果を提供する。 本稿では,画像分類タスクのためのVALEフレームワークの試験的検討を行う。 具体的には,Shapley Additive Explanations (SHAP) を用いて分類画像中の最も影響力のある領域を同定する。 次に、関心の対象をSAM(Segment Anything Model)を用いて抽出し、最先端のVLM(Vision-Language Models)を用いて説明を生成する。 画像Netデータセットと独自の水中SONARイメージデータセットの2つのデータセットで大規模な実験が行われ、水中画像分類におけるVALEの実際の適用性を実証した。

関連論文リスト

• MEGL: Multimodal Explanation-Guided Learning [23.54169888224728]
  本稿では,モデル解釈性の向上と分類性能の向上を目的とした,新しいマルチモーダル説明誘導学習(MEGL)フレームワークを提案する。 我々のSDTG(Saliency-Driven Textual Grounding)アプローチは、視覚的説明からテキスト論理へ空間情報を統合し、空間的根拠と文脈的リッチな説明を提供する。 我々は、マルチモーダルな説明を伴う画像分類のための2つの新しいデータセットであるObject-MEとAction-MEでMEGLを検証した。
  論文  参考訳（メタデータ） (2024-11-20T05:57:00Z)
• VISTA: A Visual and Textual Attention Dataset for Interpreting Multimodal Models [2.0718016474717196]
  統合ビジョンと言語モデル(VLM)は、機械学習研究コミュニティ内のブラックボックスと見なされることが多い。 本稿では、画像領域と対応するテキストセグメント間の特定の関連をマッピングする画像テキスト整列人間の視覚的注意データセットを提案する。 次に、VLモデルによって生成された内部のヒートマップとこのデータセットを比較し、モデルの決定プロセスを分析し、よりよく理解できるようにします。
  論文  参考訳（メタデータ） (2024-10-06T20:11:53Z)
• Representing visual classification as a linear combination of words [0.0]
  視覚分類タスクの言語ベースの記述子を識別するために,視覚言語モデルを用いた説明可能性戦略を提案する。 画像とテキストの間に予め訓練された結合埋め込み空間を利用することで,新しい分類課題を単語の線形結合として推定する。 その結果,ドメイン特化言語訓練の欠如にもかかわらず,結果として得られた記述子は臨床知識とほぼ一致していることが判明した。
  論文  参考訳（メタデータ） (2023-11-18T02:00:20Z)
• Contextual Object Detection with Multimodal Large Language Models [66.15566719178327]
  本稿では,コンテキストオブジェクト検出の新たな研究課題について紹介する。 言語クローゼテスト,視覚キャプション,質問応答の3つの代表的なシナリオについて検討した。 本稿では、視覚的コンテキストのエンドツーエンドの微分可能なモデリングが可能な統合マルチモーダルモデルContextDETを提案する。
  論文  参考訳（メタデータ） (2023-05-29T17:50:33Z)
• Multi-Modal Representation Learning with Text-Driven Soft Masks [48.19806080407593]
  自己教師型学習フレームワークにおける視覚言語表現学習手法を提案する。 画像中の領域をソフトメイキングすることで、画像テキストマッチング(ITM)タスクの多様な特徴を生成する。 マルチモーダルエンコーダを用いて単語条件の視覚的注意を計算し,各単語に関連する領域を同定する。
  論文  参考訳（メタデータ） (2023-04-03T05:07:49Z)
• Exploring External Knowledge for Accurate modeling of Visual and Language Problems [2.7190267444272056]
  この論文は、多くの困難なタスクを含む視覚的および言語的理解に焦点を当てている。 これらの問題を解決する最先端の手法は通常、ソースデータとターゲットラベルの2つの部分のみを含む。 まず外部知識を抽出し,元のモデルと統合する手法を開発した。
  論文  参考訳（メタデータ） (2023-01-27T02:01:50Z)
• Perceptual Grouping in Contrastive Vision-Language Models [59.1542019031645]
  画像内の物体の位置を視覚言語モデルで理解し,画像の視覚的関連部分をグループ化する方法について述べる。 本稿では,意味情報と空間情報の両方を一意に学習するモデルとして,最小限の修正を提案する。
  論文  参考訳（メタデータ） (2022-10-18T17:01:35Z)
• On Advances in Text Generation from Images Beyond Captioning: A Case Study in Self-Rationalization [89.94078728495423]
  近年のモダリティ,CLIP画像表現,言語モデルの拡張は,マルチモーダル入力によるタスクのマルチモーダル自己調整を一貫して改善していないことを示す。 画像キャプションを超えて画像やテキストからテキストを生成するために構築可能なバックボーンモデリング手法が提案されている。
  論文  参考訳（メタデータ） (2022-05-24T00:52:40Z)
• Visually-Augmented Language Modeling [137.36789885105642]
  本稿では,言語モデリングのための関連画像を含むテキストトークンを視覚的に拡張する,VaLMという新しい事前学習フレームワークを提案する。 視覚的に拡張されたコンテキストでは、VaLMは視覚知識融合層を使用してマルチモーダル基底言語モデリングを可能にする。 視覚情報を必要とする多モーダル・コモンセンス推論タスクについて,提案モデルの評価を行った。
  論文  参考訳（メタデータ） (2022-05-20T13:41:12Z)
• This is not the Texture you are looking for! Introducing Novel Counterfactual Explanations for Non-Experts using Generative Adversarial Learning [59.17685450892182]
  反実用説明システムは、入力画像を変更して反実用推論を可能にする。 本稿では, 対向画像から画像への変換技術に基づく, 対向画像の説明を新たに生成する手法を提案する。 その結果,我々のアプローチは,2つの最先端技術システムよりも,メンタルモデル,説明満足度,信頼度,感情,自己効力に関して有意に優れた結果をもたらすことがわかった。
  論文  参考訳（メタデータ） (2020-12-22T10:08:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。