論文の概要: GIFT: A Framework for Global Interpretable Faithful Textual Explanations of Vision Classifiers

• arxiv url: http://arxiv.org/abs/2411.15605v2
• Date: Mon, 03 Feb 2025 14:36:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-04 16:05:01.891296
• Title: GIFT: A Framework for Global Interpretable Faithful Textual Explanations of Vision Classifiers
• Title（参考訳）: GIFT:視覚分類器のグローバル解釈可能な忠実テキスト記述のためのフレームワーク
• Authors: Éloi Zablocki, Valentin Gerard, Amaia Cardiel, Eric Gaussier, Matthieu Cord, Eduardo Valle,
• Abstract要約: GIFTは、視覚分類器に対するポストホック、グローバル、解釈可能、忠実なテキスト説明を導出するためのフレームワークである。 GIFTは、深い視覚分類器が使用する課題、概念、バイアスを効果的に明らかにする。
• 参考スコア（独自算出の注目度）: 47.197438852068146
• License:
• Abstract: Understanding deep models is crucial for deploying them in safety-critical applications. We introduce GIFT, a framework for deriving post-hoc, global, interpretable, and faithful textual explanations for vision classifiers. GIFT starts from local faithful visual counterfactual explanations and employs (vision) language models to translate those into global textual explanations. Crucially, GIFT provides a verification stage measuring the causal effect of the proposed explanations on the classifier decision. Through experiments across diverse datasets, including CLEVR, CelebA, and BDD, we demonstrate that GIFT effectively reveals meaningful insights, uncovering tasks, concepts, and biases used by deep vision classifiers. The framework is released at https://github.com/valeoai/GIFT.
• Abstract（参考訳）: 深層モデルを理解することは、それらを安全クリティカルなアプリケーションにデプロイする上で非常に重要です。 我々は、視覚分類器のためのポストホック、グローバル、解釈可能、忠実なテキスト説明を導出するためのフレームワークであるGIFTを紹介する。 GIFTは、地域の忠実な視覚的対実的説明から始まり、言語モデルを用いて、それらをグローバルなテキスト的説明に変換する。 重要なことは、GIFTは分類器決定に対する提案された説明の因果効果を測定する検証段階を提供する。 CLEVR、CelebA、BDDなど、さまざまなデータセットの実験を通じて、GIFTが意味のある洞察を効果的に明らかにし、タスク、概念、バイアスが深い視覚分類器によって使用されることを示した。 フレームワークはhttps://github.com/valeoai/GIFT.comでリリースされる。

関連論文リスト

• MEGL: Multimodal Explanation-Guided Learning [23.54169888224728]
  本稿では,モデル解釈性の向上と分類性能の向上を目的とした,新しいマルチモーダル説明誘導学習(MEGL)フレームワークを提案する。 我々のSDTG(Saliency-Driven Textual Grounding)アプローチは、視覚的説明からテキスト論理へ空間情報を統合し、空間的根拠と文脈的リッチな説明を提供する。 我々は、マルチモーダルな説明を伴う画像分類のための2つの新しいデータセットであるObject-MEとAction-MEでMEGLを検証した。
  論文  参考訳（メタデータ） (2024-11-20T05:57:00Z)
• Bridging Local Details and Global Context in Text-Attributed Graphs [62.522550655068336]
  GraphBridgeは、コンテキストテキスト情報を活用することで、ローカルおよびグローバルな視点をブリッジするフレームワークである。 提案手法は最先端性能を実現し,グラフ対応トークン削減モジュールは効率を大幅に向上し,スケーラビリティの問題を解消する。
  論文  参考訳（メタデータ） (2024-06-18T13:35:25Z)
• Diffexplainer: Towards Cross-modal Global Explanations with Diffusion Models [51.21351775178525]
  DiffExplainerは、言語ビジョンモデルを活用することで、マルチモーダルなグローバルな説明可能性を実現する新しいフレームワークである。 最適化されたテキストプロンプトに条件付けされた拡散モデルを使用し、クラス出力を最大化する画像を合成する。 生成した視覚的記述の分析により、バイアスと突発的特徴の自動識別が可能になる。
  論文  参考訳（メタデータ） (2024-04-03T10:11:22Z)
• SNIFFER: Multimodal Large Language Model for Explainable Out-of-Context Misinformation Detection [18.356648843815627]
  アウト・オブ・コンテクスト(OOC)の誤報は、聴衆を誤解させる最も簡単かつ効果的な方法の1つである。 現在の手法は、画像テキストの一貫性を評価することに重点を置いているが、その判断には説得力のある説明が欠けている。 我々は、OOC誤情報検出と説明のために特別に設計された、新しいマルチモーダルな大規模言語モデルであるSNIFFERを紹介する。
  論文  参考訳（メタデータ） (2024-03-05T18:04:59Z)
• General Object Foundation Model for Images and Videos at Scale [99.2806103051613]
  本稿では,画像やビデオ中の物体の位置と識別のためのオブジェクトレベルの基礎モデルであるGLEEを提案する。 GLEEは、オープンワールドシナリオにおける任意のオブジェクトの検出、セグメンテーション、トラッキング、グラウンド、識別を達成する。 画像エンコーダ,テキストエンコーダ,視覚プロンプトを用いて複数モーダル入力を処理し,様々なオブジェクト中心の下流タスクを同時に解決する。
  論文  参考訳（メタデータ） (2023-12-14T17:26:00Z)
• GlobalDoc: A Cross-Modal Vision-Language Framework for Real-World Document Image Retrieval and Classification [8.880856137902947]
  我々は、自己教師型で事前訓練されたクロスモーダルトランスフォーマーベースのアーキテクチャであるGlobalDocを紹介する。 GlobalDocは、言語と視覚表現を統合することによって、よりリッチなセマンティックな概念の学習を改善する。 適切な評価のために,Few-Shot Document Image Classification (DIC)とContent-based Document Image Retrieval (DIR)の2つの新しい文書レベル下流VDUタスクを提案する。
  論文  参考訳（メタデータ） (2023-09-11T18:35:14Z)
• GLOBE-CE: A Translation-Based Approach for Global Counterfactual Explanations [10.276136171459731]
  Global & Efficient Counterfactual Explanations (GLOBE-CE)は、現在の最先端技術に関連する信頼性とスケーラビリティの問題に取り組む柔軟なフレームワークである。 分類的特徴翻訳を数学的に解析し,その手法を応用した。 公開データセットとユーザスタディによる実験的評価は、GLOBE-CEが現在の最先端よりも大幅にパフォーマンスが向上していることを示している。
  論文  参考訳（メタデータ） (2023-05-26T15:26:59Z)
• LANDMARK: Language-guided Representation Enhancement Framework for Scene Graph Generation [34.40862385518366]
  シーングラフ生成(SGG)は複雑な視覚的特徴とデータセットの長い問題の両方に悩まされる高度なタスクである。 言語ビジョンの対話パターンから述語関連表現を学習するLANDMARK(LANguage-guided representationenhanceMent frAmewoRK)を提案する。 このフレームワークはモデルに依存しず、既存のSGGモデルの性能を一貫して改善する。
  論文  参考訳（メタデータ） (2023-03-02T09:03:11Z)
• Towards Understanding Sample Variance in Visually Grounded Language Generation: Evaluations and Observations [67.4375210552593]
  視覚的基盤言語生成において,重要だがしばしば無視される問題を理解するために実験を設計する。 人間にはさまざまなユーティリティと視覚的注意があるので、マルチ参照データセットのサンプルのばらつきはモデルの性能にどのように影響しますか? 人為的な参照は、異なるデータセットやタスクで大きく変化する可能性があり、それぞれのタスクの性質が明らかになる。
  論文  参考訳（メタデータ） (2020-10-07T20:45:14Z)
• Object Relational Graph with Teacher-Recommended Learning for Video Captioning [92.48299156867664]
  本稿では,新しいモデルと効果的なトレーニング戦略の両方を含む完全なビデオキャプションシステムを提案する。 具体的には,オブジェクトリレーショナルグラフ(ORG)に基づくエンコーダを提案する。 一方,教師推薦学習(TRL)手法を設計し,成功した外部言語モデル(ELM)をフル活用し,豊富な言語知識をキャプションモデルに統合する。
  論文  参考訳（メタデータ） (2020-02-26T15:34:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。