論文の概要: Model-Agnostic Explainability for Visual Search
- arxiv url: http://arxiv.org/abs/2103.00370v1
- Date: Sun, 28 Feb 2021 01:24:15 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-05 07:05:18.417348
- Title: Model-Agnostic Explainability for Visual Search
- Title(参考訳): 視覚検索のためのモデル予測可能性
- Authors: Mark Hamilton, Scott Lundberg, Lei Zhang, Stephanie Fu, William T.
Freeman
- Abstract要約: 画像の類似性、検索、検索のためのモデルに依存しない説明を生成する新しいアプローチを提案します。
これらのアプローチは、ブラックおよびグレーボックスモデルのイントロスペクションを可能にし、エラーを診断し、モデルの類似性判断の背後にある根拠を理解するのに役立ちます。
- 参考スコア(独自算出の注目度): 34.60934564594901
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: What makes two images similar? We propose new approaches to generate
model-agnostic explanations for image similarity, search, and retrieval. In
particular, we extend Class Activation Maps (CAMs), Additive Shapley
Explanations (SHAP), and Locally Interpretable Model-Agnostic Explanations
(LIME) to the domain of image retrieval and search. These approaches enable
black and grey-box model introspection and can help diagnose errors and
understand the rationale behind a model's similarity judgments. Furthermore, we
extend these approaches to extract a full pairwise correspondence between the
query and retrieved image pixels, an approach we call "joint interpretations".
Formally, we show joint search interpretations arise from projecting Harsanyi
dividends, and that this approach generalizes Shapley Values and The
Shapley-Taylor indices. We introduce a fast kernel-based method for estimating
Shapley-Taylor indices and empirically show that these game-theoretic measures
yield more consistent explanations for image similarity architectures.
- Abstract(参考訳): 2つの画像が似ている理由?
画像の類似性、検索、検索のためのモデルに依存しない説明を生成する新しいアプローチを提案します。
特に、クラスアクティベーションマップ(CAM)、付加シェープ説明(SHAP)、局所的に解釈可能なモデル認識説明(LIME)を画像検索と検索の領域に拡張します。
これらのアプローチは、ブラックおよびグレーボックスモデルのイントロスペクションを可能にし、エラーを診断し、モデルの類似性判断の背後にある根拠を理解するのに役立ちます。
さらに、これらのアプローチを拡張して、クエリと検索された画像ピクセルの間の完全なペアワイズ対応を抽出します。
形式的には、Harsanyi配当の予測から生じる共同検索の解釈を示し、このアプローチはShapley ValuesとThe Shapley-Taylorインデックスを一般化する。
そこで本研究では,shapley-taylorの指標を高速カーネル法で推定し,これらのゲーム理論的な指標が画像類似性アーキテクチャのより一貫性のある説明をもたらすことを示す。
関連論文リスト
- Interpretable Network Visualizations: A Human-in-the-Loop Approach for Post-hoc Explainability of CNN-based Image Classification [5.087579454836169]
State-of-the-art explainability Method は、特定のクラスが特定された場所を示すために、サリエンシマップを生成する。
本稿では,畳み込みニューラルネットワークの機能抽出プロセス全体を説明するポストホック手法を提案する。
また,複数の画像にラベルを集約することで,グローバルな説明を生成する手法を提案する。
論文 参考訳(メタデータ) (2024-05-06T09:21:35Z) - Semantic Approach to Quantifying the Consistency of Diffusion Model Image Generation [0.40792653193642503]
拡散モデルにおける画像生成の再現性、あるいは一貫性の解釈可能な定量的スコアの必要性を同定する。
セマンティック・コンセンサス・スコアとしてペア平均CLIPスコアを用いるセマンティック・アプローチを提案する。
論文 参考訳(メタデータ) (2024-04-12T20:16:03Z) - Fast Hierarchical Games for Image Explanations [78.16853337149871]
本稿では,シェープリー係数の階層的拡張に基づく画像分類のモデル非依存な説明法を提案する。
他のShapleyベースの説明手法とは異なり、h-Shapはスケーラブルで近似を必要とせずに計算できる。
本手法は,合成データセット,医用画像シナリオ,一般コンピュータビジョン問題において,一般的なシャプリーベースおよび非サプリーベース手法と比較した。
論文 参考訳(メタデータ) (2021-04-13T13:11:02Z) - Joint Estimation of Image Representations and their Lie Invariants [57.3768308075675]
画像は世界の状態とコンテンツの両方をエンコードする。
この情報の自動抽出は、画像表現に固有の高次元かつ絡み合った符号化のために困難である。
本稿では,これらの課題の解決を目的とした2つの理論的アプローチを紹介する。
論文 参考訳(メタデータ) (2020-12-05T00:07:41Z) - Uncertainty-Aware Few-Shot Image Classification [118.72423376789062]
ラベル付き限られたデータから新しいカテゴリを認識できる画像分類はほとんどない。
画像分類のための不確実性を考慮したFew-Shotフレームワークを提案する。
論文 参考訳(メタデータ) (2020-10-09T12:26:27Z) - Deep Variational Network Toward Blind Image Restoration [60.45350399661175]
ブラインド画像復元はコンピュータビジョンでは一般的だが難しい問題である。
両利点を両立させることを目的として,新しいブラインド画像復元手法を提案する。
画像デノイングと超解像という2つの典型的なブラインド赤外線タスクの実験により,提案手法が現状よりも優れた性能を達成できることが実証された。
論文 参考訳(メタデータ) (2020-08-25T03:30:53Z) - Towards Visually Explaining Similarity Models [29.704524987493766]
本稿では,画像類似度予測のための勾配に基づく視覚的注意を生成する手法を提案する。
学習した機能の埋め込みにのみ依存することにより、我々のアプローチがCNNベースの類似性アーキテクチャのあらゆる種類に適用可能であることを示す。
得られたアテンションマップは、単に解釈可能性だけでなく、新たなトレーニング可能な制約でモデル学習プロセス自体に注入可能であることを示す。
論文 参考訳(メタデータ) (2020-08-13T17:47:41Z) - Color Texture Image Retrieval Based on Copula Multivariate Modeling in
the Shearlet Domain [4.416484585765028]
カラーテクスチャ画像検索フレームワークを提案する。
筆者らは4つのテクスチャ画像検索ベンチマークデータセットを用いて実験を行い、提案手法が既存の最先端手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2020-08-03T14:40:27Z) - Explainable Image Classification with Evidence Counterfactual [0.0]
画像分類のためのモデルに依存しないインスタンスレベルの説明法としてSEDCを導入する。
ある画像に対して、SEDCは、削除された場合、分類を変更する小さなセグメントの集合を検索する。
我々は,SEDC(-T) と LRP, LIME, SHAP などの特徴重要度評価手法を比較し, 上記の重要度ランキング問題にどう対処するかを述べる。
論文 参考訳(メタデータ) (2020-04-16T08:02:48Z) - Explain and Improve: LRP-Inference Fine-Tuning for Image Captioning
Models [82.3793660091354]
本稿では,注意を可視化する以外に,注意機構を付加した画像キャプションモデルの予測について分析する。
我々は,注意機構を備えた画像キャプションモデルに適したレイヤワイド関連伝搬(LRP)と勾配に基づく説明法を開発した。
論文 参考訳(メタデータ) (2020-01-04T05:15:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。