論文の概要: Explaining Image Similarity with Automatically Extracted Concept Activation Vectors

• arxiv url: http://arxiv.org/abs/2607.28386v1
• Date: Thu, 30 Jul 2026 15:43:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-31 21:37:00.629195
• Title: Explaining Image Similarity with Automatically Extracted Concept Activation Vectors
• Title（参考訳）: 自動抽出された概念活性化ベクトルによる画像類似性の説明
• Abstract要約: Sparse Autoencoders (SAEs) を介して自動的に抽出される概念活性化ベクトル(CAVs)を用いて、画像の類似性を説明するモデルおよびメートル法に依存しないフレームワークを提案する。 この手順をグループレベルの設定に拡張し、単一のペアではなく、イメージのクラスタ間で類似性を駆動する理由を説明します。 実験により、我々の潜伏摂動は、ピクセル空間のベースラインよりも基礎となるデータ分布に忠実であることが示された。
• 参考スコア（独自算出の注目度）: 43.61120317216353
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Image similarity underlies many computer vision applications, yet it is often unclear why two images receive a high or low similarity score. Existing explainability methods often rely on gradient-based attribution maps to provide local justifications for similarity. These approaches struggle to provide global insights into what specifically drives similarity in regions of an embedding space, such as texture, shape, or color. We introduce a model- and metric-agnostic framework that explains image similarity using Concept Activation Vectors (CAVs) extracted automatically via Sparse Autoencoders (SAEs). Given a pair of images, we perturb their embeddings along discovered concept directions and measure the resulting change in a chosen similarity function, yielding concept importances. For image pairs, we provide localization with concept attribution maps. We extend this procedure to group-level settings, explaining what drives similarity across a cluster of images rather than a single pair, and further, we introduce Exemplar Retrieval, aiming to recover samples with similar reasons contributing to similarity. Our experiments show that our latent perturbations are more faithful to the underlying data distribution than pixel-space baselines, and that concept importances linearly recover the true similarity score. Qualitative results further confirm the usefulness of our methods in understanding a model's individual and group similarity judgments.
• Abstract（参考訳）: 画像の類似性は多くのコンピュータビジョンアプリケーションの基礎となっているが、なぜ2つの画像が高いか低いかはよくわからない。 既存の説明可能性法は、しばしば類似性に対する局所的な正当化を提供するために勾配に基づく帰属写像に依存する。 これらのアプローチは、テクスチャ、形状、色など、埋め込み空間の領域における類似性について、グローバルな洞察を提供するのに苦労する。 本稿では,Sparse Autoencoders (SAEs) を介して自動的に抽出される概念活性化ベクトル (CAVs) を用いて,画像の類似性を説明する,モデルおよびメートル法に依存しないフレームワークを提案する。 一対の画像を与えられた場合、発見された概念方向に沿って埋め込みを摂動させ、選択された類似度関数の変化を計測し、概念の重要性をもたらす。 画像対に対して、概念帰属写像を用いた局所化を提供する。 我々は、この手順をグループレベルの設定に拡張し、単一のペアではなく、イメージのクラスタ間で類似性を促進するものを説明し、さらに、類似性に寄与する類似した理由でサンプルを復元することを目的としたExemplar Retrievalを導入する。 実験により,我々の潜伏摂動は画素空間のベースラインよりも基礎となるデータ分布に忠実であり,その概念が真の類似度スコアを線形に回復することが示唆された。 定性的な結果は、モデルの個人的および集団的類似性判断を理解する上で、我々の方法の有用性をさらに裏付けるものである。

関連論文リスト

• Image Difference Quantification Using Autoencoder-Based Latent Representations [0.5352699766206808]
  本稿では,潜在空間におけるコサイン類似性を用いて画像差分を定量化するための畳み込みオートエンコーダに基づくフレームワークを提案する。 提案手法は,従来の画素ベースの類似度指標に代えて,計算効率が高く,セマンティックに基礎を置いている。
  論文  参考訳（メタデータ） (2026-08-25T16:23:47Z)
• Relational Visual Similarity [75.39827145344957]
  リレーショナルな類似性は、認知科学者によって、人間と他の種を区別するものとして論じられる。 現在広く使われている視覚的類似度指標はすべて、知覚的属性類似性のみに焦点を当てている。 我々の研究は、リレーショナルな類似性は多くの実世界のアプリケーションを持っているが、既存の画像類似性モデルはそれを捉えていないことを示している。
  論文  参考訳（メタデータ） (2025-12-08T18:59:56Z)
• Interpretable Measures of Conceptual Similarity by Complexity-Constrained Descriptive Auto-Encoding [112.0878081944858]
  画像間の類似度を定量化することは、画像ベースの機械学習にとって重要な著作権問題である。 我々は,高次関係を捉えた画像間での「概念的類似性」の概念を定義し,計算することを目指している。 2つの非常に異種な画像は、その記述の早い段階で識別できるが、概念的に異種な画像は、より詳細を区別する必要がある。
  論文  参考訳（メタデータ） (2024-02-14T03:31:17Z)
• Bayesian Unsupervised Disentanglement of Anatomy and Geometry for Deep Groupwise Image Registration [59.062085785106234]
  本稿では,マルチモーダル群画像登録のための一般ベイズ学習フレームワークを提案する。 本稿では,潜在変数の推論手順を実現するために,新しい階層的変分自動符号化アーキテクチャを提案する。 心臓、脳、腹部の医療画像から4つの異なるデータセットを含む,提案された枠組みを検証する実験を行った。
  論文  参考訳（メタデータ） (2024-01-04T08:46:39Z)
• Explainable Image Similarity: Integrating Siamese Networks and Grad-CAM [3.686808512438363]
  本稿では、視覚的事実と反現実的説明とともに、類似度スコアを提供することを目標とする説明可能な画像類似性の概念を提案する。 本稿では,Siamese Networks と Grad-CAM を統合し,説明可能な画像類似性を提供する新しいフレームワークを提案する。 提案手法は,実世界の画像類似性アプリケーションにおける画像ベースシステムの解釈可能性,信頼性,ユーザ受容性を向上する可能性がある。
  論文  参考訳（メタデータ） (2023-10-11T17:21:48Z)
• Attributable Visual Similarity Learning [90.69718495533144]
  本稿では、画像間のより正確で説明可能な類似度測定のための帰属的視覚類似度学習(AVSL)フレームワークを提案する。 人間の意味的類似性認知に動機づけられた2つの画像とグラフとの類似性を表現するために,一般化された類似性学習パラダイムを提案する。 CUB-200-2011、Cars196、Stanford Online Productsデータセットの実験は、既存の深い類似性学習方法よりも大幅に改善されたことを示している。
  論文  参考訳（メタデータ） (2022-03-28T17:35:31Z)
• Batch Curation for Unsupervised Contrastive Representation Learning [21.83249229426828]
  そこで本研究では,学習過程におけるバッチの選択を基本となるコントラスト目標とよりインラインに行うためのtextitbatch キュレーション手法を提案する。 CIFAR10 上での Textitbatch のキュレーションの検証だけでなく, 類似性, 相同性, 相同性, 相同性, 相同性, 相同性, 相同性などについて考察した。
  論文  参考訳（メタデータ） (2021-08-19T12:14:50Z)
• Unsupervised Landmark Learning from Unpaired Data [117.81440795184587]
  教師なしランドマーク学習の最近の試みは、外観は似ているがポーズでは異なる合成画像対を活用する。 本稿では,2回スワッピング・リコンストラクション・ストラテジーを適用して最終監視を行うクロスイメージ・サイクル整合性フレームワークを提案する。 提案するフレームワークは,強いベースラインを大きなマージンで上回ることを示す。
  論文  参考訳（メタデータ） (2020-06-29T13:57:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。