論文の概要: Discovery and Spatial Characterisation of Multiple Shortcut Groups for Auditing Vision Model Bias
- arxiv url: http://arxiv.org/abs/2608.14051v1
- Date: Fri, 14 Aug 2026 07:57:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-17 20:14:29.310811
- Title: Discovery and Spatial Characterisation of Multiple Shortcut Groups for Auditing Vision Model Bias
- Title(参考訳): 視覚モデルバイアスに対する複数ショートカット群の発見と空間的特徴付け
- Abstract要約: 画像ごとのショートカットとタスクコントリビューションマップをK平均と非負行列分解を用いて繰り返し空間パターンに分類した。
CelebA、CheXpert、Waterbirds、Camelyon17、ISIC 2019、およびResNetとViTモデル全体で発見されたショートカットグループは、ショートカットとタスクコントリビューションの共有と異なる空間パターンを明らかにしている。
- 参考スコア(独自算出の注目度): 38.183226610951806
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep learning models trained on datasets with spurious correlations can achieve high average accuracy whilst relying on shortcut features that do not generalise out of distribution. Whilst out-of-distribution testing highlights subgroup performance disparities arising from shortcut learning, it does not localise the regions within images that are associated with it. Existing research mostly uses attribution maps from interpretability methods to understand the spatial nature of spurious correlations. For example, conditional alignment methods separate task-relevant evidence from evidence tied to spurious correlations by comparing attribution maps from a task model, a sensitive attribute model, and a bias-reduced reference model. This yields shortcut-aligned and task-aligned contribution maps for each image. However, existing methods aggregate these maps across the dataset, potentially masking recurring spatial shortcut patterns that occur only in subsets of images. We address this limitation by grouping per-image shortcut and task contribution maps into recurring spatial patterns using K-means and non-negative matrix factorisation, and visualising the resulting shortcut groups through contribution maps and representative examples. Across CelebA, CheXpert, Waterbirds, Camelyon17, and ISIC2019, and across ResNet and ViT models, the discovered shortcut groups reveal both shared and distinct spatial patterns of shortcut and task contribution, with varying subgroup composition and error rates, enabling targeted inspection of image subsets with higher error rates. We perform input occlusion and internal test-time interventions to show that masking or suppressing task contribution regions substantially degrades the model classification performance and propose a combined shortcut suppression and task amplification feature intervention approach which generally reduces performance disparities.
- Abstract(参考訳): 突発的な相関を持つデータセットに基づいてトレーニングされたディープラーニングモデルは、分布を一般化しないショートカット機能に依存しながら、高い平均精度を達成することができる。
アウト・オブ・ディストリビューションテストでは、ショートカット学習によるサブグループのパフォーマンス格差が強調されるが、関連する画像内の領域をローカライズしない。
既存の研究は、主に解釈可能性法からの帰属写像を用いて、突発的相関の空間的性質を理解する。
例えば、条件付きアライメント法は、タスクモデル、機密属性モデル、バイアス還元参照モデルから属性マップを比較して、突発的相関に関連する証拠からタスク関連エビデンスを分離する。
これにより、各画像に対するショートカット・アラインメントとタスク・アラインメント・コントリビューション・マップが得られる。
しかし、既存の手法はデータセット全体にわたってこれらのマップを集約し、画像のサブセットでのみ発生する空間的ショートカットパターンを隠蔽する可能性がある。
画像ごとのショートカットマップとタスクコントリビューションマップを、K平均および非負行列分解を用いて繰り返し空間パターンに分類し、コントリビューションマップや代表例を通して結果のショートカットグループを視覚化することで、この制限に対処する。
CelebA、CheXpert、Waterbirds、Camelyon17、ISIC2019、およびResNetとViTモデル全体で発見されたショートカット群は、ショートカットとタスクコントリビューションの共有と異なる空間パターンの両方を、様々なサブグループ構成とエラー率で明らかにし、より高いエラー率を持つ画像サブセットのターゲット検査を可能にした。
本研究では,タスクコントリビューション領域のマスキングや抑制がモデル分類性能を著しく低下させることを示すために,入力遮断と内部テストタイムの介入を行い,一般に性能格差を減少させるショートカット抑制とタスク増幅機能介入を併用したアプローチを提案する。
関連論文リスト
- H-Sets: Hessian-Guided Discovery of Set-Level Feature Interactions in Image Classifiers [2.7415651415305597]
H-Setsは画像分類器における高次特徴相互作用の発見と寄与のための新しいフレームワークである。
我々は、各セットに、画素空間パスに沿った方向勾配を統合する統合方向勾配のセットレベル拡張であるIDG-Visを属性とする。
VGG、ResNet、DenseNet、MobileNetの各モデルに対するImageNetおよびCUBデータセットの評価は、H-Setsがより解釈可能で忠実な唾液マップを生成することを示している。
論文 参考訳(メタデータ) (2026-04-23T20:03:17Z) - Few-Shot Pattern Detection via Template Matching and Regression [52.79291493477272]
本稿では,テンプレートマッチングと回帰に基づく簡易かつ効果的な検出器TMRを提案する。
凍結したバックボーンの上に少数の学習可能な畳み込み層や投射層を持つ最小限の構造を通して、経験者の空間的レイアウトを効果的に保存し、活用する。
提案手法は, RPINE, FSCD-147, FSCD-LVISの3つのベンチマークにおける最先端手法よりも優れ, クロスデータセット評価において強い一般化を示す。
論文 参考訳(メタデータ) (2025-08-25T03:52:42Z) - Aggregating Local Saliency Maps for Semi-Global Explainable Image Classification [0.0]
ディープラーニングは画像分類タスクを支配しているが、モデルが予測に到達する方法を理解することは依然として困難である。
多くの研究は、モデルの予測に対する特定のピクセルの影響を可視化するサリエンシマップのような個々の予測の局所的な説明に焦点を当てている。
本稿では,局所的なサリエンシの説明を(半)言語的洞察にまとめる手法であるセグメンツ属性テーブル(SAT)を提案する。
論文 参考訳(メタデータ) (2025-06-29T14:11:02Z) - NubbleDrop: A Simple Way to Improve Matching Strategy for Prompted One-Shot Segmentation [2.2559617939136505]
マッチング戦略の有効性とロバスト性を高めるための,単純で訓練のない手法を提案する。
中心となる概念は、マッチングプロセス中にランダムに特徴チャネル(0に設定する)をドロップすることである。
この手法は、病理的なヌブルの破棄を模倣し、他の類似性コンピューティングのシナリオにシームレスに適用することができる。
論文 参考訳(メタデータ) (2024-05-19T08:00:38Z) - Auxiliary Tasks Enhanced Dual-affinity Learning for Weakly Supervised
Semantic Segmentation [79.05949524349005]
AuxSegNet+は、サリエンシマップから豊富な情報を探索する弱教師付き補助学習フレームワークである。
また,サリエンシとセグメンテーションの特徴マップから画素レベルの親和性を学習するためのクロスタスク親和性学習機構を提案する。
論文 参考訳(メタデータ) (2024-03-02T10:03:21Z) - Common-Sense Bias Modeling for Classification Tasks [15.683471433842492]
テキスト記述に基づく画像データセットの包括的バイアスを抽出する新しい枠組みを提案する。
提案手法は,複数の画像ベンチマークデータセットにおける新しいモデルバイアスを明らかにする。
発見されたバイアスは、機能の非相関化のために、単純なデータ再重み付けによって緩和することができる。
論文 参考訳(メタデータ) (2024-01-24T03:56:07Z) - EmerDiff: Emerging Pixel-level Semantic Knowledge in Diffusion Models [52.3015009878545]
我々は、追加の訓練をすることなく、きめ細かなセグメンテーションマップを生成できる画像セグメンタを開発した。
低次元特徴写像の空間的位置と画像画素間の意味的対応を同定する。
大規模な実験では、生成したセグメンテーションマップがよく説明され、画像の細部を捉えることが示されている。
論文 参考訳(メタデータ) (2024-01-22T07:34:06Z) - Multilevel Saliency-Guided Self-Supervised Learning for Image Anomaly
Detection [15.212031255539022]
異常検出(AD)はコンピュータビジョンの基本課題である。
そこで我々は,サリエンシガイダンスを活用して意味的手がかりを付加するCutSwapを提案する。
CutSwapは、2つの主流ADベンチマークデータセット上で最先端のADパフォーマンスを達成する。
論文 参考訳(メタデータ) (2023-11-30T08:03:53Z) - Boosting Few-shot Fine-grained Recognition with Background Suppression
and Foreground Alignment [53.401889855278704]
FS-FGR (Few-shot Fine-fine Recognition) は、限られたサンプルの助けを借りて、新しいきめ細かなカテゴリを認識することを目的としている。
本研究では,背景アクティベーション抑制 (BAS) モジュール,フォアグラウンドオブジェクトアライメント (FOA) モジュール,および局所的局所的(L2L) 類似度測定器からなる2段階の背景アライメントとフォアグラウンドアライメントフレームワークを提案する。
複数のベンチマークで行った実験により,提案手法は既存の最先端技術よりも大きなマージンで優れていることが示された。
論文 参考訳(メタデータ) (2022-10-04T07:54:40Z) - Out-of-distribution Generalization via Partial Feature Decorrelation [72.96261704851683]
本稿では,特徴分解ネットワークと対象画像分類モデルとを協調的に最適化する,PFDL(Partial Feature Deorrelation Learning)アルゴリズムを提案する。
実世界のデータセットを用いた実験により,OOD画像分類データセットにおけるバックボーンモデルの精度が向上することを示した。
論文 参考訳(メタデータ) (2020-07-30T05:48:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。