論文の概要: Towards a More Rigorous Science of Blindspot Discovery in Image Models
- arxiv url: http://arxiv.org/abs/2207.04104v2
- Date: Fri, 14 Apr 2023 04:49:03 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-17 17:02:43.630066
- Title: Towards a More Rigorous Science of Blindspot Discovery in Image Models
- Title(参考訳): 画像モデルにおける盲点発見のより厳密な科学に向けて
- Authors: Gregory Plumb, Nari Johnson, \'Angel Alexander Cabrera, Ameet
Talwalkar
- Abstract要約: 我々はBlindspot Discovery Methods(BDM)を評価するための新しいフレームワークを紹介する。
SpotCheckは、合成画像データセットを使用して、既知の盲点を持つモデルと、2D画像表現を使用する新しいBDMであるPlaneSpotをトレーニングする。
以上の結果から,BDM設計と評価の今後の取り組みに期待できる方向がいくつか示唆された。
- 参考スコア(独自算出の注目度): 17.731343376153152
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A growing body of work studies Blindspot Discovery Methods ("BDM"s): methods
that use an image embedding to find semantically meaningful (i.e., united by a
human-understandable concept) subsets of the data where an image classifier
performs significantly worse. Motivated by observed gaps in prior work, we
introduce a new framework for evaluating BDMs, SpotCheck, that uses synthetic
image datasets to train models with known blindspots and a new BDM, PlaneSpot,
that uses a 2D image representation. We use SpotCheck to run controlled
experiments that identify factors that influence BDM performance (e.g., the
number of blindspots in a model, or features used to define the blindspot) and
show that PlaneSpot is competitive with and in many cases outperforms existing
BDMs. Importantly, we validate these findings by designing additional
experiments that use real image data from MS-COCO, a large image benchmark
dataset. Our findings suggest several promising directions for future work on
BDM design and evaluation. Overall, we hope that the methodology and analyses
presented in this work will help facilitate a more rigorous science of
blindspot discovery.
- Abstract(参考訳): 目隠し点発見法(bdm)とは、画像分類器の動作が著しく悪化するデータのサブセットを、意味的に有意義な部分集合(つまり、人間の理解可能な概念によって結合される)を見つけるために画像埋め込みを使用する手法である。
先行作業で観測されたギャップに触発され、2次元画像表現を使用する新しいBDMであるPlaneSpotと、既知の盲点を持つモデルのトレーニングに合成画像データセットを使用するSpotCheckという、BDMを評価する新しいフレームワークを導入する。
私たちはSpotCheckを使用して、BDMのパフォーマンスに影響を与える要因(例えば、モデル内の盲点の数や、盲点を定義するのに使用される機能)を識別する制御された実験を行い、PlaneSpotが既存のBDMと競合し、多くの場合、性能が優れていることを示す。
重要なことは、大規模な画像ベンチマークデータセットであるMS-COCOの実際の画像データを用いた追加実験を設計し、これらの結果を検証することである。
以上の結果から,BDM設計と評価の今後の取り組みに期待できる方向がいくつか示唆された。
全体として、この研究で提示された方法論と分析が、より厳密な盲点発見の科学を促進することを願っている。
関連論文リスト
- Contrasting Deepfakes Diffusion via Contrastive Learning and Global-Local Similarities [88.398085358514]
Contrastive Deepfake Embeddings (CoDE)は、ディープフェイク検出に特化した新しい埋め込み空間である。
CoDEは、グローバルローカルな類似性をさらに強化することで、対照的な学習を通じて訓練される。
論文 参考訳(メタデータ) (2024-07-29T18:00:10Z) - Opinion-Unaware Blind Image Quality Assessment using Multi-Scale Deep Feature Statistics [54.08757792080732]
我々は,事前学習された視覚モデルからの深い特徴を統計的解析モデルと統合して,意見認識のないBIQA(OU-BIQA)を実現することを提案する。
提案モデルは,最先端のBIQAモデルと比較して,人間の視覚的知覚との整合性に優れる。
論文 参考訳(メタデータ) (2024-05-29T06:09:34Z) - Deep Domain Adaptation: A Sim2Real Neural Approach for Improving Eye-Tracking Systems [80.62854148838359]
眼球画像のセグメンテーションは、最終視線推定に大きな影響を及ぼす眼球追跡の重要なステップである。
対象視線画像と合成訓練データとの重なり合いを測定するために,次元還元法を用いている。
提案手法は,シミュレーションと実世界のデータサンプルの相違に対処する際の頑健で,性能が向上する。
論文 参考訳(メタデータ) (2024-03-23T22:32:06Z) - Semantic Map Guided Synthesis of Wireless Capsule Endoscopy Images using
Diffusion Models [4.187344935012482]
ワイヤレスカプセル内視鏡(Wireless capsule endoscopy, WCE)は、消化管(GI)を可視化するための非侵襲的方法である。
本稿では,様々なWCE画像を生成するために生成モデル,特に拡散モデル(DM)を活用する新しいアプローチを提案する。
我々のモデルは、可視化スケール(VS)エンジンによるセマンティックマップを導入し、生成した画像の可制御性と多様性を向上させる。
論文 参考訳(メタデータ) (2023-11-10T06:16:44Z) - Causality-Driven One-Shot Learning for Prostate Cancer Grading from MRI [1.049712834719005]
本稿では,画像中の弱い因果信号を学習し,活用する医用画像の自動分類手法を提案する。
我々のフレームワークは畳み込みニューラルネットワークのバックボーンと因果抽出モジュールで構成されている。
本研究は,特徴間の因果関係が,関連情報を識別するモデルの能力を高める上で重要な役割を担っていることを示す。
論文 参考訳(メタデータ) (2023-09-19T16:08:33Z) - Detecting Images Generated by Deep Diffusion Models using their Local
Intrinsic Dimensionality [8.968599131722023]
拡散モデルは驚くほどリアルな画像の視覚合成に成功している。
これにより、悪意のある目的のために、彼らの可能性に対する強い懸念が持ち上がる。
合成画像の自動検出に軽量な多重局所固有次元法(multiLID)を提案する。
論文 参考訳(メタデータ) (2023-07-05T15:03:10Z) - Controllable Mind Visual Diffusion Model [58.83896307930354]
脳信号の可視化は、人間の視覚システムとコンピュータビジョンモデルの間の重要なインターフェースとして機能する活発な研究領域として登場した。
我々は、制御可能なマインドビジュアルモデル拡散(CMVDM)と呼ばれる新しいアプローチを提案する。
CMVDMは属性アライメントとアシスタントネットワークを用いてfMRIデータから意味情報とシルエット情報を抽出する。
そして、制御モデルを利用して抽出した情報を画像合成に活用し、セマンティクスやシルエットの観点から視覚刺激によく似た画像を生成する。
論文 参考訳(メタデータ) (2023-05-17T11:36:40Z) - Domain Generalization for Mammographic Image Analysis with Contrastive
Learning [62.25104935889111]
効果的なディープラーニングモデルのトレーニングには、さまざまなスタイルと品質を備えた大規模なデータが必要である。
より優れたスタイルの一般化能力を備えた深層学習モデルを実現するために,新しいコントラスト学習法が開発された。
提案手法は,様々なベンダスタイルドメインのマンモグラムや,いくつかのパブリックデータセットを用いて,広範囲かつ厳密に評価されている。
論文 参考訳(メタデータ) (2023-04-20T11:40:21Z) - Gradient-Induced Co-Saliency Detection [81.54194063218216]
Co-SOD(Co-saliency Detection)は、一般的な唾液前景を関連画像のグループに分割することを目的としている。
本稿では,人間の行動にインスパイアされた,勾配誘導型共分散検出法を提案する。
論文 参考訳(メタデータ) (2020-04-28T08:40:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。