論文の概要: Detecting Systematic Weaknesses in Vision Models along Predefined Human-Understandable Dimensions
- arxiv url: http://arxiv.org/abs/2502.12360v2
- Date: Thu, 06 Mar 2025 18:07:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-07 15:56:43.532024
- Title: Detecting Systematic Weaknesses in Vision Models along Predefined Human-Understandable Dimensions
- Title（参考訳）: 目視モデルにおける人間の理解不能次元に沿っての全身的弱さの検出
- Authors: Sujan Sai Gannamaneni, Rohil Prakash Rao, Michael Mock, Maram Akila, Stefan Wrobel,
- Abstract要約: スライス発見法(SDM)はDNNの系統的弱点を見つけるための顕著なアルゴリズムである。
ゼロショット画像分類のための基礎モデルを組み合わせてセマンティックメタデータを生成するアルゴリズムを提案する。
人工と実世界の両方のデータセットでアルゴリズムを検証し、人間の理解可能な体系的弱点を回復する能力を示す。
- 参考スコア（独自算出の注目度）: 3.277209755418937
- License:
- Abstract: Slice discovery methods (SDMs) are prominent algorithms for finding systematic weaknesses in DNNs. They identify top-k semantically coherent slices/subsets of data where a DNN-under-test has low performance. For being directly useful, slices should be aligned with human-understandable and relevant dimensions, which, for example, are defined by safety and domain experts as part of the operational design domain (ODD). While SDMs can be applied effectively on structured data, their application on image data is complicated by the lack of semantic metadata. To address these issues, we present an algorithm that combines foundation models for zero-shot image classification to generate semantic metadata with methods for combinatorial search to find systematic weaknesses in images. In contrast to existing approaches, ours identifies weak slices that are in line with pre-defined human-understandable dimensions. As the algorithm includes foundation models, its intermediate and final results may not always be exact. Therefore, we include an approach to address the impact of noisy metadata. We validate our algorithm on both synthetic and real-world datasets, demonstrating its ability to recover human-understandable systematic weaknesses. Furthermore, using our approach, we identify systematic weaknesses of multiple pre-trained and publicly available state-of-the-art computer vision DNNs.
- Abstract（参考訳）: スライス発見法(SDM)はDNNの系統的弱点を見つけるための顕著なアルゴリズムである。
彼らは、DNNアンダーテストが低いパフォーマンスを持つデータのトップkセマンティックコヒーレントスライス/サブセットを識別する。
直接的に有用であるためには、スライスを人間に理解可能な、関連するディメンションに合わせる必要がある。
SDMは構造化データに効果的に適用できるが、セマンティックメタデータの欠如により画像データへの応用は複雑である。
これらの問題に対処するため,ゼロショット画像分類の基礎モデルを用いて意味メタデータを生成するアルゴリズムを提案する。
既存のアプローチとは対照的に、事前に定義された人間の理解可能な次元と一致した弱いスライスを識別する。
アルゴリズムには基礎モデルが含まれているため、その中間結果と最終結果は必ずしも正確ではないかもしれない。
したがって、ノイズのあるメタデータの影響に対処するためのアプローチを含める。
人工と実世界の両方のデータセットでアルゴリズムを検証し、人間の理解可能な体系的弱点を回復する能力を示す。
さらに,本手法を用いて,複数の事前訓練および一般公開された最先端コンピュータビジョンDNNの系統的弱点を同定する。
関連論文リスト
- Towards Robust Out-of-Distribution Generalization: Data Augmentation and Neural Architecture Search Approaches [4.577842191730992]
我々は、ディープラーニングのための堅牢なOoD一般化への道を探る。
まず,認識に必須でない特徴間の素早い相関を解消するための,新しい効果的なアプローチを提案する。
次に,OoDシナリオにおけるニューラルアーキテクチャ探索の強化問題について検討する。
論文 参考訳（メタデータ） (2024-10-25T20:50:32Z) - AI-Aided Kalman Filters [65.35350122917914]
カルマンフィルタ(KF)とその変種は、信号処理において最も著名なアルゴリズムの一つである。
最近の進歩は、古典的なカルマン型フィルタリングでディープニューラルネットワーク(DNN)を融合させる可能性を示している。
本稿では,KF型アルゴリズムにAIを組み込むための設計アプローチについて,チュートリアル形式で概説する。
論文 参考訳（メタデータ） (2024-10-16T06:47:53Z) - A Geometrical Approach to Evaluate the Adversarial Robustness of Deep
Neural Networks [52.09243852066406]
対向収束時間スコア(ACTS)は、対向ロバストネス指標として収束時間を測定する。
我々は,大規模画像Netデータセットに対する異なる敵攻撃に対して,提案したACTSメトリックの有効性と一般化を検証する。
論文 参考訳（メタデータ） (2023-10-10T09:39:38Z) - Assessing Systematic Weaknesses of DNNs using Counterfactuals [3.5849841840695835]
このような低いパフォーマンスの理由を、サブセットを記述する特定のセマンティックな特徴に当てはめるのは簡単ではない。
そこで本研究では,既存のサブセットのセマンティック属性を効果的かつ安価に検証するアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-08-03T08:41:39Z) - A Tale of Two Cities: Data and Configuration Variances in Robust Deep
Learning [27.498927971861068]
ディープニューラルネットワーク(DNN)は、画像認識、サプライチェーン、診断、自律運転など、多くの産業で広く利用されている。
これまでの研究では、入力データと外部環境が常に変化しているため、DNNモデルの高精度さは、高いロバスト性を示すものではなかった。
論文 参考訳（メタデータ） (2022-11-18T03:32:53Z) - Discover, Explanation, Improvement: An Automatic Slice Detection
Framework for Natural Language Processing [72.14557106085284]
スライス検出モデル(SDM)は、データポイントの低パフォーマンスなグループを自動的に識別する。
本稿では,NLPタスクの分類のための "Discover, Explain, improve (DEIM)" というベンチマークを提案する。
評価の結果,Edisaは情報的セマンティックな特徴を持つ誤り発生データポイントを正確に選択できることがわかった。
論文 参考訳（メタデータ） (2022-11-08T19:00:00Z) - Batch-Ensemble Stochastic Neural Networks for Out-of-Distribution
Detection [55.028065567756066]
Out-of-Distribution(OOD)検出は、機械学習モデルを現実世界のアプリケーションにデプロイすることの重要性から、マシンラーニングコミュニティから注目を集めている。
本稿では,特徴量の分布をモデル化した不確実な定量化手法を提案する。
バッチアンサンブルニューラルネットワーク(BE-SNN)の構築と機能崩壊問題の克服を目的として,効率的なアンサンブル機構,すなわちバッチアンサンブルを組み込んだ。
We show that BE-SNNs yield superior performance on the Two-Moons dataset, the FashionMNIST vs MNIST dataset, FashionM。
論文 参考訳（メタデータ） (2022-06-26T16:00:22Z) - Abstraction and Symbolic Execution of Deep Neural Networks with Bayesian
Approximation of Hidden Features [8.723426955657345]
本稿では,ディープニューラルネットワークとデータセットをベイズネットワークに抽象化する新しい抽象化手法を提案する。
我々は,DNNの隠蔽層から学習した隠れ特徴を特定するために,次元削減技術を利用している。
運用時間に稀な入力を検出するランタイム監視アプローチを導出できる。
論文 参考訳（メタデータ） (2021-03-05T14:28:42Z) - Entropy Maximization and Meta Classification for Out-Of-Distribution
Detection in Semantic Segmentation [7.305019142196585]
自動運転など多くのアプリケーションにおいて,OoD(Out-of-Distribution)サンプルが不可欠である。
OoD検出の自然なベースラインアプローチは、ピクセル回りのソフトマックスエントロピーのしきい値です。
そのアプローチを大幅に改善する2段階の手順を提案する。
論文 参考訳（メタデータ） (2020-12-09T11:01:06Z) - Contextual-Bandit Anomaly Detection for IoT Data in Distributed
Hierarchical Edge Computing [65.78881372074983]
IoTデバイスは複雑なディープニューラルネットワーク(DNN)モデルにはほとんど余裕がなく、異常検出タスクをクラウドにオフロードすることは長い遅延を引き起こす。
本稿では,分散階層エッジコンピューティング(HEC)システムを対象とした適応型異常検出手法のデモと構築を行う。
提案手法は,検出タスクをクラウドにオフロードした場合と比較して,精度を犠牲にすることなく検出遅延を著しく低減することを示す。
論文 参考訳（メタデータ） (2020-04-15T06:13:33Z) - Stance Detection Benchmark: How Robust Is Your Stance Detection? [65.91772010586605]
Stance Detection (StD) は、あるトピックやクレームに対する著者の姿勢を検出することを目的としている。
マルチデータセット学習環境において、さまざまなドメインの10のStDデータセットから学習するStDベンチマークを導入する。
このベンチマーク設定では、5つのデータセットに新しい最先端結果を表示することができます。
論文 参考訳（メタデータ） (2020-01-06T13:37:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。