論文の概要: Detecting Systematic Weaknesses in Vision Models along Predefined Human-Understandable Dimensions

• arxiv url: http://arxiv.org/abs/2502.12360v1
• Date: Mon, 17 Feb 2025 22:50:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-19 14:09:10.765544
• Title: Detecting Systematic Weaknesses in Vision Models along Predefined Human-Understandable Dimensions
• Title（参考訳）: 目視モデルにおける人間の理解不能次元に沿っての全身的弱さの検出
• Authors: Sujan Sai Gannamaneni, Rohil Prakash Rao, Michael Mock, Maram Akila, Stefan Wrobel,
• Abstract要約: スライス発見法(SDM)は、そのような体系的な弱点を見つけるための顕著なアルゴリズム的手法である。 本稿では,現代基盤モデルと検索アルゴリズムを組み合わせた完全なワークフローを提案する。 我々は,4つのコンピュータビジョンデータセットに対するアプローチを評価した。
• 参考スコア（独自算出の注目度）: 3.277209755418937
• License:
• Abstract: Studying systematic weaknesses of DNNs has gained prominence in the last few years with the rising focus on building safe AI systems. Slice discovery methods (SDMs) are prominent algorithmic approaches for finding such systematic weaknesses. They identify top-k semantically coherent slices/subsets of data where a DNN-under-test has low performance. For being directly useful, e.g., as evidences in a safety argumentation, slices should be aligned with human-understandable (safety-relevant) dimensions, which, for example, are defined by safety and domain experts as parts of the operational design domain (ODD). While straightforward for structured data, the lack of semantic metadata makes these investigations challenging for unstructured data. Therefore, we propose a complete workflow which combines contemporary foundation models with algorithms for combinatorial search that consider structured data and DNN errors for finding systematic weaknesses in images. In contrast to existing approaches, ours identifies weak slices that are in line with predefined human-understandable dimensions. As the workflow includes foundation models, its intermediate and final results may not always be exact. Therefore, we build into our workflow an approach to address the impact of noisy metadata. We evaluate our approach w.r.t. its quality on four popular computer vision datasets, including autonomous driving datasets like Cityscapes, BDD100k, and RailSem19, while using multiple state-of-the-art models as DNNs-under-test.
• Abstract（参考訳）: DNNの体系的な弱点を研究することは、ここ数年で注目され、安全なAIシステムの構築に重点が置かれている。 スライス発見法(SDM)は、そのような体系的な弱点を見つけるための顕著なアルゴリズム的手法である。 彼らは、DNNアンダーテストが低いパフォーマンスを持つデータのトップkセマンティックコヒーレントスライス/サブセットを識別する。 例えば、安全議論の証拠として、安全とドメインの専門家がオペレーションデザインドメイン(ODD)の一部として定義する、人間の理解できない(安全関連)次元にスライスを合わせる必要がある。 構造化データには簡単だが、セマンティックメタデータの欠如は、非構造化データにはこれらの調査を困難にしている。 そこで本研究では,同時代の基盤モデルと,構造化データとDNN誤差を考慮した合成探索アルゴリズムを併用して,画像の系統的弱点を見つけるための完全なワークフローを提案する。 既存のアプローチとは対照的に、事前に定義された人間の理解可能な次元と一致した弱いスライスを識別する。 ワークフローには基礎モデルが含まれているため、その中間結果と最終結果は必ずしも正確ではないかもしれない。 そのため、ノイズの多いメタデータの影響に対処するアプローチをワークフローに組み込んでいます。 私たちは、Cityscapes、BDD100k、RailSem19のような自律運転データセットを含む4つの人気のあるコンピュータビジョンデータセットに対して、複数の最先端モデルをDNNアンダーテストとして使用しながら、その品質を評価する。

関連論文リスト

• Towards Robust Out-of-Distribution Generalization: Data Augmentation and Neural Architecture Search Approaches [4.577842191730992]
  我々は、ディープラーニングのための堅牢なOoD一般化への道を探る。 まず,認識に必須でない特徴間の素早い相関を解消するための,新しい効果的なアプローチを提案する。 次に,OoDシナリオにおけるニューラルアーキテクチャ探索の強化問題について検討する。
  論文  参考訳（メタデータ） (2024-10-25T20:50:32Z)
• AI-Aided Kalman Filters [65.35350122917914]
  カルマンフィルタ(KF)とその変種は、信号処理において最も著名なアルゴリズムの一つである。 最近の進歩は、古典的なカルマン型フィルタリングでディープニューラルネットワーク(DNN)を融合させる可能性を示している。 本稿では,KF型アルゴリズムにAIを組み込むための設計アプローチについて,チュートリアル形式で概説する。
  論文  参考訳（メタデータ） (2024-10-16T06:47:53Z)
• A Geometrical Approach to Evaluate the Adversarial Robustness of Deep Neural Networks [52.09243852066406]
  対向収束時間スコア(ACTS)は、対向ロバストネス指標として収束時間を測定する。 我々は,大規模画像Netデータセットに対する異なる敵攻撃に対して,提案したACTSメトリックの有効性と一般化を検証する。
  論文  参考訳（メタデータ） (2023-10-10T09:39:38Z)
• Assessing Systematic Weaknesses of DNNs using Counterfactuals [3.5849841840695835]
  このような低いパフォーマンスの理由を、サブセットを記述する特定のセマンティックな特徴に当てはめるのは簡単ではない。 そこで本研究では,既存のサブセットのセマンティック属性を効果的かつ安価に検証するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-08-03T08:41:39Z)
• A Tale of Two Cities: Data and Configuration Variances in Robust Deep Learning [27.498927971861068]
  ディープニューラルネットワーク(DNN)は、画像認識、サプライチェーン、診断、自律運転など、多くの産業で広く利用されている。 これまでの研究では、入力データと外部環境が常に変化しているため、DNNモデルの高精度さは、高いロバスト性を示すものではなかった。
  論文  参考訳（メタデータ） (2022-11-18T03:32:53Z)
• Discover, Explanation, Improvement: An Automatic Slice Detection Framework for Natural Language Processing [72.14557106085284]
  スライス検出モデル(SDM)は、データポイントの低パフォーマンスなグループを自動的に識別する。 本稿では,NLPタスクの分類のための "Discover, Explain, improve (DEIM)" というベンチマークを提案する。 評価の結果,Edisaは情報的セマンティックな特徴を持つ誤り発生データポイントを正確に選択できることがわかった。
  論文  参考訳（メタデータ） (2022-11-08T19:00:00Z)
• Batch-Ensemble Stochastic Neural Networks for Out-of-Distribution Detection [55.028065567756066]
  Out-of-Distribution(OOD)検出は、機械学習モデルを現実世界のアプリケーションにデプロイすることの重要性から、マシンラーニングコミュニティから注目を集めている。 本稿では,特徴量の分布をモデル化した不確実な定量化手法を提案する。 バッチアンサンブルニューラルネットワーク(BE-SNN)の構築と機能崩壊問題の克服を目的として,効率的なアンサンブル機構,すなわちバッチアンサンブルを組み込んだ。 We show that BE-SNNs yield superior performance on the Two-Moons dataset, the FashionMNIST vs MNIST dataset, FashionM。
  論文  参考訳（メタデータ） (2022-06-26T16:00:22Z)
• Abstraction and Symbolic Execution of Deep Neural Networks with Bayesian Approximation of Hidden Features [8.723426955657345]
  本稿では,ディープニューラルネットワークとデータセットをベイズネットワークに抽象化する新しい抽象化手法を提案する。 我々は,DNNの隠蔽層から学習した隠れ特徴を特定するために,次元削減技術を利用している。 運用時間に稀な入力を検出するランタイム監視アプローチを導出できる。
  論文  参考訳（メタデータ） (2021-03-05T14:28:42Z)
• Entropy Maximization and Meta Classification for Out-Of-Distribution Detection in Semantic Segmentation [7.305019142196585]
  自動運転など多くのアプリケーションにおいて,OoD(Out-of-Distribution)サンプルが不可欠である。 OoD検出の自然なベースラインアプローチは、ピクセル回りのソフトマックスエントロピーのしきい値です。 そのアプローチを大幅に改善する2段階の手順を提案する。
  論文  参考訳（メタデータ） (2020-12-09T11:01:06Z)
• Contextual-Bandit Anomaly Detection for IoT Data in Distributed Hierarchical Edge Computing [65.78881372074983]
  IoTデバイスは複雑なディープニューラルネットワーク(DNN)モデルにはほとんど余裕がなく、異常検出タスクをクラウドにオフロードすることは長い遅延を引き起こす。 本稿では,分散階層エッジコンピューティング(HEC)システムを対象とした適応型異常検出手法のデモと構築を行う。 提案手法は,検出タスクをクラウドにオフロードした場合と比較して,精度を犠牲にすることなく検出遅延を著しく低減することを示す。
  論文  参考訳（メタデータ） (2020-04-15T06:13:33Z)
• Stance Detection Benchmark: How Robust Is Your Stance Detection? [65.91772010586605]
  Stance Detection (StD) は、あるトピックやクレームに対する著者の姿勢を検出することを目的としている。 マルチデータセット学習環境において、さまざまなドメインの10のStDデータセットから学習するStDベンチマークを導入する。 このベンチマーク設定では、5つのデータセットに新しい最先端結果を表示することができます。
  論文  参考訳（メタデータ） (2020-01-06T13:37:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。