論文の概要: Detecting Systematic Weaknesses in Vision Models along Predefined Human-Understandable Dimensions

• arxiv url: http://arxiv.org/abs/2502.12360v2
• Date: Thu, 06 Mar 2025 18:07:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-07 17:59:00.504806
• Title: Detecting Systematic Weaknesses in Vision Models along Predefined Human-Understandable Dimensions
• Title（参考訳）: 目視モデルにおける人間の理解不能次元に沿っての全身的弱さの検出
• Authors: Sujan Sai Gannamaneni, Rohil Prakash Rao, Michael Mock, Maram Akila, Stefan Wrobel,
• Abstract要約: スライス発見法(SDM)はDNNの系統的弱点を見つけるための顕著なアルゴリズムである。 ゼロショット画像分類のための基礎モデルを組み合わせてセマンティックメタデータを生成するアルゴリズムを提案する。 人工と実世界の両方のデータセットでアルゴリズムを検証し、人間の理解可能な体系的弱点を回復する能力を示す。
• 参考スコア（独自算出の注目度）: 3.277209755418937
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Slice discovery methods (SDMs) are prominent algorithms for finding systematic weaknesses in DNNs. They identify top-k semantically coherent slices/subsets of data where a DNN-under-test has low performance. For being directly useful, slices should be aligned with human-understandable and relevant dimensions, which, for example, are defined by safety and domain experts as part of the operational design domain (ODD). While SDMs can be applied effectively on structured data, their application on image data is complicated by the lack of semantic metadata. To address these issues, we present an algorithm that combines foundation models for zero-shot image classification to generate semantic metadata with methods for combinatorial search to find systematic weaknesses in images. In contrast to existing approaches, ours identifies weak slices that are in line with pre-defined human-understandable dimensions. As the algorithm includes foundation models, its intermediate and final results may not always be exact. Therefore, we include an approach to address the impact of noisy metadata. We validate our algorithm on both synthetic and real-world datasets, demonstrating its ability to recover human-understandable systematic weaknesses. Furthermore, using our approach, we identify systematic weaknesses of multiple pre-trained and publicly available state-of-the-art computer vision DNNs.
• Abstract（参考訳）: スライス発見法(SDM)はDNNの系統的弱点を見つけるための顕著なアルゴリズムである。 彼らは、DNNアンダーテストが低いパフォーマンスを持つデータのトップkセマンティックコヒーレントスライス/サブセットを識別する。 直接的に有用であるためには、スライスを人間に理解可能な、関連するディメンションに合わせる必要がある。 SDMは構造化データに効果的に適用できるが、セマンティックメタデータの欠如により画像データへの応用は複雑である。 これらの問題に対処するため,ゼロショット画像分類の基礎モデルを用いて意味メタデータを生成するアルゴリズムを提案する。 既存のアプローチとは対照的に、事前に定義された人間の理解可能な次元と一致した弱いスライスを識別する。 アルゴリズムには基礎モデルが含まれているため、その中間結果と最終結果は必ずしも正確ではないかもしれない。 したがって、ノイズのあるメタデータの影響に対処するためのアプローチを含める。 人工と実世界の両方のデータセットでアルゴリズムを検証し、人間の理解可能な体系的弱点を回復する能力を示す。 さらに,本手法を用いて,複数の事前訓練および一般公開された最先端コンピュータビジョンDNNの系統的弱点を同定する。

関連論文リスト

• Towards Robust Out-of-Distribution Generalization: Data Augmentation and Neural Architecture Search Approaches [4.577842191730992]
  我々は、ディープラーニングのための堅牢なOoD一般化への道を探る。 まず,認識に必須でない特徴間の素早い相関を解消するための,新しい効果的なアプローチを提案する。 次に,OoDシナリオにおけるニューラルアーキテクチャ探索の強化問題について検討する。
  論文  参考訳（メタデータ） (2024-10-25T20:50:32Z)
• AI-Aided Kalman Filters [65.35350122917914]
  カルマンフィルタ(KF)とその変種は、信号処理において最も著名なアルゴリズムの一つである。 最近の進歩は、古典的なカルマン型フィルタリングでディープニューラルネットワーク(DNN)を融合させる可能性を示している。 本稿では,KF型アルゴリズムにAIを組み込むための設計アプローチについて,チュートリアル形式で概説する。
  論文  参考訳（メタデータ） (2024-10-16T06:47:53Z)
• On Discriminative Probabilistic Modeling for Self-Supervised Representation Learning [85.75164588939185]
  本研究では,(マルチモーダル)自己教師型表現学習のデータ予測タスクにおいて,連続領域における識別確率モデルについて検討する。 我々は、自己教師付き表現学習における現在のInfoNCEに基づくコントラスト損失の制限を明らかにするために一般化誤差解析を行う。 MISが要求する条件付き確率密度の和を近似する新しい非パラメトリック手法を提案する。
  論文  参考訳（メタデータ） (2024-10-11T18:02:46Z)
• AttributionScanner: A Visual Analytics System for Model Validation with Metadata-Free Slice Finding [29.07617945233152]
  データスライス検索は、低パフォーマンスを示すデータセット内のサブグループを特定し解析することで、機械学習(ML)モデルを検証するための新興技術である。 このアプローチは、追加メタデータに対する退屈でコストのかかる要件を含む、重大な課題に直面します。 本稿では,メタデータを含まないデータスライス検索用に設計された,革新的なビジュアルアナリティクス(VA)システムであるAttributionScannerを紹介する。 本システムでは、一般的なモデル動作を含む解釈可能なデータスライスを特定し、属性モザイク設計によりこれらのパターンを可視化する。
  論文  参考訳（メタデータ） (2024-01-12T09:17:32Z)
• Assessing Systematic Weaknesses of DNNs using Counterfactuals [3.5849841840695835]
  このような低いパフォーマンスの理由を、サブセットを記述する特定のセマンティックな特徴に当てはめるのは簡単ではない。 そこで本研究では,既存のサブセットのセマンティック属性を効果的かつ安価に検証するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-08-03T08:41:39Z)
• Neuro-Symbolic Approaches for Context-Aware Human Activity Recognition [0.7734726150561088]
  本研究では,訓練期間中の人間活動認識モデルにおける知識制約を注入する意味的損失関数に基づく新しいアプローチを提案する。 本研究の結果は,データ駆動モデルの性能向上におけるセマンティックな損失関数の影響を示すものである。
  論文  参考訳（メタデータ） (2023-06-08T09:23:09Z)
• Experimental Observations of the Topology of Convolutional Neural Network Activations [2.4235626091331737]
  トポロジカル・データ解析は、複雑な構造のコンパクトでノイズ・ロバストな表現を提供する。 ディープニューラルネットワーク(DNN)は、モデルアーキテクチャによって定義された一連の変換に関連する数百万のパラメータを学習する。 本稿では,画像分類に使用される畳み込みニューラルネットワークの解釈可能性に関する知見を得る目的で,TDAの最先端技術を適用した。
  論文  参考訳（メタデータ） (2022-12-01T02:05:44Z)
• Discover, Explanation, Improvement: An Automatic Slice Detection Framework for Natural Language Processing [72.14557106085284]
  スライス検出モデル(SDM)は、データポイントの低パフォーマンスなグループを自動的に識別する。 本稿では,NLPタスクの分類のための "Discover, Explain, improve (DEIM)" というベンチマークを提案する。 評価の結果,Edisaは情報的セマンティックな特徴を持つ誤り発生データポイントを正確に選択できることがわかった。
  論文  参考訳（メタデータ） (2022-11-08T19:00:00Z)
• Cluster-level pseudo-labelling for source-free cross-domain facial expression recognition [94.56304526014875]
  表情認識のためのSFUDA法を提案する。 本手法は,自己教師付き事前学習を利用して,対象データから優れた特徴表現を学習する。 提案手法の有効性を4つの適応方式で検証し,FERに適用した場合,既存のSFUDA法より一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2022-10-11T08:24:50Z)
• Batch-Ensemble Stochastic Neural Networks for Out-of-Distribution Detection [55.028065567756066]
  Out-of-Distribution(OOD)検出は、機械学習モデルを現実世界のアプリケーションにデプロイすることの重要性から、マシンラーニングコミュニティから注目を集めている。 本稿では,特徴量の分布をモデル化した不確実な定量化手法を提案する。 バッチアンサンブルニューラルネットワーク(BE-SNN)の構築と機能崩壊問題の克服を目的として,効率的なアンサンブル機構,すなわちバッチアンサンブルを組み込んだ。 We show that BE-SNNs yield superior performance on the Two-Moons dataset, the FashionMNIST vs MNIST dataset, FashionM。
  論文  参考訳（メタデータ） (2022-06-26T16:00:22Z)
• DEMAND: Deep Matrix Approximately NonlinearDecomposition to Identify Meta, Canonical, and Sub-Spatial Pattern of functional Magnetic Resonance Imaging in the Human Brain [8.93274096260726]
  本研究では,SDL(Sparse Dictionary Learning)やDNN(Deep Neural Networks)といった浅い線形モデルを活用するために,Deep A roughly Decomposition(DEMAND)という新しい非線形行列分解法を提案する。 DEMANDは、人間の脳の再現可能な代謝、正準的、および部分空間的特徴を、他の仲間の方法論よりも効率的に明らかにすることができる。
  論文  参考訳（メタデータ） (2022-05-20T15:55:01Z)
• DEALIO: Data-Efficient Adversarial Learning for Imitation from Observation [57.358212277226315]
  観察ifoからの模倣学習において、学習エージェントは、実演者の生成した制御信号にアクセスせずに、実演行動の観察のみを用いて実演エージェントを模倣しようとする。 近年、逆模倣学習に基づく手法は、ifO問題に対する最先端のパフォーマンスをもたらすが、データ非効率でモデルなしの強化学習アルゴリズムに依存するため、サンプルの複雑さに悩まされることが多い。 この問題は、サンプルの収集が時間、エネルギー、およびリスクの面で高いコストを被る可能性がある現実世界の設定に展開することは非現実的です。 よりデータ効率の高いifOアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-03-31T23:46:32Z)
• Abstraction and Symbolic Execution of Deep Neural Networks with Bayesian Approximation of Hidden Features [8.723426955657345]
  本稿では,ディープニューラルネットワークとデータセットをベイズネットワークに抽象化する新しい抽象化手法を提案する。 我々は,DNNの隠蔽層から学習した隠れ特徴を特定するために,次元削減技術を利用している。 運用時間に稀な入力を検出するランタイム監視アプローチを導出できる。
  論文  参考訳（メタデータ） (2021-03-05T14:28:42Z)
• Anomaly Detection on Attributed Networks via Contrastive Self-Supervised Learning [50.24174211654775]
  本論文では,アトリビュートネットワーク上の異常検出のためのコントラスト型自己監視学習フレームワークを提案する。 このフレームワークは、新しいタイプのコントラストインスタンスペアをサンプリングすることで、ネットワークデータからのローカル情報を完全に活用します。 高次元特性と局所構造から情報埋め込みを学習するグラフニューラルネットワークに基づくコントラスト学習モデルを提案する。
  論文  参考訳（メタデータ） (2021-02-27T03:17:20Z)
• Entropy Maximization and Meta Classification for Out-Of-Distribution Detection in Semantic Segmentation [7.305019142196585]
  自動運転など多くのアプリケーションにおいて,OoD(Out-of-Distribution)サンプルが不可欠である。 OoD検出の自然なベースラインアプローチは、ピクセル回りのソフトマックスエントロピーのしきい値です。 そのアプローチを大幅に改善する2段階の手順を提案する。
  論文  参考訳（メタデータ） (2020-12-09T11:01:06Z)
• Contextual-Bandit Anomaly Detection for IoT Data in Distributed Hierarchical Edge Computing [65.78881372074983]
  IoTデバイスは複雑なディープニューラルネットワーク(DNN)モデルにはほとんど余裕がなく、異常検出タスクをクラウドにオフロードすることは長い遅延を引き起こす。 本稿では,分散階層エッジコンピューティング(HEC)システムを対象とした適応型異常検出手法のデモと構築を行う。 提案手法は,検出タスクをクラウドにオフロードした場合と比較して,精度を犠牲にすることなく検出遅延を著しく低減することを示す。
  論文  参考訳（メタデータ） (2020-04-15T06:13:33Z)
• Stance Detection Benchmark: How Robust Is Your Stance Detection? [65.91772010586605]
  Stance Detection (StD) は、あるトピックやクレームに対する著者の姿勢を検出することを目的としている。 マルチデータセット学習環境において、さまざまなドメインの10のStDデータセットから学習するStDベンチマークを導入する。 このベンチマーク設定では、5つのデータセットに新しい最先端結果を表示することができます。
  論文  参考訳（メタデータ） (2020-01-06T13:37:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。