論文の概要: Assessing Systematic Weaknesses of DNNs using Counterfactuals

• arxiv url: http://arxiv.org/abs/2308.01614v1
• Date: Thu, 3 Aug 2023 08:41:39 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-04 14:48:58.412179
• Title: Assessing Systematic Weaknesses of DNNs using Counterfactuals
• Title（参考訳）: 実測値を用いたDNNの系統的弱さ評価
• Authors: Sujan Sai Gannamaneni, Michael Mock, Maram Akila
• Abstract要約: このような低いパフォーマンスの理由を、サブセットを記述する特定のセマンティックな特徴に当てはめるのは簡単ではない。 そこで本研究では,既存のサブセットのセマンティック属性を効果的かつ安価に検証するアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 3.5849841840695835
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the advancement of DNNs into safety-critical applications, testing approaches for such models have gained more attention. A current direction is the search for and identification of systematic weaknesses that put safety assumptions based on average performance values at risk. Such weaknesses can take on the form of (semantically coherent) subsets or areas in the input space where a DNN performs systematically worse than its expected average. However, it is non-trivial to attribute the reason for such observed low performances to the specific semantic features that describe the subset. For instance, inhomogeneities within the data w.r.t. other (non-considered) attributes might distort results. However, taking into account all (available) attributes and their interaction is often computationally highly expensive. Inspired by counterfactual explanations, we propose an effective and computationally cheap algorithm to validate the semantic attribution of existing subsets, i.e., to check whether the identified attribute is likely to have caused the degraded performance. We demonstrate this approach on an example from the autonomous driving domain using highly annotated simulated data, where we show for a semantic segmentation model that (i) performance differences among the different pedestrian assets exist, but (ii) only in some cases is the asset type itself the reason for this reduction in the performance.
• Abstract（参考訳）: 安全クリティカルなアプリケーションへのDNNの進化に伴い、そのようなモデルのテストアプローチが注目されている。 現在の方向は、平均的なパフォーマンス値に基づく安全仮定を危険にさらす体系的な弱点の探索と同定である。 このような弱点は、DNNが期待する平均よりも体系的に劣る入力空間内の部分集合や領域の形をとることができる。 しかし、そのような低パフォーマンスの理由をサブセットを記述する特定のセマンティックな特徴に当てはめるのは簡単ではない。 例えば、データ w.r.t. 内の不均一性は他の(考慮されていない)属性は結果を歪ませる。 しかしながら、すべての(利用可能な)属性とそれらの相互作用を考慮すると、しばしば計算コストが高い。 反事実的説明に触発されて,既存の部分集合の意味的帰属を検証し,その属性が性能低下の原因となる可能性の検証を行う,効率的で計算コストの安いアルゴリズムを提案する。 このアプローチを、高度に注釈付きシミュレーションデータを用いて、自律運転領域の例で示し、セマンティックセグメンテーションモデルを示す。 (i)異なる歩行者資産間の性能差は存在するが (二)この性能の低下の理由として、資産タイプ自体がある場合のみである。

関連論文リスト

• Detecting Systematic Weaknesses in Vision Models along Predefined Human-Understandable Dimensions [3.277209755418937]
  スライス発見法(SDM)は、そのような体系的な弱点を見つけるための顕著なアルゴリズム的手法である。 本稿では,現代基盤モデルと検索アルゴリズムを組み合わせた完全なワークフローを提案する。 我々は,4つのコンピュータビジョンデータセットに対するアプローチを評価した。
  論文  参考訳（メタデータ） (2025-02-17T22:50:45Z)
• Does Unsupervised Domain Adaptation Improve the Robustness of Amortized Bayesian Inference? A Systematic Evaluation [3.4109073456116477]
  近年のロバストなアプローチでは、シミュレーションおよび観測データの埋め込み空間と一致するように、教師なし領域適応(UDA)が採用されている。 本研究では,領域間の要約空間の整合が,非モデル化現象や雑音の影響を効果的に緩和することを示した。 以上の結果から,UDA技術を用いてABIのロバスト性を高める際に,不特定型を慎重に検討することの必要性が示唆された。
  論文  参考訳（メタデータ） (2025-02-07T14:13:51Z)
• Mitigating Algorithmic Bias with Limited Annotations [65.060639928772]
  機密属性が公開されていない場合、バイアスを軽減するために、トレーニングデータの小さな部分を手動でアノテートする必要がある。 本稿では,アルゴリズムバイアスの影響を最大限に排除するために,限定アノテーションを誘導する対話型フレームワークであるアクティブペナライゼーション・オブ・差別(APOD)を提案する。 APODは完全なアノテートバイアス緩和と同等のパフォーマンスを示しており、機密情報が制限された場合、APODが現実世界のアプリケーションに利益をもたらすことを実証している。
  論文  参考訳（メタデータ） (2022-07-20T16:31:19Z)
• Invariant Causal Mechanisms through Distribution Matching [86.07327840293894]
  本研究では、因果的視点と不変表現を学習するための新しいアルゴリズムを提供する。 実験により,このアルゴリズムは様々なタスク群でうまく動作し,特にドメインの一般化における最先端のパフォーマンスを観察する。
  論文  参考訳（メタデータ） (2022-06-23T12:06:54Z)
• MACE: An Efficient Model-Agnostic Framework for Counterfactual Explanation [132.77005365032468]
  MACE(Model-Agnostic Counterfactual Explanation)の新たな枠組みを提案する。 MACE法では, 優れた反実例を見つけるための新しいRL法と, 近接性向上のための勾配のない降下法を提案する。 公開データセットの実験は、有効性、空間性、近接性を向上して検証する。
  論文  参考訳（メタデータ） (2022-05-31T04:57:06Z)
• Exploring Robustness of Unsupervised Domain Adaptation in Semantic Segmentation [74.05906222376608]
  クリーンな画像とそれらの逆の例との一致を、出力空間における対照的な損失によって最大化する、逆向きの自己スーパービジョンUDA(ASSUDA)を提案する。 i) セマンティックセグメンテーションにおけるUDA手法のロバスト性は未解明のままであり, (ii) 一般的に自己スーパービジョン(回転やジグソーなど) は分類や認識などのイメージタスクに有効であるが, セグメンテーションタスクの識別的表現を学習する重要な監視信号の提供には失敗している。
  論文  参考訳（メタデータ） (2021-05-23T01:50:44Z)
• DEALIO: Data-Efficient Adversarial Learning for Imitation from Observation [57.358212277226315]
  観察ifoからの模倣学習において、学習エージェントは、実演者の生成した制御信号にアクセスせずに、実演行動の観察のみを用いて実演エージェントを模倣しようとする。 近年、逆模倣学習に基づく手法は、ifO問題に対する最先端のパフォーマンスをもたらすが、データ非効率でモデルなしの強化学習アルゴリズムに依存するため、サンプルの複雑さに悩まされることが多い。 この問題は、サンプルの収集が時間、エネルギー、およびリスクの面で高いコストを被る可能性がある現実世界の設定に展開することは非現実的です。 よりデータ効率の高いifOアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-03-31T23:46:32Z)
• Generative Counterfactuals for Neural Networks via Attribute-Informed Perturbation [51.29486247405601]
  AIP(Attribute-Informed Perturbation)の提案により,生データインスタンスの反事実を生成するフレームワークを設計する。 異なる属性を条件とした生成モデルを利用することで、所望のラベルとの反事実を効果的かつ効率的に得ることができる。 実世界のテキストや画像に対する実験結果から, 設計したフレームワークの有効性, サンプル品質, および効率が示された。
  論文  参考訳（メタデータ） (2021-01-18T08:37:13Z)
• IFGAN: Missing Value Imputation using Feature-specific Generative Adversarial Networks [14.714106979097222]
  本論文では,GAN(Feature-specific Generative Adversarial Networks)に基づく欠落値インピーダンスアルゴリズムIFGANを提案する。 特徴特異的生成器は欠落した値を誘発するように訓練され、判別器は観測された値と区別することが期待される。 IFGANは、様々な不足条件下で、現在の最先端アルゴリズムよりも優れている実生活データセットを実証的に示す。
  論文  参考訳（メタデータ） (2020-12-23T10:14:35Z)
• PermuteAttack: Counterfactual Explanation of Machine Learning Credit Scorecards [0.0]
  本稿では、金融における小売クレジットスコアリングに使用される機械学習(ML)モデルの検証と説明のための新しい方向性と方法論について述べる。 提案するフレームワークは人工知能(AI)のセキュリティと敵MLの分野からモチベーションを引き出す。
  論文  参考訳（メタデータ） (2020-08-24T00:05:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。