論文の概要: Assessing Systematic Weaknesses of DNNs using Counterfactuals
- arxiv url: http://arxiv.org/abs/2308.01614v1
- Date: Thu, 3 Aug 2023 08:41:39 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-04 14:48:58.412179
- Title: Assessing Systematic Weaknesses of DNNs using Counterfactuals
- Title（参考訳）: 実測値を用いたDNNの系統的弱さ評価
- Authors: Sujan Sai Gannamaneni, Michael Mock, Maram Akila
- Abstract要約: このような低いパフォーマンスの理由を、サブセットを記述する特定のセマンティックな特徴に当てはめるのは簡単ではない。
そこで本研究では,既存のサブセットのセマンティック属性を効果的かつ安価に検証するアルゴリズムを提案する。
- 参考スコア（独自算出の注目度）: 3.5849841840695835
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: With the advancement of DNNs into safety-critical applications, testing
approaches for such models have gained more attention. A current direction is
the search for and identification of systematic weaknesses that put safety
assumptions based on average performance values at risk. Such weaknesses can
take on the form of (semantically coherent) subsets or areas in the input space
where a DNN performs systematically worse than its expected average. However,
it is non-trivial to attribute the reason for such observed low performances to
the specific semantic features that describe the subset. For instance,
inhomogeneities within the data w.r.t. other (non-considered) attributes might
distort results. However, taking into account all (available) attributes and
their interaction is often computationally highly expensive. Inspired by
counterfactual explanations, we propose an effective and computationally cheap
algorithm to validate the semantic attribution of existing subsets, i.e., to
check whether the identified attribute is likely to have caused the degraded
performance. We demonstrate this approach on an example from the autonomous
driving domain using highly annotated simulated data, where we show for a
semantic segmentation model that (i) performance differences among the
different pedestrian assets exist, but (ii) only in some cases is the asset
type itself the reason for this reduction in the performance.
- Abstract（参考訳）: 安全クリティカルなアプリケーションへのDNNの進化に伴い、そのようなモデルのテストアプローチが注目されている。
現在の方向は、平均的なパフォーマンス値に基づく安全仮定を危険にさらす体系的な弱点の探索と同定である。
このような弱点は、DNNが期待する平均よりも体系的に劣る入力空間内の部分集合や領域の形をとることができる。
しかし、そのような低パフォーマンスの理由をサブセットを記述する特定のセマンティックな特徴に当てはめるのは簡単ではない。
例えば、データ w.r.t. 内の不均一性は他の(考慮されていない)属性は結果を歪ませる。
しかしながら、すべての(利用可能な)属性とそれらの相互作用を考慮すると、しばしば計算コストが高い。
反事実的説明に触発されて,既存の部分集合の意味的帰属を検証し,その属性が性能低下の原因となる可能性の検証を行う,効率的で計算コストの安いアルゴリズムを提案する。
このアプローチを、高度に注釈付きシミュレーションデータを用いて、自律運転領域の例で示し、セマンティックセグメンテーションモデルを示す。
(i)異なる歩行者資産間の性能差は存在するが
(二)この性能の低下の理由として、資産タイプ自体がある場合のみである。
関連論文リスト
- Supervised Gradual Machine Learning for Aspect Category Detection [0.9857683394266679]
アスペクトカテゴリー検出(ACD)は、あるレビュー文の中で暗黙的かつ明示的な側面を識別することを目的としている。
本稿では,Deep Neural Networks (DNN) と Gradual Machine Learning (GML) を教師付き環境で組み合わせることで,ACDタスクに取り組む新しい手法を提案する。
論文 参考訳（メタデータ） (2024-04-08T07:21:46Z) - Evaluation of Out-of-Distribution Detection Performance on Autonomous
Driving Datasets [5.000404730573809]
ディープニューラルネットワーク(DNN)の意図した性能をどの程度評価するかについて、安全対策を体系的に検討する必要がある。
本研究は,予測されたクラスに対する最も予測可能なクラス条件ガウス分布に基づいて,マハラノビス距離(MD)を適用して,意味的セグメンテーションDNNからの出力をOODスコアとして評価する。
本研究の適用性は,自動車認識におけるDNNの安全利用を主張する上で,安全対策の正当性をサポートし,その使用を動機付けるものである。
論文 参考訳（メタデータ） (2024-01-30T13:49:03Z) - Mitigating Algorithmic Bias with Limited Annotations [65.060639928772]
機密属性が公開されていない場合、バイアスを軽減するために、トレーニングデータの小さな部分を手動でアノテートする必要がある。
本稿では,アルゴリズムバイアスの影響を最大限に排除するために,限定アノテーションを誘導する対話型フレームワークであるアクティブペナライゼーション・オブ・差別(APOD)を提案する。
APODは完全なアノテートバイアス緩和と同等のパフォーマンスを示しており、機密情報が制限された場合、APODが現実世界のアプリケーションに利益をもたらすことを実証している。
論文 参考訳（メタデータ） (2022-07-20T16:31:19Z) - Invariant Causal Mechanisms through Distribution Matching [86.07327840293894]
本研究では、因果的視点と不変表現を学習するための新しいアルゴリズムを提供する。
実験により,このアルゴリズムは様々なタスク群でうまく動作し,特にドメインの一般化における最先端のパフォーマンスを観察する。
論文 参考訳（メタデータ） (2022-06-23T12:06:54Z) - MACE: An Efficient Model-Agnostic Framework for Counterfactual
Explanation [132.77005365032468]
MACE(Model-Agnostic Counterfactual Explanation)の新たな枠組みを提案する。
MACE法では, 優れた反実例を見つけるための新しいRL法と, 近接性向上のための勾配のない降下法を提案する。
公開データセットの実験は、有効性、空間性、近接性を向上して検証する。
論文 参考訳（メタデータ） (2022-05-31T04:57:06Z) - Exploring Robustness of Unsupervised Domain Adaptation in Semantic
Segmentation [74.05906222376608]
クリーンな画像とそれらの逆の例との一致を、出力空間における対照的な損失によって最大化する、逆向きの自己スーパービジョンUDA(ASSUDA)を提案する。
i) セマンティックセグメンテーションにおけるUDA手法のロバスト性は未解明のままであり, (ii) 一般的に自己スーパービジョン(回転やジグソーなど) は分類や認識などのイメージタスクに有効であるが, セグメンテーションタスクの識別的表現を学習する重要な監視信号の提供には失敗している。
論文 参考訳（メタデータ） (2021-05-23T01:50:44Z) - DEALIO: Data-Efficient Adversarial Learning for Imitation from
Observation [57.358212277226315]
観察ifoからの模倣学習において、学習エージェントは、実演者の生成した制御信号にアクセスせずに、実演行動の観察のみを用いて実演エージェントを模倣しようとする。
近年、逆模倣学習に基づく手法は、ifO問題に対する最先端のパフォーマンスをもたらすが、データ非効率でモデルなしの強化学習アルゴリズムに依存するため、サンプルの複雑さに悩まされることが多い。
この問題は、サンプルの収集が時間、エネルギー、およびリスクの面で高いコストを被る可能性がある現実世界の設定に展開することは非現実的です。
よりデータ効率の高いifOアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-03-31T23:46:32Z) - Generative Counterfactuals for Neural Networks via Attribute-Informed
Perturbation [51.29486247405601]
AIP(Attribute-Informed Perturbation)の提案により,生データインスタンスの反事実を生成するフレームワークを設計する。
異なる属性を条件とした生成モデルを利用することで、所望のラベルとの反事実を効果的かつ効率的に得ることができる。
実世界のテキストや画像に対する実験結果から, 設計したフレームワークの有効性, サンプル品質, および効率が示された。
論文 参考訳（メタデータ） (2021-01-18T08:37:13Z) - IFGAN: Missing Value Imputation using Feature-specific Generative
Adversarial Networks [14.714106979097222]
本論文では,GAN(Feature-specific Generative Adversarial Networks)に基づく欠落値インピーダンスアルゴリズムIFGANを提案する。
特徴特異的生成器は欠落した値を誘発するように訓練され、判別器は観測された値と区別することが期待される。
IFGANは、様々な不足条件下で、現在の最先端アルゴリズムよりも優れている実生活データセットを実証的に示す。
論文 参考訳（メタデータ） (2020-12-23T10:14:35Z) - PermuteAttack: Counterfactual Explanation of Machine Learning Credit
Scorecards [0.0]
本稿では、金融における小売クレジットスコアリングに使用される機械学習(ML)モデルの検証と説明のための新しい方向性と方法論について述べる。
提案するフレームワークは人工知能(AI)のセキュリティと敵MLの分野からモチベーションを引き出す。
論文 参考訳（メタデータ） (2020-08-24T00:05:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。