論文の概要: Auditing AI models for Verified Deployment under Semantic Specifications
- arxiv url: http://arxiv.org/abs/2109.12456v1
- Date: Sat, 25 Sep 2021 22:53:24 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-30 07:47:08.923553
- Title: Auditing AI models for Verified Deployment under Semantic Specifications
- Title(参考訳): セマンティック仕様下での検証済みデプロイメントのためのAIモデル監査
- Authors: Homanga Bharadhwaj, De-An Huang, Chaowei Xiao, Anima Anandkumar,
Animesh Garg
- Abstract要約: AuditAIは、解釈可能な形式検証とスケーラビリティのギャップを埋める。
AuditAIは、画素空間の摂動のみを用いた検証の限界に対処しながら、検証と認定トレーニングのための制御されたバリエーションを得られるかを示す。
- 参考スコア(独自算出の注目度): 65.12401653917838
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Auditing trained deep learning (DL) models prior to deployment is vital in
preventing unintended consequences. One of the biggest challenges in auditing
is in understanding how we can obtain human-interpretable specifications that
are directly useful to the end-user. We address this challenge through a
sequence of semantically-aligned unit tests, where each unit test verifies
whether a predefined specification (e.g., accuracy over 95%) is satisfied with
respect to controlled and semantically aligned variations in the input space
(e.g., in face recognition, the angle relative to the camera). We perform these
unit tests by directly verifying the semantically aligned variations in an
interpretable latent space of a generative model. Our framework, AuditAI,
bridges the gap between interpretable formal verification and scalability. With
evaluations on four different datasets, covering images of towers, chest
X-rays, human faces, and ImageNet classes, we show how AuditAI allows us to
obtain controlled variations for verification and certified training while
addressing the limitations of verifying using only pixel-space perturbations. A
blog post accompanying the paper is at this link
https://developer.nvidia.com/blog/nvidia-research-auditing-ai-models-for-verified-deployment-under-s emantic-specifications
- Abstract(参考訳): トレーニングされたディープラーニング(DL)モデルをデプロイ前に監査することは、意図しない結果を防ぐ上で不可欠である。
監査における最大の課題の1つは、エンドユーザにとって直接的に役に立つヒューマンコンタプリタブルな仕様の取得方法を理解することです。
各ユニットテストは、予め定義された仕様(例えば95%以上の精度)が、入力空間における制御された、意味的に調整されたバリエーション(例えば、顔認識において、カメラに対する角度)に対して満たされているかどうかを検証する。
生成モデルの解釈可能な潜在空間において、意味的に整合した変動を直接検証することにより、これらの単体テストを実行する。
私たちのフレームワークであるAuditAIは、解釈可能な形式検証とスケーラビリティのギャップを埋めます。
塔,胸部x線,人間の顔,およびimagenetクラスの4つの異なるデータセットについて評価を行い,ピクセル空間の摂動のみを用いた検証の限界に対処しつつ,検証と認定トレーニングのための制御されたバリエーションを得る方法を示した。
論文に付随するブログ記事は、https://developer.nvidia.com/blog/nvidia-research-auditing-ai-models-for-verified-deployment-under-s emantic-specificationのリンクにある。
関連論文リスト
- Unsupervised Model Diagnosis [49.36194740479798]
本稿では,ユーザガイドを使わずに,意味論的対実的説明を生成するために,Unsupervised Model Diagnosis (UMO)を提案する。
提案手法は意味論における変化を特定し可視化し,その変化を広範囲なテキストソースの属性と照合する。
論文 参考訳(メタデータ) (2024-10-08T17:59:03Z) - CableInspect-AD: An Expert-Annotated Anomaly Detection Dataset [14.246172794156987]
$textitCableInspect-AD$は、カナダの公共ユーティリティであるHydro-Qu'ebecのドメインエキスパートによって作成、注釈付けされた高品質なデータセットである。
このデータセットには、現実世界の異常に挑戦する高解像度の画像が含まれており、さまざまな重度レベルの欠陥をカバーしている。
モデルの性能を評価するために,クロスバリデーションに基づく包括的評価プロトコルを提案する。
論文 参考訳(メタデータ) (2024-09-30T14:50:13Z) - GeneralAD: Anomaly Detection Across Domains by Attending to Distorted Features [68.14842693208465]
GeneralADは、意味的、ほぼ分布的、産業的設定で動作するように設計された異常検出フレームワークである。
本稿では,ノイズ付加やシャッフルなどの簡単な操作を施した自己教師付き異常生成モジュールを提案する。
提案手法を10のデータセットに対して広範囲に評価し,6つの実験結果と,残りの6つの実験結果を得た。
論文 参考訳(メタデータ) (2024-07-17T09:27:41Z) - Importance of Disjoint Sampling in Conventional and Transformer Models for Hyperspectral Image Classification [2.1223532600703385]
本稿では、ハイパースペクトル画像分類(HSIC)タスク上でSOTAモデルをトレーニングするための革新的な不整合サンプリング手法を提案する。
重なりのないトレーニング,検証,テストデータを分離することにより,提案手法は,トレーニングや検証中に露出していないピクセルをどの程度正確に分類できるかを,より公平に評価することができる。
この厳密な手法は、SOTAモデルの発展と、ハイパースペクトルセンサーを用いた大規模陸地マッピングへの実際の応用に欠かせない。
論文 参考訳(メタデータ) (2024-04-23T11:40:52Z) - Unsupervised Continual Anomaly Detection with Contrastively-learned
Prompt [80.43623986759691]
UCADと呼ばれる新しい非教師付き連続異常検出フレームワークを提案する。
このフレームワークは、対照的に学習したプロンプトを通じて、UDAに継続的な学習能力を持たせる。
我々は総合的な実験を行い、教師なし連続異常検出とセグメンテーションのベンチマークを設定した。
論文 参考訳(メタデータ) (2024-01-02T03:37:11Z) - AES Systems Are Both Overstable And Oversensitive: Explaining Why And
Proposing Defenses [66.49753193098356]
スコアリングモデルの驚くべき逆方向の脆さの原因について検討する。
のモデルとして訓練されているにもかかわらず、単語の袋のように振る舞うことを示唆している。
高い精度で試料を発生させる過敏性と過敏性を検出できる検出ベース保護モデルを提案する。
論文 参考訳(メタデータ) (2021-09-24T03:49:38Z) - Self-Supervised Contrastive Learning for Unsupervised Phoneme
Segmentation [37.054709598792165]
このモデルは畳み込みニューラルネットワークであり、生波形上で直接動作する。
ノイズコントラスト推定原理を用いて信号のスペクトル変化を同定する。
テスト時には、モデル出力にピーク検出アルゴリズムを適用して最終境界を生成する。
論文 参考訳(メタデータ) (2020-07-27T12:10:21Z) - Robust Question Answering Through Sub-part Alignment [53.94003466761305]
我々はアライメント問題として質問応答をモデル化する。
私たちは、SQuAD v1.1でモデルをトレーニングし、いくつかの逆および外ドメインデータセットでそれをテストします。
論文 参考訳(メタデータ) (2020-04-30T09:10:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。