論文の概要: Auditing Visualizations: Transparency Methods Struggle to Detect Anomalous Behavior

• arxiv url: http://arxiv.org/abs/2206.13498v1
• Date: Mon, 27 Jun 2022 17:59:08 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-28 12:46:06.574626
• Title: Auditing Visualizations: Transparency Methods Struggle to Detect Anomalous Behavior
• Title（参考訳）: 可視化:異常な振る舞いを検出するための透明性手法
• Authors: Jean-Stanislas Denain, Jacob Steinhardt
• Abstract要約: 透明性手法が異常モデルと正規モデルに異なる説明を割り当てるかどうかを検証する。 既存の方法では, 形状バイアスや逆行訓練など, スターク異常を検出することができる。 彼らは不完全なデータで訓練されたモデルのような、より微妙な異常を特定するのに苦労している。
• 参考スコア（独自算出の注目度）: 15.351552742473734
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transparency methods such as model visualizations provide information that outputs alone might miss, since they describe the internals of neural networks. But can we trust that model explanations reflect model behavior? For instance, can they diagnose abnormal behavior such as backdoors or shape bias? To evaluate model explanations, we define a model as anomalous if it differs from a reference set of normal models, and we test whether transparency methods assign different explanations to anomalous and normal models. We find that while existing methods can detect stark anomalies such as shape bias or adversarial training, they struggle to identify more subtle anomalies such as models trained on incomplete data. Moreover, they generally fail to distinguish the inputs that induce anomalous behavior, e.g. images containing a backdoor trigger. These results reveal new blind spots in existing model explanations, pointing to the need for further method development.
• Abstract（参考訳）: モデルビジュアライゼーションのような透明性手法は、ニューラルネットワークの内部を記述するため、出力だけで見逃す可能性のある情報を提供する。 しかし、モデルの振る舞いを反映するモデル説明を信用できますか? 例えば、バックドアや形状バイアスといった異常な行動を診断できるだろうか? モデル説明を評価するために、モデルが正規モデルの参照集合と異なるかどうかを異常と定義し、透明性手法が異常モデルと正規モデルに異なる説明を割り当てているかどうかを検証した。 既存の方法では形状バイアスや逆行訓練などのスターク異常を検出できるが、不完全なデータで訓練されたモデルのようなより微妙な異常を識別することは困難である。 さらに、一般的にはバックドアトリガーを含む画像など、異常な振る舞いを誘発する入力を区別できない。 これらの結果は、既存のモデル説明に新たな盲点があることを示し、さらなるメソッド開発の必要性を示している。

関連論文リスト

• Unsupervised Model Diagnosis [49.36194740479798]
  本稿では,ユーザガイドを使わずに,意味論的対実的説明を生成するために,Unsupervised Model Diagnosis (UMO)を提案する。 提案手法は意味論における変化を特定し可視化し,その変化を広範囲なテキストソースの属性と照合する。
  論文  参考訳（メタデータ） (2024-10-08T17:59:03Z)
• Explanatory Model Monitoring to Understand the Effects of Feature Shifts on Performance [61.06245197347139]
  そこで本研究では,機能シフトによるブラックボックスモデルの振る舞いを説明する新しい手法を提案する。 本稿では,最適輸送と共有値の概念を組み合わせた提案手法について,説明的性能推定として紹介する。
  論文  参考訳（メタデータ） (2024-08-24T18:28:19Z)
• Open-Vocabulary Video Anomaly Detection [57.552523669351636]
  監視の弱いビデオ異常検出(VAD)は、ビデオフレームが正常であるか異常であるかを識別するためにビデオレベルラベルを利用する際、顕著な性能を達成した。 近年の研究は、より現実的な、オープンセットのVADに取り組み、異常や正常なビデオから見えない異常を検出することを目的としている。 本稿ではさらに一歩前進し、未確認および未確認の異常を検知・分類するために訓練済みの大規模モデルを活用することを目的とした、オープン語彙ビデオ異常検出(OVVAD)について検討する。
  論文  参考訳（メタデータ） (2023-11-13T02:54:17Z)
• Sanity checks for patch visualisation in prototype-based image classification [0.0]
  本稿では,ProtoPNetとProtoTreeで実装された可視化手法が画像内の関心領域を正しく識別していないことを示す。 また、より忠実な画像パッチを提供する他のサリエンシ手法を使用することで、この問題を緩和できることを定量的に示す。
  論文  参考訳（メタデータ） (2023-10-25T08:13:02Z)
• Prototypes as Explanation for Time Series Anomaly Detection [6.051581987453758]
  本稿では,プロトタイプを例として,異常検出時の正規パターンの状態の説明として用いたProtoADを提案する。 潜在空間と入力空間のプロトタイプの両方を可視化することにより、正規データがどのようにモデル化され、なぜ特定のパターンが異常であると考えられるのかを直感的に示す。
  論文  参考訳（メタデータ） (2023-07-04T09:40:30Z)
• Zero-shot Model Diagnosis [80.36063332820568]
  ディープラーニングモデルを評価するための一般的なアプローチは、興味のある属性を持つラベル付きテストセットを構築し、そのパフォーマンスを評価することである。 本稿では,ゼロショットモデル診断(ZOOM)がテストセットやラベル付けを必要とせずに可能であることを論じる。
  論文  参考訳（メタデータ） (2023-03-27T17:59:33Z)
• Confidence-Aware and Self-Supervised Image Anomaly Localisation [7.099105239108548]
  本稿では,ゆるやかな特徴的局所性制約による確率的推論の近似を支援する,自己教師付きシングルクラストレーニング戦略について論じる。 提案手法は,複数のオフ・オブ・ディストリビューション(OOD)検出モデルに統合されている。
  論文  参考訳（メタデータ） (2023-03-23T12:48:47Z)
• Towards Trustable Skin Cancer Diagnosis via Rewriting Model's Decision [12.306688233127312]
  本稿では,モデルトレーニングプロセスにHuman-in-the-loopフレームワークを導入する。 提案手法は, 共起因子を自動的に検出する。 容易に得られる概念の模範を用いて、相反する概念を学習することができる。
  論文  参考訳（メタデータ） (2023-03-02T01:02:18Z)
• The role of noise in denoising models for anomaly detection in medical images [62.0532151156057]
  病理脳病変は脳画像に多彩な外観を示す。 正規データのみを用いた教師なし異常検出手法が提案されている。 空間分解能の最適化と雑音の大きさの最適化により,異なるモデル学習体制の性能が向上することを示す。
  論文  参考訳（メタデータ） (2023-01-19T21:39:38Z)
• Explainable Deep Few-shot Anomaly Detection with Deviation Networks [123.46611927225963]
  本稿では,弱い教師付き異常検出フレームワークを導入し,検出モデルを訓練する。 提案手法は,ラベル付き異常と事前確率を活用することにより,識別正規性を学習する。 我々のモデルはサンプル効率が高く頑健であり、クローズドセットとオープンセットの両方の設定において最先端の競合手法よりもはるかに優れている。
  論文  参考訳（メタデータ） (2021-08-01T14:33:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。