論文の概要: Zero-shot Model Diagnosis

• arxiv url: http://arxiv.org/abs/2303.15441v1
• Date: Mon, 27 Mar 2023 17:59:33 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-28 13:59:47.655834
• Title: Zero-shot Model Diagnosis
• Title（参考訳）: ゼロショットモデル診断
• Authors: Jinqi Luo, Zhaoning Wang, Chen Henry Wu, Dong Huang, Fernando De la Torre
• Abstract要約: ディープラーニングモデルを評価するための一般的なアプローチは、興味のある属性を持つラベル付きテストセットを構築し、そのパフォーマンスを評価することである。 本稿では,ゼロショットモデル診断(ZOOM)がテストセットやラベル付けを必要とせずに可能であることを論じる。
• 参考スコア（独自算出の注目度）: 80.36063332820568
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: When it comes to deploying deep vision models, the behavior of these systems must be explicable to ensure confidence in their reliability and fairness. A common approach to evaluate deep learning models is to build a labeled test set with attributes of interest and assess how well it performs. However, creating a balanced test set (i.e., one that is uniformly sampled over all the important traits) is often time-consuming, expensive, and prone to mistakes. The question we try to address is: can we evaluate the sensitivity of deep learning models to arbitrary visual attributes without an annotated test set? This paper argues the case that Zero-shot Model Diagnosis (ZOOM) is possible without the need for a test set nor labeling. To avoid the need for test sets, our system relies on a generative model and CLIP. The key idea is enabling the user to select a set of prompts (relevant to the problem) and our system will automatically search for semantic counterfactual images (i.e., synthesized images that flip the prediction in the case of a binary classifier) using the generative model. We evaluate several visual tasks (classification, key-point detection, and segmentation) in multiple visual domains to demonstrate the viability of our methodology. Extensive experiments demonstrate that our method is capable of producing counterfactual images and offering sensitivity analysis for model diagnosis without the need for a test set.
• Abstract（参考訳）: ディープビジョンモデルを展開する場合、これらのシステムの振る舞いは、信頼性と公正性を保証するために説明可能である必要があります。 ディープラーニングモデルを評価する一般的なアプローチは、関心のある属性を持つラベル付きテストセットを構築し、そのパフォーマンスを評価することだ。 しかしながら、バランスのとれたテストセット(すなわち、すべての重要な特性に対して一様にサンプリングされるテストセット)の作成には、しばしば時間がかかり、コストがかかり、ミスが発生しやすい。 私たちは、アノテートされたテストセットなしで、任意の視覚的属性に対するディープラーニングモデルの感度を評価することができますか? 本稿では,ゼロショットモデル診断(ZOOM)がテストセットやラベル付けを必要とせずに可能であることを論じる。 テストセットの必要性を回避するため,本システムは生成モデルとCLIPに依存している。 鍵となるアイデアは、ユーザが一連のプロンプト(問題と関連)を選択できるようにすることであり、生成モデルを用いて意味的反事実画像(バイナリ分類器の場合の予測を反転させる合成画像)を自動的に検索する。 我々は,複数の視覚領域における複数の視覚タスク(分類,キーポイント検出,セグメンテーション)を評価し,方法論の有効性を実証する。 広範な実験により,本手法は偽画像を生成することができ,テストセットを必要とせず,モデル診断に感度解析を提供できることを示した。

関連論文リスト

• Unsupervised Model Diagnosis [49.36194740479798]
  本稿では,ユーザガイドを使わずに,意味論的対実的説明を生成するために,Unsupervised Model Diagnosis (UMO)を提案する。 提案手法は意味論における変化を特定し可視化し,その変化を広範囲なテキストソースの属性と照合する。
  論文  参考訳（メタデータ） (2024-10-08T17:59:03Z)
• Importance of Disjoint Sampling in Conventional and Transformer Models for Hyperspectral Image Classification [2.1223532600703385]
  本稿では、ハイパースペクトル画像分類(HSIC)タスク上でSOTAモデルをトレーニングするための革新的な不整合サンプリング手法を提案する。 重なりのないトレーニング,検証,テストデータを分離することにより,提案手法は,トレーニングや検証中に露出していないピクセルをどの程度正確に分類できるかを,より公平に評価することができる。 この厳密な手法は、SOTAモデルの発展と、ハイパースペクトルセンサーを用いた大規模陸地マッピングへの実際の応用に欠かせない。
  論文  参考訳（メタデータ） (2024-04-23T11:40:52Z)
• Unleashing Mask: Explore the Intrinsic Out-of-Distribution Detection Capability [70.72426887518517]
  Out-of-Distribution(OOD)検出は、機械学習モデルを現実世界のアプリケーションにデプロイする際に、セキュアAIの必須の側面である。 本稿では,IDデータを用いた学習モデルのOOD識別能力を復元する新しい手法であるUnleashing Maskを提案する。 本手法では, マスクを用いて記憶した非定型サンプルを抽出し, モデルを微調整するか, 導入したマスクでプルーする。
  論文  参考訳（メタデータ） (2023-06-06T14:23:34Z)
• Detection and Captioning with Unseen Object Classes [12.894104422808242]
  テストイメージには、対応する視覚的またはテキスト的トレーニング例のない視覚的オブジェクトを含むことができる。 一般化されたゼロショット検出モデルとテンプレートに基づく文生成モデルに基づく検出駆動型アプローチを提案する。 実験の結果,提案したゼロショット検出モデルにより,MS-COCOデータセット上での最先端性能が得られた。
  論文  参考訳（メタデータ） (2021-08-13T10:43:20Z)
• Understanding Classifier Mistakes with Generative Models [88.20470690631372]
  ディープニューラルネットワークは教師付き学習タスクに有効であるが、脆弱であることが示されている。 本稿では、生成モデルを利用して、分類器が一般化に失敗するインスタンスを特定し、特徴付ける。 我々のアプローチは、トレーニングセットのクラスラベルに依存しないため、半教師付きでトレーニングされたモデルに適用できる。
  論文  参考訳（メタデータ） (2020-10-05T22:13:21Z)
• CSI: Novelty Detection via Contrastive Learning on Distributionally Shifted Instances [77.28192419848901]
  コントラストシフトインスタンス (CSI) という,単純かつ効果的な手法を提案する。 従来のコントラスト学習法のように,サンプルを他の例と対比することに加えて,本トレーニング手法では,サンプルを分散シフトによる拡張と対比する。 本実験は, 種々の新規検出シナリオにおける本手法の優位性を実証する。
  論文  参考訳（メタデータ） (2020-07-16T08:32:56Z)
• Evaluating Models' Local Decision Boundaries via Contrast Sets [119.38387782979474]
  テストデータの体系的なギャップを埋めるのに役立つNLPのための新しいアノテーションパラダイムを提案する。 10種類のNLPデータセットに対してコントラストセットを作成することで,コントラストセットの有効性を示す。 我々のコントラストセットは明示的には逆ではないが、モデルの性能は元のテストセットよりも大幅に低い。
  論文  参考訳（メタデータ） (2020-04-06T14:47:18Z)
• Overinterpretation reveals image classification model pathologies [15.950659318117694]
  人気のあるベンチマーク上の畳み込みニューラルネットワーク(CNN)は、意味論的に健全な特徴がなくても高い精度を示すことができるような、厄介な病理を示す。 我々は、CIFAR-10とImageNetでトレーニングされたニューラルネットワークが過剰解釈に悩まされていることを実証した。 これらのパターンは、現実のデプロイメントにおける潜在的なモデルの脆弱性を補うものだが、実際には、ベンチマークの統計的パターンとして、高いテスト精度を達成するのに十分である。
  論文  参考訳（メタデータ） (2020-03-19T17:12:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。