論文の概要: Unsupervised Model Diagnosis

• arxiv url: http://arxiv.org/abs/2410.06243v1
• Date: Tue, 8 Oct 2024 17:59:03 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-01 10:21:03.859067
• Title: Unsupervised Model Diagnosis
• Title（参考訳）: 教師なしモデル診断
• Authors: Yinong Oliver Wang, Eileen Li, Jinqi Luo, Zhaoning Wang, Fernando De la Torre,
• Abstract要約: 本稿では,ユーザガイドを使わずに,意味論的対実的説明を生成するために,Unsupervised Model Diagnosis (UMO)を提案する。 提案手法は意味論における変化を特定し可視化し,その変化を広範囲なテキストソースの属性と照合する。
• 参考スコア（独自算出の注目度）: 49.36194740479798
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Ensuring model explainability and robustness is essential for reliable deployment of deep vision systems. Current methods for evaluating robustness rely on collecting and annotating extensive test sets. While this is common practice, the process is labor-intensive and expensive with no guarantee of sufficient coverage across attributes of interest. Recently, model diagnosis frameworks have emerged leveraging user inputs (e.g., text) to assess the vulnerability of the model. However, such dependence on human can introduce bias and limitation given the domain knowledge of particular users. This paper proposes Unsupervised Model Diagnosis (UMO), that leverages generative models to produce semantic counterfactual explanations without any user guidance. Given a differentiable computer vision model (i.e., the target model), UMO optimizes for the most counterfactual directions in a generative latent space. Our approach identifies and visualizes changes in semantics, and then matches these changes to attributes from wide-ranging text sources, such as dictionaries or language models. We validate the framework on multiple vision tasks (e.g., classification, segmentation, keypoint detection). Extensive experiments show that our unsupervised discovery of semantic directions can correctly highlight spurious correlations and visualize the failure mode of target models without any human intervention.
• Abstract（参考訳）: ディープビジョンシステムの信頼性確保には、モデル説明可能性と堅牢性の確保が不可欠である。 堅牢性を評価するための現在の手法は、広範なテストセットの収集と注釈付けに依存している。 これは一般的なプラクティスだが、プロセスは労働集約的でコストがかかるため、関心のある属性に対して十分なカバレッジが保証されない。 近年,モデルの脆弱性を評価するためにユーザ入力(例:テキスト)を活用するモデル診断フレームワークが登場している。 しかし、特定のユーザのドメイン知識を考えると、そのような人間への依存はバイアスや制限をもたらす可能性がある。 本稿では、生成モデルを利用した教師なしモデル診断(UMO)を提案する。 微分可能なコンピュータビジョンモデル(すなわちターゲットモデル)が与えられた場合、UMOは生成的潜在空間において最も反現実的な方向を最適化する。 提案手法は意味論における変化を特定し可視化し,その変化を辞書や言語モデルなど幅広いテキストソースの属性と照合する。 複数の視覚タスク(例えば、分類、セグメンテーション、キーポイント検出)のフレームワークを検証する。 大規模な実験により、教師なしによる意味的方向の発見は、素早い相関を正しく強調し、人間の介入なしにターゲットモデルの失敗モードを可視化できることが示されている。

関連論文リスト

• DISCO: DISCovering Overfittings as Causal Rules for Text Classification Models [6.369258625916601]
  ポストホックの解釈可能性法は、モデルの意思決定プロセスを完全に捉えるのに失敗する。 本稿では,グローバルなルールベースの説明を見つけるための新しい手法であるdisCOを紹介する。 DISCOは対話的な説明をサポートし、人間の検査者がルールベースの出力で突発的な原因を区別できるようにする。
  論文  参考訳（メタデータ） (2024-11-07T12:12:44Z)
• Explanatory Model Monitoring to Understand the Effects of Feature Shifts on Performance [61.06245197347139]
  そこで本研究では,機能シフトによるブラックボックスモデルの振る舞いを説明する新しい手法を提案する。 本稿では,最適輸送と共有値の概念を組み合わせた提案手法について,説明的性能推定として紹介する。
  論文  参考訳（メタデータ） (2024-08-24T18:28:19Z)
• Open-Set Deepfake Detection: A Parameter-Efficient Adaptation Method with Forgery Style Mixture [58.60915132222421]
  本稿では,顔偽造検出に汎用的かつパラメータ効率の高い手法を提案する。 フォージェリー・ソース・ドメインの多様性を増大させるフォージェリー・ミックス・フォーミュレーションを設計する。 設計したモデルは、トレーニング可能なパラメータを著しく減らし、最先端の一般化性を実現する。
  論文  参考訳（メタデータ） (2024-08-23T01:53:36Z)
• A Reliable Framework for Human-in-the-Loop Anomaly Detection in Time Series [17.08674819906415]
  HILADは、人間とAIの動的かつ双方向なコラボレーションを促進するために設計された、新しいフレームワークである。 ビジュアルインターフェースを通じて、HILADはドメインの専門家に、大規模な予期せぬモデルの振る舞いを検出し、解釈し、修正する権限を与えます。
  論文  参考訳（メタデータ） (2024-05-06T07:44:07Z)
• AIDE: An Automatic Data Engine for Object Detection in Autonomous Driving [68.73885845181242]
  本稿では,問題を自動的に識別し,データを効率よくキュレートし,自動ラベル付けによりモデルを改善する自動データエンジン(AIDE)を提案する。 さらに,AVデータセットのオープンワールド検出のためのベンチマークを構築し,様々な学習パラダイムを包括的に評価し,提案手法の優れた性能を低コストで実証する。
  論文  参考訳（メタデータ） (2024-03-26T04:27:56Z)
• AttributionScanner: A Visual Analytics System for Model Validation with Metadata-Free Slice Finding [29.07617945233152]
  データスライス検索は、低パフォーマンスを示すデータセット内のサブグループを特定し解析することで、機械学習(ML)モデルを検証するための新興技術である。 このアプローチは、追加メタデータに対する退屈でコストのかかる要件を含む、重大な課題に直面します。 本稿では,メタデータを含まないデータスライス検索用に設計された,革新的なビジュアルアナリティクス(VA)システムであるAttributionScannerを紹介する。 本システムでは、一般的なモデル動作を含む解釈可能なデータスライスを特定し、属性モザイク設計によりこれらのパターンを可視化する。
  論文  参考訳（メタデータ） (2024-01-12T09:17:32Z)
• ProtoVAE: Prototypical Networks for Unsupervised Disentanglement [1.6114012813668934]
  本稿では,自己スーパービジョンを用いて学習した深層学習型プロトタイプネットワークを活用する,新しい深部生成型VAEモデルProtoVAEを提案する。 我々のモデルは、完全に教師なしであり、要素数を含むデータセットの事前知識を必要としない。 提案手法をベンチマークdSprites, 3DShapes, MPI3Dディジアングルメントデータセット上で評価した。
  論文  参考訳（メタデータ） (2023-05-16T01:29:26Z)
• Zero-shot Model Diagnosis [80.36063332820568]
  ディープラーニングモデルを評価するための一般的なアプローチは、興味のある属性を持つラベル付きテストセットを構築し、そのパフォーマンスを評価することである。 本稿では,ゼロショットモデル診断(ZOOM)がテストセットやラベル付けを必要とせずに可能であることを論じる。
  論文  参考訳（メタデータ） (2023-03-27T17:59:33Z)
• Diagnosing and Rectifying Vision Models using Language [31.588965563961573]
  最近のコントラスト学習モデルは、強力な視覚分類器を構築するのに適した埋め込み空間を学習できることを実証している。 我々の研究は、このマルチモーダル埋め込み空間の明確な利点として、自然言語で視覚分類器を診断する能力を挙げている。 提案手法は,ハイエラーデータスライスを発見し,重要な属性を同定し,さらに好ましくないモデルの振る舞いを補正する。
  論文  参考訳（メタデータ） (2023-02-08T18:59:42Z)
• Plausible Counterfactuals: Auditing Deep Learning Classifiers with Realistic Adversarial Examples [84.8370546614042]
  ディープラーニングモデルのブラックボックスの性質は、彼らがデータから何を学ぶかについて、未回答の疑問を提起している。 GAN(Generative Adversarial Network)とマルチオブジェクトは、監査されたモデルに妥当な攻撃を与えるために使用される。 その実用性は人間の顔の分類タスクの中で示され、提案されたフレームワークの潜在的可能性を明らかにしている。
  論文  参考訳（メタデータ） (2020-03-25T11:08:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。