論文の概要: AttributionScanner: A Visual Analytics System for Metadata-Free
Data-Slicing Based Model Validation
- arxiv url: http://arxiv.org/abs/2401.06462v1
- Date: Fri, 12 Jan 2024 09:17:32 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-15 19:56:13.811860
- Title: AttributionScanner: A Visual Analytics System for Metadata-Free
Data-Slicing Based Model Validation
- Title（参考訳）: AttributionScanner: メタデータフリーデータスライシングに基づくモデル検証のためのビジュアル分析システム
- Authors: Xiwei Xuan, Jorge Piazentin Ono, Liang Gou, Kwan-Liu Ma, Liu Ren
- Abstract要約: AttributionScannerは、データスライシングベースの機械学習(ML)モデルの検証用に設計されたビジュアル分析システムである。
提案手法は,説明可能なAI(XAI)技術を用いて抽出した説明可能な特徴を利用して,解釈可能なデータスライスを識別する。
我々のフレームワークは、最先端のニューラルネットワーク正規化技術を使用することで、ドメインエキスパートにモデル問題に対処する権限を与えることで、ML開発サイクルを閉じる。
- 参考スコア（独自算出の注目度）: 31.19426148651238
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Data slice-finding is an emerging technique for evaluating machine learning
models. It works by identifying subgroups within a specified dataset that
exhibit poor performance, often defined by distinct feature sets or
meta-information. However, in the context of unstructured image data, data
slice-finding poses two notable challenges: it requires additional metadata --
a laborious and costly requirement, and also demands non-trivial efforts for
interpreting the root causes of the underperformance within data slices. To
address these challenges, we introduce AttributionScanner, an innovative
human-in-the-loop Visual Analytics (VA) system, designed for data-slicing-based
machine learning (ML) model validation. Our approach excels in identifying
interpretable data slices, employing explainable features extracted through the
lens of Explainable AI (XAI) techniques, and removing the necessity for
additional metadata of textual annotations or cross-model embeddings.
AttributionScanner demonstrates proficiency in pinpointing critical model
issues, including spurious correlations and mislabeled data. Our novel VA
interface visually summarizes data slices, enabling users to gather insights
into model behavior patterns effortlessly. Furthermore, our framework closes
the ML Development Cycle by empowering domain experts to address model issues
by using a cutting-edge neural network regularization technique. The efficacy
of AttributionScanner is underscored through two prototype use cases,
elucidating its substantial effectiveness in model validation for
vision-centric tasks. Our approach paves the way for ML researchers and
practitioners to drive interpretable model validation in a data-efficient way,
ultimately leading to more reliable and accurate models.
- Abstract（参考訳）: データスライスフィニングは、機械学習モデルを評価する新しいテクニックである。
機能セットやメタ情報によって定義される、パフォーマンスの悪い特定のデータセット内のサブグループを特定することで機能する。
しかし、非構造化画像データの文脈では、データスライス検索は2つの注目すべき課題を提起する。
これらの課題に対処するために、データスライシングベースの機械学習(ML)モデル検証用に設計された、革新的な人型ビジュアルアナリティクス(VA)システムであるAttributionScannerを紹介した。
我々のアプローチは、解釈可能なデータスライスを識別し、説明可能なAI(XAI)技術を用いて抽出した説明可能な機能を活用し、テキストアノテーションやクロスモデル埋め込みの追加メタデータの必要性を除去する。
AttributionScannerは、素早い相関や誤ったラベル付きデータを含む重要なモデル問題を特定する能力を示している。
当社の新しいVAインターフェースは,データスライスを視覚的に要約し,モデル行動パターンに関する洞察をシームレスに収集する。
さらに、最先端のニューラルネットワーク正規化技術を用いて、ドメインエキスパートにモデル問題に対処する権限を与えることにより、ml開発サイクルを締めくくります。
attributionscannerの有効性は、視覚中心のタスクのモデル検証における実質的な有効性を明らかにする2つのプロトタイプのユースケースによって裏付けられている。
我々のアプローチは、MLの研究者や実践者が解釈可能なモデルの検証をデータ効率のよい方法で行うための道を開いた。
関連論文リスト
- Unsupervised Model Diagnosis [49.36194740479798]
本稿では,ユーザガイドを使わずに,意味論的対実的説明を生成するために,Unsupervised Model Diagnosis (UMO)を提案する。
提案手法は意味論における変化を特定し可視化し,その変化を広範囲なテキストソースの属性と照合する。
論文 参考訳（メタデータ） (2024-10-08T17:59:03Z) - Explanatory Model Monitoring to Understand the Effects of Feature Shifts on Performance [61.06245197347139]
そこで本研究では,機能シフトによるブラックボックスモデルの振る舞いを説明する新しい手法を提案する。
本稿では,最適輸送と共有値の概念を組み合わせた提案手法について,説明的性能推定として紹介する。
論文 参考訳（メタデータ） (2024-08-24T18:28:19Z) - A Simple Background Augmentation Method for Object Detection with Diffusion Model [53.32935683257045]
コンピュータビジョンでは、データの多様性の欠如がモデル性能を損なうことはよく知られている。
本稿では, 生成モデルの進歩を生かして, 単純かつ効果的なデータ拡張手法を提案する。
背景強化は、特にモデルの堅牢性と一般化能力を大幅に改善する。
論文 参考訳（メタデータ） (2024-08-01T07:40:00Z) - Outlier Gradient Analysis: Efficiently Identifying Detrimental Training Samples for Deep Learning Models [36.05242956018461]
本稿では,影響関数と外乱勾配検出による有害トレーニングサンプルの同定とを橋渡しする。
まず, 合成データセットにおける外乱勾配解析手法の仮説を検証した。
次に、視覚モデルにおける誤ラベルサンプルの検出と、自然言語処理トランスフォーマーモデルの性能向上のためのデータサンプル選択の有効性を示す。
論文 参考訳（メタデータ） (2024-05-06T21:34:46Z) - Data-efficient Large Vision Models through Sequential Autoregression [58.26179273091461]
限られたデータセットに基づいて,効率的な自己回帰に基づく視覚モデルを構築する。
このモデルは,高レベル・低レベルのセマンティック理解の両方にまたがる視覚的タスクにおいて,その習熟度をいかに達成するかを実証する。
我々の経験的評価は、モデルが様々なタスクに適応する際の機敏さを強調し、パラメータフットプリントの大幅な削減を図った。
論文 参考訳（メタデータ） (2024-02-07T13:41:53Z) - Improving QA Model Performance with Cartographic Inoculation [0.0]
データセットアーティファクト"は、実世界のQA問題に一般化するモデルの能力を低下させる。
逆問題集合を用いてデータセットアーティファクトの影響と頻度を解析する。
課題集合から曖昧な逆数例のモデルを選択的に微調整することにより、大幅な性能改善が可能であることを示す。
論文 参考訳（メタデータ） (2024-01-30T23:08:26Z) - Towards Better Modeling with Missing Data: A Contrastive Learning-based
Visual Analytics Perspective [7.577040836988683]
データ不足は機械学習(ML)モデリングの課題となる可能性がある。
現在のアプローチは、特徴計算とラベル予測に分類される。
本研究は、観測データに欠落した値でモデル化するコントラスト学習フレームワークを提案する。
論文 参考訳（メタデータ） (2023-09-18T13:16:24Z) - Discover, Explanation, Improvement: An Automatic Slice Detection
Framework for Natural Language Processing [72.14557106085284]
スライス検出モデル(SDM)は、データポイントの低パフォーマンスなグループを自動的に識別する。
本稿では,NLPタスクの分類のための "Discover, Explain, improve (DEIM)" というベンチマークを提案する。
評価の結果,Edisaは情報的セマンティックな特徴を持つ誤り発生データポイントを正確に選択できることがわかった。
論文 参考訳（メタデータ） (2022-11-08T19:00:00Z) - AdViCE: Aggregated Visual Counterfactual Explanations for Machine
Learning Model Validation [9.996986104171754]
我々は,ブラックボックスモデルデバッグとバリデーションでユーザをガイドすることを目的とした視覚分析ツールであるAdViCEを紹介する。
1) ユーザ定義データサブセットの意思決定の比較を可能にするインタラクティブな可視化,(2) 反現実的説明の計算と視覚化を行うアルゴリズムとビジュアルデザイン。
論文 参考訳（メタデータ） (2021-09-12T22:52:12Z) - How Faithful is your Synthetic Data? Sample-level Metrics for Evaluating
and Auditing Generative Models [95.8037674226622]
ドメインに依存しない方法で生成モデルの忠実度,多様性,一般化性能を特徴付ける3次元評価指標を提案する。
当社のメトリクスは、精度リコール分析により統計的発散測定を統合し、モデル忠実度と多様性のサンプルおよび分布レベルの診断を可能にします。
論文 参考訳（メタデータ） (2021-02-17T18:25:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。