論文の概要: AttributionScanner: A Visual Analytics System for Metadata-Free
Data-Slicing Based Model Validation
- arxiv url: http://arxiv.org/abs/2401.06462v1
- Date: Fri, 12 Jan 2024 09:17:32 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-15 19:56:13.811860
- Title: AttributionScanner: A Visual Analytics System for Metadata-Free
Data-Slicing Based Model Validation
- Title(参考訳): AttributionScanner: メタデータフリーデータスライシングに基づくモデル検証のためのビジュアル分析システム
- Authors: Xiwei Xuan, Jorge Piazentin Ono, Liang Gou, Kwan-Liu Ma, Liu Ren
- Abstract要約: AttributionScannerは、データスライシングベースの機械学習(ML)モデルの検証用に設計されたビジュアル分析システムである。
提案手法は,説明可能なAI(XAI)技術を用いて抽出した説明可能な特徴を利用して,解釈可能なデータスライスを識別する。
我々のフレームワークは、最先端のニューラルネットワーク正規化技術を使用することで、ドメインエキスパートにモデル問題に対処する権限を与えることで、ML開発サイクルを閉じる。
- 参考スコア(独自算出の注目度): 31.19426148651238
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Data slice-finding is an emerging technique for evaluating machine learning
models. It works by identifying subgroups within a specified dataset that
exhibit poor performance, often defined by distinct feature sets or
meta-information. However, in the context of unstructured image data, data
slice-finding poses two notable challenges: it requires additional metadata --
a laborious and costly requirement, and also demands non-trivial efforts for
interpreting the root causes of the underperformance within data slices. To
address these challenges, we introduce AttributionScanner, an innovative
human-in-the-loop Visual Analytics (VA) system, designed for data-slicing-based
machine learning (ML) model validation. Our approach excels in identifying
interpretable data slices, employing explainable features extracted through the
lens of Explainable AI (XAI) techniques, and removing the necessity for
additional metadata of textual annotations or cross-model embeddings.
AttributionScanner demonstrates proficiency in pinpointing critical model
issues, including spurious correlations and mislabeled data. Our novel VA
interface visually summarizes data slices, enabling users to gather insights
into model behavior patterns effortlessly. Furthermore, our framework closes
the ML Development Cycle by empowering domain experts to address model issues
by using a cutting-edge neural network regularization technique. The efficacy
of AttributionScanner is underscored through two prototype use cases,
elucidating its substantial effectiveness in model validation for
vision-centric tasks. Our approach paves the way for ML researchers and
practitioners to drive interpretable model validation in a data-efficient way,
ultimately leading to more reliable and accurate models.
- Abstract(参考訳): データスライスフィニングは、機械学習モデルを評価する新しいテクニックである。
機能セットやメタ情報によって定義される、パフォーマンスの悪い特定のデータセット内のサブグループを特定することで機能する。
しかし、非構造化画像データの文脈では、データスライス検索は2つの注目すべき課題を提起する。
これらの課題に対処するために、データスライシングベースの機械学習(ML)モデル検証用に設計された、革新的な人型ビジュアルアナリティクス(VA)システムであるAttributionScannerを紹介した。
我々のアプローチは、解釈可能なデータスライスを識別し、説明可能なAI(XAI)技術を用いて抽出した説明可能な機能を活用し、テキストアノテーションやクロスモデル埋め込みの追加メタデータの必要性を除去する。
AttributionScannerは、素早い相関や誤ったラベル付きデータを含む重要なモデル問題を特定する能力を示している。
当社の新しいVAインターフェースは,データスライスを視覚的に要約し,モデル行動パターンに関する洞察をシームレスに収集する。
さらに、最先端のニューラルネットワーク正規化技術を用いて、ドメインエキスパートにモデル問題に対処する権限を与えることにより、ml開発サイクルを締めくくります。
attributionscannerの有効性は、視覚中心のタスクのモデル検証における実質的な有効性を明らかにする2つのプロトタイプのユースケースによって裏付けられている。
我々のアプローチは、MLの研究者や実践者が解釈可能なモデルの検証をデータ効率のよい方法で行うための道を開いた。
関連論文リスト
- Data-efficient Large Vision Models through Sequential Autoregression [58.26179273091461]
限られたデータセットに基づいて,効率的な自己回帰に基づく視覚モデルを構築する。
このモデルは,高レベル・低レベルのセマンティック理解の両方にまたがる視覚的タスクにおいて,その習熟度をいかに達成するかを実証する。
我々の経験的評価は、モデルが様々なタスクに適応する際の機敏さを強調し、パラメータフットプリントの大幅な削減を図った。
論文 参考訳(メタデータ) (2024-02-07T13:41:53Z) - Towards Better Modeling with Missing Data: A Contrastive Learning-based
Visual Analytics Perspective [7.577040836988683]
データ不足は機械学習(ML)モデリングの課題となる可能性がある。
現在のアプローチは、特徴計算とラベル予測に分類される。
本研究は、観測データに欠落した値でモデル化するコントラスト学習フレームワークを提案する。
論文 参考訳(メタデータ) (2023-09-18T13:16:24Z) - LLM2Loss: Leveraging Language Models for Explainable Model Diagnostics [5.33024001730262]
我々は、失敗とバイアスのモデルパターンに関するセマンティックな洞察を提供するアプローチを提案する。
このような軽量モデルのアンサンブルを用いて,ブラックボックスモデルの性能に関する洞察を得られることを示す。
論文 参考訳(メタデータ) (2023-05-04T23:54:37Z) - Discover, Explanation, Improvement: An Automatic Slice Detection
Framework for Natural Language Processing [72.14557106085284]
スライス検出モデル(SDM)は、データポイントの低パフォーマンスなグループを自動的に識別する。
本稿では,NLPタスクの分類のための "Discover, Explain, improve (DEIM)" というベンチマークを提案する。
評価の結果,Edisaは情報的セマンティックな特徴を持つ誤り発生データポイントを正確に選択できることがわかった。
論文 参考訳(メタデータ) (2022-11-08T19:00:00Z) - Cluster-level pseudo-labelling for source-free cross-domain facial
expression recognition [94.56304526014875]
表情認識のためのSFUDA法を提案する。
本手法は,自己教師付き事前学習を利用して,対象データから優れた特徴表現を学習する。
提案手法の有効性を4つの適応方式で検証し,FERに適用した場合,既存のSFUDA法より一貫して優れていることを示す。
論文 参考訳(メタデータ) (2022-10-11T08:24:50Z) - Generalization Properties of Retrieval-based Models [50.35325326050263]
検索ベースの機械学習手法は、幅広い問題で成功をおさめた。
これらのモデルの約束を示す文献が増えているにもかかわらず、そのようなモデルの理論的基盤はいまだに解明されていない。
本稿では,その一般化能力を特徴付けるために,検索ベースモデルの形式的処理を行う。
論文 参考訳(メタデータ) (2022-10-06T00:33:01Z) - Towards Open-World Feature Extrapolation: An Inductive Graph Learning
Approach [80.8446673089281]
グラフ表現と学習を伴う新しい学習パラダイムを提案する。
本フレームワークは,1) 下位モデルとしてのバックボーンネットワーク(フィードフォワードニューラルネットなど)が,予測ラベルの入力および出力として機能を取り,2) 上位モデルとしてのグラフニューラルネットワークが,観測データから構築された特徴データグラフをメッセージパッシングすることで,新機能の埋め込みを外挿することを学ぶ。
論文 参考訳(メタデータ) (2021-10-09T09:02:45Z) - AdViCE: Aggregated Visual Counterfactual Explanations for Machine
Learning Model Validation [9.996986104171754]
我々は,ブラックボックスモデルデバッグとバリデーションでユーザをガイドすることを目的とした視覚分析ツールであるAdViCEを紹介する。
1) ユーザ定義データサブセットの意思決定の比較を可能にするインタラクティブな可視化,(2) 反現実的説明の計算と視覚化を行うアルゴリズムとビジュアルデザイン。
論文 参考訳(メタデータ) (2021-09-12T22:52:12Z) - Multivariate Data Explanation by Jumping Emerging Patterns Visualization [78.6363825307044]
多変量データセットにおけるパターンの識別と視覚的解釈を支援するVAX(multiVariate dAta eXplanation)を提案する。
既存の類似のアプローチとは異なり、VAXはJumping Emerging Patternsという概念を使って、複数の多様化したパターンを特定し、集約し、データ変数のロジックの組み合わせを通して説明を生成する。
論文 参考訳(メタデータ) (2021-06-21T13:49:44Z) - Improving the Performance of Fine-Grain Image Classifiers via Generative
Data Augmentation [0.5161531917413706]
我々は、ロバスト生成アドリアルネットワーク(DAPPER GAN)の熟練した事前学習からデータ拡張を開発する。
DAPPER GANは、トレーニングイメージの新しいビューを自動的に生成するML分析支援ツールである。
本手法をStanford Carsデータセット上で実験的に評価し,車体形状とモデル分類精度の向上を実証した。
論文 参考訳(メタデータ) (2020-08-12T15:29:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。