論文の概要: Visual Auditor: Interactive Visualization for Detection and
Summarization of Model Biases
- arxiv url: http://arxiv.org/abs/2206.12540v1
- Date: Sat, 25 Jun 2022 02:48:27 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-28 16:37:49.710824
- Title: Visual Auditor: Interactive Visualization for Detection and
Summarization of Model Biases
- Title(参考訳): Visual Auditor: モデルバイアスの検出と要約のためのインタラクティブな可視化
- Authors: David Munechika, Zijie J. Wang, Jack Reidy, Josh Rubin, Krishna Gade,
Krishnaram Kenthapadi, Duen Horng Chau
- Abstract要約: 機械学習(ML)システムがますます普及するにつれて、これらのシステムをデプロイ前にバイアスとして監査する必要がある。
近年の研究では、データのサブセット(またはスライス)を解釈可能で過小評価する形で、交差点バイアスを効果的に識別するアルゴリズムが開発されている。
モデルバイアスを監査・要約するための対話型可視化ツールであるVisual Auditorを提案する。
- 参考スコア(独自算出の注目度): 18.434430375939755
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As machine learning (ML) systems become increasingly widespread, it is
necessary to audit these systems for biases prior to their deployment. Recent
research has developed algorithms for effectively identifying intersectional
bias in the form of interpretable, underperforming subsets (or slices) of the
data. However, these solutions and their insights are limited without a tool
for visually understanding and interacting with the results of these
algorithms. We propose Visual Auditor, an interactive visualization tool for
auditing and summarizing model biases. Visual Auditor assists model validation
by providing an interpretable overview of intersectional bias (bias that is
present when examining populations defined by multiple features), details about
relationships between problematic data slices, and a comparison between
underperforming and overperforming data slices in a model. Our open-source tool
runs directly in both computational notebooks and web browsers, making model
auditing accessible and easily integrated into current ML development
workflows. An observational user study in collaboration with domain experts at
Fiddler AI highlights that our tool can help ML practitioners identify and
understand model biases.
- Abstract(参考訳): 機械学習(ML)システムが普及するにつれて、これらのシステムをデプロイ前にバイアスとして監査する必要がある。
近年の研究では、データの解釈可能な部分集合(またはスライス)という形で、交叉バイアスを効果的に識別するアルゴリズムが開発されている。
しかしながら、これらの解とその洞察は、これらのアルゴリズムの結果を視覚的に理解し、相互作用するツールなしで制限されている。
モデルバイアスの監査と要約を行うインタラクティブな可視化ツールであるvisual auditorを提案する。
Visual Auditorは、交差バイアス(複数の特徴によって定義される人口を調べる際に存在するバイアス)の解釈可能な概要、問題のあるデータスライス間の関係の詳細、モデルにおける過度なパフォーマンスと過剰なパフォーマンスのデータスライスの比較を提供することで、モデルの検証を支援する。
私たちのオープンソースツールは計算ノートブックとWebブラウザの両方で直接動作し、モデル監査を現在のML開発ワークフローに容易に組み込むことができます。
fiddler aiのドメインエキスパートと共同で行った観察的ユーザスタディでは、このツールはml実践者がモデルのバイアスを識別し理解するのに役立ちます。
関連論文リスト
- MatPlotAgent: Method and Evaluation for LLM-Based Agentic Scientific
Data Visualization [88.72769238904908]
MatPlotAgentは、科学的データ可視化タスクを自動化するために設計された、モデルに依存しないフレームワークである。
MatPlotBenchは、100人の検証されたテストケースからなる高品質なベンチマークである。
論文 参考訳(メタデータ) (2024-02-18T04:28:28Z) - AttributionScanner: A Visual Analytics System for Metadata-Free
Data-Slicing Based Model Validation [31.19426148651238]
AttributionScannerは、データスライシングベースの機械学習(ML)モデルの検証用に設計されたビジュアル分析システムである。
提案手法は,説明可能なAI(XAI)技術を用いて抽出した説明可能な特徴を利用して,解釈可能なデータスライスを識別する。
我々のフレームワークは、最先端のニューラルネットワーク正規化技術を使用することで、ドメインエキスパートにモデル問題に対処する権限を与えることで、ML開発サイクルを閉じる。
論文 参考訳(メタデータ) (2024-01-12T09:17:32Z) - Towards Better Modeling with Missing Data: A Contrastive Learning-based
Visual Analytics Perspective [7.577040836988683]
データ不足は機械学習(ML)モデリングの課題となる可能性がある。
現在のアプローチは、特徴計算とラベル予測に分類される。
本研究は、観測データに欠落した値でモデル化するコントラスト学習フレームワークを提案する。
論文 参考訳(メタデータ) (2023-09-18T13:16:24Z) - VLSlice: Interactive Vision-and-Language Slice Discovery [17.8634551024147]
VLSliceは、一貫した視覚言語行動を伴うコヒーレントな表現レベルサブグループの発見を可能にする対話型システムである。
VLSliceは,ユーザの学習において多種多様な高一貫性スライスを迅速に生成し,ツールを一般公開することを可能にする。
論文 参考訳(メタデータ) (2023-09-13T04:02:38Z) - Discover, Explanation, Improvement: An Automatic Slice Detection
Framework for Natural Language Processing [72.14557106085284]
スライス検出モデル(SDM)は、データポイントの低パフォーマンスなグループを自動的に識別する。
本稿では,NLPタスクの分類のための "Discover, Explain, improve (DEIM)" というベンチマークを提案する。
評価の結果,Edisaは情報的セマンティックな特徴を持つ誤り発生データポイントを正確に選択できることがわかった。
論文 参考訳(メタデータ) (2022-11-08T19:00:00Z) - Mitigating Representation Bias in Action Recognition: Algorithms and
Benchmarks [76.35271072704384]
ディープラーニングモデルは、稀なシーンやオブジェクトを持つビデオに適用すると、パフォーマンスが悪くなります。
この問題にはアルゴリズムとデータセットの2つの異なる角度から対処する。
偏りのある表現は、他のデータセットやタスクに転送するとより一般化できることを示す。
論文 参考訳(メタデータ) (2022-09-20T00:30:35Z) - D-BIAS: A Causality-Based Human-in-the-Loop System for Tackling
Algorithmic Bias [57.87117733071416]
D-BIASは、人間のループ内AIアプローチを具現化し、社会的バイアスを監査し軽減する視覚対話型ツールである。
ユーザは、因果ネットワークにおける不公平な因果関係を識別することにより、グループに対する偏見の存在を検出することができる。
それぞれのインタラクション、例えばバイアスのある因果縁の弱体化/削除は、新しい(偏りのある)データセットをシミュレートするために、新しい方法を用いている。
論文 参考訳(メタデータ) (2022-08-10T03:41:48Z) - A Unified Comparison of User Modeling Techniques for Predicting Data
Interaction and Detecting Exploration Bias [17.518601254380275]
我々は,4つのユーザスタディデータセットの多種多様なセットにおいて,その性能に基づいて8つのユーザモデリングアルゴリズムを比較し,ランク付けする。
本研究は,ユーザインタラクションの分析と可視化のためのオープンな課題と新たな方向性を強調した。
論文 参考訳(メタデータ) (2022-08-09T19:51:10Z) - AdViCE: Aggregated Visual Counterfactual Explanations for Machine
Learning Model Validation [9.996986104171754]
我々は,ブラックボックスモデルデバッグとバリデーションでユーザをガイドすることを目的とした視覚分析ツールであるAdViCEを紹介する。
1) ユーザ定義データサブセットの意思決定の比較を可能にするインタラクティブな可視化,(2) 反現実的説明の計算と視覚化を行うアルゴリズムとビジュアルデザイン。
論文 参考訳(メタデータ) (2021-09-12T22:52:12Z) - A Variational Information Bottleneck Approach to Multi-Omics Data
Integration [98.6475134630792]
本稿では,不完全な多視点観測のための深い変動情報ボトルネック (IB) 手法を提案する。
本手法は,対象物に関連のある視点内および視点間相互作用に焦点をあてるために,観測された視点の辺縁および結合表現にISBフレームワークを適用した。
実世界のデータセットの実験から、我々の手法はデータ統合から常に利益を得て、最先端のベンチマークより優れています。
論文 参考訳(メタデータ) (2021-02-05T06:05:39Z) - Relation-Guided Representation Learning [53.60351496449232]
本稿では,サンプル関係を明示的にモデル化し,活用する表現学習手法を提案する。
私たちのフレームワークは、サンプル間の関係をよく保存します。
サンプルをサブスペースに埋め込むことにより,本手法が大規模なサンプル外問題に対処可能であることを示す。
論文 参考訳(メタデータ) (2020-07-11T10:57:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。