論文の概要: Visual Auditor: Interactive Visualization for Detection and Summarization of Model Biases

• arxiv url: http://arxiv.org/abs/2206.12540v1
• Date: Sat, 25 Jun 2022 02:48:27 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-28 16:37:49.710824
• Title: Visual Auditor: Interactive Visualization for Detection and Summarization of Model Biases
• Title（参考訳）: Visual Auditor: モデルバイアスの検出と要約のためのインタラクティブな可視化
• Authors: David Munechika, Zijie J. Wang, Jack Reidy, Josh Rubin, Krishna Gade, Krishnaram Kenthapadi, Duen Horng Chau
• Abstract要約: 機械学習(ML)システムがますます普及するにつれて、これらのシステムをデプロイ前にバイアスとして監査する必要がある。 近年の研究では、データのサブセット(またはスライス)を解釈可能で過小評価する形で、交差点バイアスを効果的に識別するアルゴリズムが開発されている。 モデルバイアスを監査・要約するための対話型可視化ツールであるVisual Auditorを提案する。
• 参考スコア（独自算出の注目度）: 18.434430375939755
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As machine learning (ML) systems become increasingly widespread, it is necessary to audit these systems for biases prior to their deployment. Recent research has developed algorithms for effectively identifying intersectional bias in the form of interpretable, underperforming subsets (or slices) of the data. However, these solutions and their insights are limited without a tool for visually understanding and interacting with the results of these algorithms. We propose Visual Auditor, an interactive visualization tool for auditing and summarizing model biases. Visual Auditor assists model validation by providing an interpretable overview of intersectional bias (bias that is present when examining populations defined by multiple features), details about relationships between problematic data slices, and a comparison between underperforming and overperforming data slices in a model. Our open-source tool runs directly in both computational notebooks and web browsers, making model auditing accessible and easily integrated into current ML development workflows. An observational user study in collaboration with domain experts at Fiddler AI highlights that our tool can help ML practitioners identify and understand model biases.
• Abstract（参考訳）: 機械学習(ML)システムが普及するにつれて、これらのシステムをデプロイ前にバイアスとして監査する必要がある。 近年の研究では、データの解釈可能な部分集合(またはスライス)という形で、交叉バイアスを効果的に識別するアルゴリズムが開発されている。 しかしながら、これらの解とその洞察は、これらのアルゴリズムの結果を視覚的に理解し、相互作用するツールなしで制限されている。 モデルバイアスの監査と要約を行うインタラクティブな可視化ツールであるvisual auditorを提案する。 Visual Auditorは、交差バイアス(複数の特徴によって定義される人口を調べる際に存在するバイアス)の解釈可能な概要、問題のあるデータスライス間の関係の詳細、モデルにおける過度なパフォーマンスと過剰なパフォーマンスのデータスライスの比較を提供することで、モデルの検証を支援する。 私たちのオープンソースツールは計算ノートブックとWebブラウザの両方で直接動作し、モデル監査を現在のML開発ワークフローに容易に組み込むことができます。 fiddler aiのドメインエキスパートと共同で行った観察的ユーザスタディでは、このツールはml実践者がモデルのバイアスを識別し理解するのに役立ちます。

関連論文リスト

• LLM-assisted Explicit and Implicit Multi-interest Learning Framework for Sequential Recommendation [50.98046887582194]
  本研究では,ユーザの興味を2つのレベル – 行動と意味論 – でモデル化する,明示的で暗黙的な多目的学習フレームワークを提案する。 提案するEIMFフレームワークは,小型モデルとLLMを効果的に組み合わせ,多目的モデリングの精度を向上させる。
  論文  参考訳（メタデータ） (2024-11-14T13:00:23Z)
• Matchmaker: Self-Improving Large Language Model Programs for Schema Matching [60.23571456538149]
  本稿では,スキーママッチングのための合成言語モデルプログラムを提案する。 Matchmakerは、ラベル付きデモを必要とせずに、ゼロショットで自己改善する。 実証的に、Matchmakerが以前のMLベースのアプローチより優れている実世界の医療スキーママッチングベンチマークを実証する。
  論文  参考訳（メタデータ） (2024-10-31T16:34:03Z)
• On Discriminative Probabilistic Modeling for Self-Supervised Representation Learning [85.75164588939185]
  複数モーダルな)自己教師付き表現学習のための連続領域における識別確率モデル問題について検討する。 我々は、自己教師付き表現学習における現在のInfoNCEに基づくコントラスト損失の制限を明らかにするために一般化誤差解析を行う。
  論文  参考訳（メタデータ） (2024-10-11T18:02:46Z)
• MatPlotAgent: Method and Evaluation for LLM-Based Agentic Scientific Data Visualization [86.61052121715689]
  MatPlotAgentは、科学的データ可視化タスクを自動化するために設計された、モデルに依存しないフレームワークである。 MatPlotBenchは、100人の検証されたテストケースからなる高品質なベンチマークである。
  論文  参考訳（メタデータ） (2024-02-18T04:28:28Z)
• AttributionScanner: A Visual Analytics System for Model Validation with Metadata-Free Slice Finding [29.07617945233152]
  データスライス検索は、低パフォーマンスを示すデータセット内のサブグループを特定し解析することで、機械学習(ML)モデルを検証するための新興技術である。 このアプローチは、追加メタデータに対する退屈でコストのかかる要件を含む、重大な課題に直面します。 本稿では,メタデータを含まないデータスライス検索用に設計された,革新的なビジュアルアナリティクス(VA)システムであるAttributionScannerを紹介する。 本システムでは、一般的なモデル動作を含む解釈可能なデータスライスを特定し、属性モザイク設計によりこれらのパターンを可視化する。
  論文  参考訳（メタデータ） (2024-01-12T09:17:32Z)
• Towards Better Modeling with Missing Data: A Contrastive Learning-based Visual Analytics Perspective [7.577040836988683]
  データ不足は機械学習(ML)モデリングの課題となる可能性がある。 現在のアプローチは、特徴計算とラベル予測に分類される。 本研究は、観測データに欠落した値でモデル化するコントラスト学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-09-18T13:16:24Z)
• VLSlice: Interactive Vision-and-Language Slice Discovery [17.8634551024147]
  VLSliceは、一貫した視覚言語行動を伴うコヒーレントな表現レベルサブグループの発見を可能にする対話型システムである。 VLSliceは,ユーザの学習において多種多様な高一貫性スライスを迅速に生成し,ツールを一般公開することを可能にする。
  論文  参考訳（メタデータ） (2023-09-13T04:02:38Z)
• Discover, Explanation, Improvement: An Automatic Slice Detection Framework for Natural Language Processing [72.14557106085284]
  スライス検出モデル(SDM)は、データポイントの低パフォーマンスなグループを自動的に識別する。 本稿では,NLPタスクの分類のための "Discover, Explain, improve (DEIM)" というベンチマークを提案する。 評価の結果,Edisaは情報的セマンティックな特徴を持つ誤り発生データポイントを正確に選択できることがわかった。
  論文  参考訳（メタデータ） (2022-11-08T19:00:00Z)
• D-BIAS: A Causality-Based Human-in-the-Loop System for Tackling Algorithmic Bias [57.87117733071416]
  D-BIASは、人間のループ内AIアプローチを具現化し、社会的バイアスを監査し軽減する視覚対話型ツールである。 ユーザは、因果ネットワークにおける不公平な因果関係を識別することにより、グループに対する偏見の存在を検出することができる。 それぞれのインタラクション、例えばバイアスのある因果縁の弱体化/削除は、新しい(偏りのある)データセットをシミュレートするために、新しい方法を用いている。
  論文  参考訳（メタデータ） (2022-08-10T03:41:48Z)
• A Unified Comparison of User Modeling Techniques for Predicting Data Interaction and Detecting Exploration Bias [17.518601254380275]
  我々は,4つのユーザスタディデータセットの多種多様なセットにおいて,その性能に基づいて8つのユーザモデリングアルゴリズムを比較し,ランク付けする。 本研究は,ユーザインタラクションの分析と可視化のためのオープンな課題と新たな方向性を強調した。
  論文  参考訳（メタデータ） (2022-08-09T19:51:10Z)
• AdViCE: Aggregated Visual Counterfactual Explanations for Machine Learning Model Validation [9.996986104171754]
  我々は,ブラックボックスモデルデバッグとバリデーションでユーザをガイドすることを目的とした視覚分析ツールであるAdViCEを紹介する。 1) ユーザ定義データサブセットの意思決定の比較を可能にするインタラクティブな可視化,(2) 反現実的説明の計算と視覚化を行うアルゴリズムとビジュアルデザイン。
  論文  参考訳（メタデータ） (2021-09-12T22:52:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。