論文の概要: Visual Identification of Problematic Bias in Large Label Spaces
- arxiv url: http://arxiv.org/abs/2201.06386v1
- Date: Mon, 17 Jan 2022 12:51:08 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-20 10:56:36.902682
- Title: Visual Identification of Problematic Bias in Large Label Spaces
- Title（参考訳）: 大ラベル空間における問題バイアスの視覚的同定
- Authors: Alex B\"auerle, Aybuke Gul Turker, Ken Burke, Osman Aka, Timo
Ropinski, Christina Greer, and Mani Varadarajan
- Abstract要約: 共通公平度メトリクスを現代的なモデルやデータセットに拡張する上での課題は、徹底的な真実ラベルの必要性である。
ドメインの専門家は、モデルやデータセット全体にわたってバイアスを抽出し、推論し、情報的な決定をする必要がある。
技術的・倫理的問題を考慮し,このような大規模ラベル空間の可視化設計ガイドラインを提案する。
- 参考スコア（独自算出の注目度）: 5.841861400363261
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: While the need for well-trained, fair ML systems is increasing ever more,
measuring fairness for modern models and datasets is becoming increasingly
difficult as they grow at an unprecedented pace. One key challenge in scaling
common fairness metrics to such models and datasets is the requirement of
exhaustive ground truth labeling, which cannot always be done. Indeed, this
often rules out the application of traditional analysis metrics and systems. At
the same time, ML-fairness assessments cannot be made algorithmically, as
fairness is a highly subjective matter. Thus, domain experts need to be able to
extract and reason about bias throughout models and datasets to make informed
decisions. While visual analysis tools are of great help when investigating
potential bias in DL models, none of the existing approaches have been designed
for the specific tasks and challenges that arise in large label spaces.
Addressing the lack of visualization work in this area, we propose guidelines
for designing visualizations for such large label spaces, considering both
technical and ethical issues. Our proposed visualization approach can be
integrated into classical model and data pipelines, and we provide an
implementation of our techniques open-sourced as a TensorBoard plug-in. With
our approach, different models and datasets for large label spaces can be
systematically and visually analyzed and compared to make informed fairness
assessments tackling problematic bias.
- Abstract（参考訳）: 十分に訓練された公正なmlシステムの必要性はますます高まっているが、現代のモデルやデータセットの公平性を測定することは、前例のないペースで成長するにつれてますます難しくなっている。
このようなモデルやデータセットに共通フェアネスメトリクスをスケールする上での鍵となる課題のひとつは、徹底的な基底真理ラベリングの要件である。
実際、これはしばしば従来の分析メトリクスやシステムの適用を除外します。
同時に、公平性は極めて主観的な問題であるため、mlフェアネス評価をアルゴリズム的に行うことはできない。
したがって、ドメインの専門家は、モデルやデータセット全体を通してバイアスを抽出し、推論し、情報的な決定を行う必要があります。
ビジュアル分析ツールはDLモデルの潜在的なバイアスを調査するのに非常に役立ちますが、既存のアプローチは大きなラベル空間で発生する特定のタスクや課題のために設計されていません。
この領域における可視化作業の欠如に対処し、技術的・倫理的問題を考慮し、このような大きなラベル空間の可視化を設計するためのガイドラインを提案する。
提案する可視化手法は,従来のモデルやデータパイプラインに組み込むことができ,オープンソースのTensorBoardプラグインとして実装されている。
提案手法では,大規模ラベル空間の異なるモデルとデータセットを系統的・視覚的に解析し,問題バイアスに対処するための情報的公正度評価を行う。
関連論文リスト
- Understanding trade-offs in classifier bias with quality-diversity optimization: an application to talent management [2.334978724544296]
公正なAIモデルを開発する上での大きな課題は、そのようなモデルをトレーニングする上で利用可能なデータのバイアスにある。
本稿では,データセットに固有のバイアスを可視化し,公平性と正確性の間の潜在的なトレードオフを理解する方法を提案する。
論文 参考訳（メタデータ） (2024-11-25T22:14:02Z) - Thinking Racial Bias in Fair Forgery Detection: Models, Datasets and Evaluations [63.52709761339949]
最初に、Fair Forgery Detection(FairFD)データセットと呼ばれる専用のデータセットをコントリビュートし、SOTA(Public State-of-the-art)メソッドの人種的偏見を証明する。
我々は、偽りの結果を避けることができる平均的メトリクスと実用正規化メトリクスを含む新しいメトリクスを設計する。
また,有効で堅牢な後処理技術であるBias Pruning with Fair Activations (BPFA)も提案する。
論文 参考訳（メタデータ） (2024-07-19T14:53:18Z) - Data-efficient Large Vision Models through Sequential Autoregression [58.26179273091461]
限られたデータセットに基づいて,効率的な自己回帰に基づく視覚モデルを構築する。
このモデルは,高レベル・低レベルのセマンティック理解の両方にまたがる視覚的タスクにおいて,その習熟度をいかに達成するかを実証する。
我々の経験的評価は、モデルが様々なタスクに適応する際の機敏さを強調し、パラメータフットプリントの大幅な削減を図った。
論文 参考訳（メタデータ） (2024-02-07T13:41:53Z) - Fast Model Debias with Machine Unlearning [54.32026474971696]
ディープニューラルネットワークは多くの現実世界のシナリオでバイアスのある振る舞いをする。
既存のデバイアス法は、バイアスラベルやモデル再トレーニングのコストが高い。
バイアスを特定し,評価し,除去するための効率的なアプローチを提供する高速モデル脱バイアスフレームワーク(FMD)を提案する。
論文 参考訳（メタデータ） (2023-10-19T08:10:57Z) - Fairness meets Cross-Domain Learning: a new perspective on Models and
Metrics [80.07271410743806]
クロスドメイン学習(CD)とモデルフェアネスの関係について検討する。
いくつかの人口集団にまたがる顔画像と医療画像のベンチマークと、分類とローカライゼーションタスクについて紹介する。
本研究は,3つの最先端フェアネスアルゴリズムとともに,14のCDアプローチをカバーし,前者が後者に勝ることを示す。
論文 参考訳（メタデータ） (2023-03-25T09:34:05Z) - Debiasing Vision-Language Models via Biased Prompts [79.04467131711775]
本稿では,テキスト埋め込みにおけるバイアスのある方向を投影することで,視覚言語基盤モデルを疎外する一般的な手法を提案する。
偏平投影行列を組み込んだテキストのみをデバイアスすることで、ロバストな分類器と公正な生成モデルが得られることを示す。
論文 参考訳（メタデータ） (2023-01-31T20:09:33Z) - Rethinking Bias Mitigation: Fairer Architectures Make for Fairer Face
Recognition [107.58227666024791]
顔認識システムは、法執行を含む安全クリティカルなアプリケーションに広くデプロイされている。
彼らは、性別や人種など、様々な社会的デデノグラフィー次元に偏見を示す。
バイアス軽減に関するこれまでの研究は、主にトレーニングデータの事前処理に重点を置いていた。
論文 参考訳（メタデータ） (2022-10-18T15:46:05Z) - Semi-supervised Deep Learning for Image Classification with Distribution
Mismatch: A Survey [1.5469452301122175]
ディープラーニングモデルは、予測モデルをトレーニングするためにラベル付き観測の豊富な部分に依存します。
ラベル付きデータ観測を収集することは高価であり、ディープラーニングモデルの使用は理想的ではない。
多くの状況では、異なる非競合データソースが利用可能である。
これにより、ラベル付きデータセットと非ラベル付きデータセットの間にかなりの分散ミスマッチが発生するリスクが生じる。
論文 参考訳（メタデータ） (2022-03-01T02:46:00Z) - LiFT: A Scalable Framework for Measuring Fairness in ML Applications [18.54302159142362]
本稿では、大規模なMLシステムの一部として、フェアネスメトリクスのスケーラブルな計算のためのフレームワークであるLinkedIn Fairness Toolkit(LiFT)を紹介する。
フェアネスツールを実際に導入する際の課題と、LinkedInでのデプロイメント中に学んだ教訓について論じる。
論文 参考訳（メタデータ） (2020-08-14T03:55:31Z) - Learning from Imperfect Annotations [15.306536555936692]
現在、多くの機械学習システムは、大量の人間の注釈付きデータに基づいて訓練されている。
モデルトレーニングとアグリゲーションステップをマージすることを可能にする新しいエンドツーエンドフレームワークを提案する。
アノテーションを集約する現在の最先端アプローチに比べて、精度が最大25%向上していることを示す。
論文 参考訳（メタデータ） (2020-04-07T15:21:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。