論文の概要: An Investigation of Critical Issues in Bias Mitigation Techniques

• arxiv url: http://arxiv.org/abs/2104.00170v1
• Date: Thu, 1 Apr 2021 00:14:45 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-03 07:13:50.642539
• Title: An Investigation of Critical Issues in Bias Mitigation Techniques
• Title（参考訳）: バイアス緩和手法における批判的課題の検討
• Authors: Robik Shrestha, Kushal Kafle and Christopher Kanan
• Abstract要約: 改良された評価プロトコル、有能なメトリクス、新しいデータセットを導入する。 同一ネットワークアーキテクチャを用いて7つの最先端アルゴリズムを評価する。 アルゴリズムは隠れバイアスを悪用し、複数の形式のバイアスにスケールできず、チューニングセットの選択に非常に敏感であることがわかった。
• 参考スコア（独自算出の注目度）: 41.733144652360714
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A critical problem in deep learning is that systems learn inappropriate biases, resulting in their inability to perform well on minority groups. This has led to the creation of multiple algorithms that endeavor to mitigate bias. However, it is not clear how effective these methods are. This is because study protocols differ among papers, systems are tested on datasets that fail to test many forms of bias, and systems have access to hidden knowledge or are tuned specifically to the test set. To address this, we introduce an improved evaluation protocol, sensible metrics, and a new dataset, which enables us to ask and answer critical questions about bias mitigation algorithms. We evaluate seven state-of-the-art algorithms using the same network architecture and hyperparameter selection policy across three benchmark datasets. We introduce a new dataset called Biased MNIST that enables assessment of robustness to multiple bias sources. We use Biased MNIST and a visual question answering (VQA) benchmark to assess robustness to hidden biases. Rather than only tuning to the test set distribution, we study robustness across different tuning distributions, which is critical because for many applications the test distribution may not be known during development. We find that algorithms exploit hidden biases, are unable to scale to multiple forms of bias, and are highly sensitive to the choice of tuning set. Based on our findings, we implore the community to adopt more rigorous assessment of future bias mitigation methods. All data, code, and results are publicly available at: https://github.com/erobic/bias-mitigators.
• Abstract（参考訳）: ディープラーニングにおける重要な問題は、システムが不適切なバイアスを学習し、マイノリティグループでうまく実行できないことだ。 これにより、バイアスを軽減するために複数のアルゴリズムが作成されました。 しかし,これらの手法がどの程度有効かは明らかでない。 これは、研究プロトコルが論文によって異なり、システムは多くの種類のバイアスをテストできないデータセット上でテストされ、システムは隠れた知識にアクセスしたり、特にテストセットに合わせてチューニングされるためである。 これに対処するために,改良された評価プロトコル,賢明なメトリクス,新たなデータセットを導入して,バイアス緩和アルゴリズムに関する重要な質問と回答を可能にします。 3つのベンチマークデータセットで同じネットワークアーキテクチャとハイパーパラメータ選択ポリシーを用いて、7つの最先端アルゴリズムを評価する。 我々は、複数のバイアス源に対するロバスト性の評価を可能にするBiased MNISTと呼ばれる新しいデータセットを導入する。 隠れバイアスに対するロバスト性を評価するために、Biased MNISTとVQAベンチマークを使用します。 テストセット分布をチューニングするだけでなく、異なるチューニング分布にまたがるロバスト性も研究している。 アルゴリズムは隠れバイアスを悪用し、複数の形式のバイアスにスケールできず、チューニングセットの選択に非常に敏感であることがわかった。 本研究は,今後のバイアス軽減手法のより厳密な評価をコミュニティに導入させるものである。 すべてのデータ、コード、結果は、https://github.com/erobic/bias-mitigatorsで公開されている。

関連論文リスト

• SMoA: Sparse Mixture of Adapters to Mitigate Multiple Dataset Biases [27.56143777363971]
  本稿では,複数のデータセットのバイアスを効果的かつ効率的に緩和できる分散混合適応器(SMOA)を提案する。 自然言語推論およびパラフレーズ識別タスクの実験は、SMoAがフルファインタニング、アダプタチューニングベースライン、および以前の強いデバイアス法よりも優れていることを示した。
  論文  参考訳（メタデータ） (2023-02-28T08:47:20Z)
• BiasBed -- Rigorous Texture Bias Evaluation [21.55506905780658]
  テクスチャとスタイルバイアスのトレーニングのためのテストベッドであるBiasBedを紹介した。 厳密な仮説テストが伴い、結果の意義を測る。 例えば、文献で提案されているいくつかのアルゴリズムは、スタイルバイアスの影響を著しく緩和しない。
  論文  参考訳（メタデータ） (2022-11-23T18:22:59Z)
• Whole Page Unbiased Learning to Rank [59.52040055543542]
  アンバイアスド・ラーニング・トゥ・ランク(ULTR)アルゴリズムは、バイアスド・クリックデータを用いたアンバイアスド・ランキングモデルを学ぶために提案される。 本稿では,BALというアルゴリズムをランク付けするバイアス非依存学習を提案する。 実世界のデータセットによる実験結果から,BALの有効性が検証された。
  論文  参考訳（メタデータ） (2022-10-19T16:53:08Z)
• Mitigating Representation Bias in Action Recognition: Algorithms and Benchmarks [76.35271072704384]
  ディープラーニングモデルは、稀なシーンやオブジェクトを持つビデオに適用すると、パフォーマンスが悪くなります。 この問題にはアルゴリズムとデータセットの2つの異なる角度から対処する。 偏りのある表現は、他のデータセットやタスクに転送するとより一般化できることを示す。
  論文  参考訳（メタデータ） (2022-09-20T00:30:35Z)
• D-BIAS: A Causality-Based Human-in-the-Loop System for Tackling Algorithmic Bias [57.87117733071416]
  D-BIASは、人間のループ内AIアプローチを具現化し、社会的バイアスを監査し軽減する視覚対話型ツールである。 ユーザは、因果ネットワークにおける不公平な因果関係を識別することにより、グループに対する偏見の存在を検出することができる。 それぞれのインタラクション、例えばバイアスのある因果縁の弱体化/削除は、新しい(偏りのある)データセットをシミュレートするために、新しい方法を用いている。
  論文  参考訳（メタデータ） (2022-08-10T03:41:48Z)
• Discover and Mitigate Unknown Biases with Debiasing Alternate Networks [42.89260385194433]
  本稿では,Debiasing Alternate Networks (DebiAN)を提案する。 DebiANは、発見者によって特定されるバイアスをアンラーニングすることを目的としている。 従来の研究では、偏りを1つのバイアスで評価するが、マルチカラーMNISTデータセットを作成し、複数のバイアスのベンチマーク緩和を改善する。
  論文  参考訳（メタデータ） (2022-07-20T17:59:51Z)
• Improving Evaluation of Debiasing in Image Classification [29.711865666774017]
  本研究は,画像分類におけるデバイアス評価を行う際には,いくつかの課題を解決する必要があることを示唆する。 このような問題に基づいて,チューニング基準に対する評価基準であるAlign-Conflict(AC)スコアを提案する。 われわれの発見と教訓は、未来の研究者に偏見を刺激し、最先端のパフォーマンスをさらに押し上げ、公正な比較を行うことを信じている。
  論文  参考訳（メタデータ） (2022-06-08T05:24:13Z)
• Unbiased Math Word Problems Benchmark for Mitigating Solving Bias [72.8677805114825]
  現在の問題解決者は、バイアス付きデータセットと不適切なトレーニング戦略によるデータバイアスと学習バイアスからなるバイアスを解決している。 実験により,MWP の解法は,すべての MWP の問題を多種多様な質問をカバーしないバイアス付きトレーニングデータセットにより容易にバイアスを受けられることを確認した。 MWPは複数の等価方程式によって自然に解けるが、現在のデータセットは1つの等価方程式のみを基底真理とする。
  論文  参考訳（メタデータ） (2022-05-17T06:07:04Z)
• Pseudo Bias-Balanced Learning for Debiased Chest X-ray Classification [57.53567756716656]
  本研究では, バイアスラベルを正確に把握せず, 脱バイアス胸部X線診断モデルの開発について検討した。 本稿では,まずサンプルごとのバイアスラベルをキャプチャし,予測する新しいアルゴリズム,擬似バイアスバランス学習を提案する。 提案手法は他の最先端手法よりも一貫した改善を実現した。
  論文  参考訳（メタデータ） (2022-03-18T11:02:18Z)
• Information-Theoretic Bias Reduction via Causal View of Spurious Correlation [71.9123886505321]
  本稿では,スプリアス相関の因果的解釈による情報理論バイアス測定手法を提案する。 本稿では,バイアス正規化損失を含むアルゴリズムバイアスに対する新しいデバイアスフレームワークを提案する。 提案したバイアス測定とデバイアス法は、多様な現実シナリオで検証される。
  論文  参考訳（メタデータ） (2022-01-10T01:19:31Z)
• Towards Learning an Unbiased Classifier from Biased Data via Conditional Adversarial Debiasing [17.113618920885187]
  本稿では,訓練画像のラベルに急激に結びついている特徴に対処する,新しい逆脱バイアス法を提案する。 我々は、上記の偏見に対する既存の手法よりも、我々のアプローチが優れているという数学的証明によって論じる。 実験の結果,本手法は猫や犬の実世界画像を用いたベンチマークデータセットにおいて,最先端技術よりも優れた性能を示すことがわかった。
  論文  参考訳（メタデータ） (2021-03-10T16:50:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。