論文の概要: Improving Evaluation of Debiasing in Image Classification

• arxiv url: http://arxiv.org/abs/2206.03680v2
• Date: Fri, 14 Apr 2023 02:57:40 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-17 17:13:44.979955
• Title: Improving Evaluation of Debiasing in Image Classification
• Title（参考訳）: 画像分類におけるデバイアス評価の改善
• Authors: Jungsoo Lee, Juyoung Lee, Sanghun Jung, Jaegul Choo
• Abstract要約: 本研究は,画像分類におけるデバイアス評価を行う際には,いくつかの課題を解決する必要があることを示唆する。 このような問題に基づいて,チューニング基準に対する評価基準であるAlign-Conflict(AC)スコアを提案する。 われわれの発見と教訓は、未来の研究者に偏見を刺激し、最先端のパフォーマンスをさらに押し上げ、公正な比較を行うことを信じている。
• 参考スコア（独自算出の注目度）: 29.711865666774017
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Image classifiers often rely overly on peripheral attributes that have a strong correlation with the target class (i.e., dataset bias) when making predictions. Due to the dataset bias, the model correctly classifies data samples including bias attributes (i.e., bias-aligned samples) while failing to correctly predict those without bias attributes (i.e., bias-conflicting samples). Recently, a myriad of studies focus on mitigating such dataset bias, the task of which is referred to as debiasing. However, our comprehensive study indicates several issues need to be improved when conducting evaluation of debiasing in image classification. First, most of the previous studies do not specify how they select their hyper-parameters and model checkpoints (i.e., tuning criterion). Second, the debiasing studies until now evaluated their proposed methods on datasets with excessively high bias-severities, showing degraded performance on datasets with low bias severity. Third, the debiasing studies do not share consistent experimental settings (e.g., datasets and neural networks) which need to be standardized for fair comparisons. Based on such issues, this paper 1) proposes an evaluation metric `Align-Conflict (AC) score' for the tuning criterion, 2) includes experimental settings with low bias severity and shows that they are yet to be explored, and 3) unifies the standardized experimental settings to promote fair comparisons between debiasing methods. We believe that our findings and lessons inspire future researchers in debiasing to further push state-of-the-art performances with fair comparisons.
• Abstract（参考訳）: 画像分類器は、予測を行う際にターゲットクラス(すなわちデータセットバイアス)と強い相関を持つ周辺属性に依存することが多い。 データセットバイアスのため、モデルはバイアス属性(バイアス整合サンプル)を含むデータサンプルを正しく分類し、バイアス属性のないサンプル(バイアス整合サンプル)を正しく予測することができない。 近年、数多くの研究が、デバイアス(debiasing)と呼ばれるそのようなデータセットバイアスの軽減に焦点を当てている。 しかし,画像分類における偏りの評価を行う際には,いくつかの問題点が指摘される。 まず、以前の研究のほとんどはハイパーパラメータとモデルチェックポイント(チューニング基準)をどのように選択するかを規定していない。 第2に,現在までのデバイアス研究は,偏りが過度に高いデータセットにおける提案手法を評価し,バイアスの重大度の低いデータセットにおける劣化性能を示した。 第三に、デバイアス研究は、公正な比較のために標準化する必要がある一貫した実験的な設定(データセットやニューラルネットワークなど)を共有しない。 このような問題から本論文は 1) チューニング基準のための評価基準「align-conflict (ac) score」を提案する。 2)バイアスの深刻度が低い実験的な設定を含み,まだ検討されていないことを示す。 3) 標準化された実験環境を統一し, 脱バイアス法との公正な比較を促進する。 われわれの発見と教訓は、未来の研究者に偏見を刺激し、最先端のパフォーマンスをさらに押し上げ、公正な比較を行うことを信じている。

関連論文リスト

• Enhancing Intrinsic Features for Debiasing via Investigating Class-Discerning Common Attributes in Bias-Contrastive Pair [36.221761997349795]
  ディープニューラルネットワークは、データセットバイアスの存在下でターゲットクラスと急激な相関を持つバイアス特性に依存している。 本稿では,本質的特徴の領域を示す空間的指示を明示的に提示する手法を提案する。 実験により, 種々のバイアス重大度を有する合成および実世界のデータセットに対して, 最先端の性能を達成できることが実証された。
  論文  参考訳（メタデータ） (2024-04-30T04:13:14Z)
• Revisiting the Dataset Bias Problem from a Statistical Perspective [72.94990819287551]
  統計的観点から「データセットバイアス」問題を考察する。 問題の主な原因は、クラス属性 u と非クラス属性 b の強い相関関係である。 本稿では,各試料nの目的をフラクタル1p(u_n|b_n)で重み付けするか,その試料をフラクタル1p(u_n|b_n)に比例してサンプリングすることにより,データセットバイアスを軽減することを提案する。
  論文  参考訳（メタデータ） (2024-02-05T22:58:06Z)
• Medical Image Debiasing by Learning Adaptive Agreement from a Biased Council [8.530912655468645]
  ディープラーニングは、データセットバイアスによって得られたショートカットを学習する傾向があります。 その重要性にもかかわらず、データセットバイアスに対処する医療画像分類領域では、多くの研究が行われている。 本稿では,バイアスラベルに依存しないバイアス緩和フレームワークであるバイアスド・カウンシル(Ada-ABC)からの学習適応合意を提案する。
  論文  参考訳（メタデータ） (2024-01-22T06:29:52Z)
• Causality and Independence Enhancement for Biased Node Classification [56.38828085943763]
  各種グラフニューラルネットワーク(GNN)に適用可能な新しい因果性・独立性向上(CIE)フレームワークを提案する。 提案手法は,ノード表現レベルでの因果的特徴と突発的特徴を推定し,突発的相関の影響を緩和する。 我々のアプローチCIEは、GNNの性能を大幅に向上するだけでなく、最先端の debiased ノード分類法よりも優れています。
  論文  参考訳（メタデータ） (2023-10-14T13:56:24Z)
• Echoes: Unsupervised Debiasing via Pseudo-bias Labeling in an Echo Chamber [17.034228910493056]
  本稿では,既存のバイアスモデルがトレーニングデータにおけるバイアス強調サンプルに過度に適合していることを明らかにする実験的検討を行った。 本研究では、バイアスモデルとターゲットモデルを異なる戦略で訓練するEchoesという、単純で効果的な手法を提案する。 提案手法は,既存の合成データセットと実世界のデータセットのベースラインと比較して,優れたデバイアス化結果が得られる。
  論文  参考訳（メタデータ） (2023-05-06T13:13:18Z)
• Feature-Level Debiased Natural Language Understanding [86.8751772146264]
  既存の自然言語理解(NLU)モデルは、特定のデータセットで高いパフォーマンスを達成するために、データセットバイアスに依存することが多い。 本稿では, バイアスの潜在特性を緩和し, バイアスの動的性質を無視するために, DCT(Debiasing contrastive learning)を提案する。 DCTは、ディストリビューション内のパフォーマンスを維持しながら、アウトオブディストリビューションデータセットの最先端のベースラインを上回ります。
  論文  参考訳（メタデータ） (2022-12-11T06:16:14Z)
• Systematic Evaluation of Predictive Fairness [60.0947291284978]
  バイアス付きデータセットのトレーニングにおけるバイアスの緩和は、重要なオープンな問題である。 複数のタスクにまたがる様々なデバイアス化手法の性能について検討する。 データ条件が相対モデルの性能に強い影響を与えることがわかった。
  論文  参考訳（メタデータ） (2022-10-17T05:40:13Z)
• Pseudo Bias-Balanced Learning for Debiased Chest X-ray Classification [57.53567756716656]
  本研究では, バイアスラベルを正確に把握せず, 脱バイアス胸部X線診断モデルの開発について検討した。 本稿では,まずサンプルごとのバイアスラベルをキャプチャし,予測する新しいアルゴリズム,擬似バイアスバランス学習を提案する。 提案手法は他の最先端手法よりも一貫した改善を実現した。
  論文  参考訳（メタデータ） (2022-03-18T11:02:18Z)
• General Greedy De-bias Learning [163.65789778416172]
  本稿では,関数空間における勾配降下のような偏りのあるモデルとベースモデルを優雅に訓練する一般グリーディ・デバイアス学習フレームワーク(GGD)を提案する。 GGDは、事前知識を持つタスク固有バイアスモデルと、事前知識を持たない自己アンサンブルバイアスモデルの両方の設定の下で、より堅牢なベースモデルを学ぶことができる。
  論文  参考訳（メタデータ） (2021-12-20T14:47:32Z)
• Learning Debiased Models with Dynamic Gradient Alignment and Bias-conflicting Sample Mining [39.00256193731365]
  ディープニューラルネットワークは、堅牢性、一般化、公正性をモデル化するのに有害なデータセットバイアスに悩まされている。 難解な未知のバイアスと戦うための2段階のデバイアス方式を提案する。
  論文  参考訳（メタデータ） (2021-11-25T14:50:10Z)
• Learning Debiased Representation via Disentangled Feature Augmentation [19.348340314001756]
  本稿では, 様々なバイアスを伴うサンプルを用いたトレーニングが, 脱バイアスに不可欠であることを示す実験的検討を行った。 本稿では, 多様なバイアス分散サンプルを合成するために, 特徴レベルのデータ拡張手法を提案する。
  論文  参考訳（メタデータ） (2021-07-03T08:03:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。