論文の概要: Fair Anomaly Detection For Imbalanced Groups
- arxiv url: http://arxiv.org/abs/2409.10951v1
- Date: Tue, 17 Sep 2024 07:38:45 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-18 17:38:43.623603
- Title: Fair Anomaly Detection For Imbalanced Groups
- Title(参考訳): 不均衡群に対する公平な異常検出
- Authors: Ziwei Wu, Lecheng Zheng, Yuancheng Yu, Ruizhong Qiu, John Birge, Jingrui He,
- Abstract要約: 不均衡シナリオを対象としたフェアネスを考慮した異常検出手法であるFairADを提案する。
フェアネスを意識したコントラスト学習モジュールと、フェアネスを確保し、不均衡なデータ問題に対処するリバランシングオートエンコーダモジュールで構成されている。
- 参考スコア(独自算出の注目度): 33.578902826744255
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Anomaly detection (AD) has been widely studied for decades in many real-world applications, including fraud detection in finance, and intrusion detection for cybersecurity, etc. Due to the imbalanced nature between protected and unprotected groups and the imbalanced distributions of normal examples and anomalies, the learning objectives of most existing anomaly detection methods tend to solely concentrate on the dominating unprotected group. Thus, it has been recognized by many researchers about the significance of ensuring model fairness in anomaly detection. However, the existing fair anomaly detection methods tend to erroneously label most normal examples from the protected group as anomalies in the imbalanced scenario where the unprotected group is more abundant than the protected group. This phenomenon is caused by the improper design of learning objectives, which statistically focus on learning the frequent patterns (i.e., the unprotected group) while overlooking the under-represented patterns (i.e., the protected group). To address these issues, we propose FairAD, a fairness-aware anomaly detection method targeting the imbalanced scenario. It consists of a fairness-aware contrastive learning module and a rebalancing autoencoder module to ensure fairness and handle the imbalanced data issue, respectively. Moreover, we provide the theoretical analysis that shows our proposed contrastive learning regularization guarantees group fairness. Empirical studies demonstrate the effectiveness and efficiency of FairAD across multiple real-world datasets.
- Abstract(参考訳): 異常検出(AD)は、金融における不正検出やサイバーセキュリティの侵入検出など、現実の多くのアプリケーションで数十年にわたって広く研究されてきた。
保護された群と保護されていない群との間の不均衡の性質と、通常の例と異常の非均衡分布のため、既存のほとんどの異常検出手法の学習目的は、支配されていない群にのみ集中する傾向にある。
このように、多くの研究者が、異常検出におけるモデルフェアネスの確保の重要性について認識している。
しかしながら、既存の公正な異常検出法は、保護群よりも保護群が豊富である不均衡なシナリオにおいて、保護群からのほとんどの正常な例を異常にラベル付けする傾向にある。
この現象は、頻繁なパターン(すなわち保護されていないグループ)の学習に統計的に焦点を合わせながら、表現されていないパターン(すなわち保護されていないグループ)を見渡すという、学習目的の不適切な設計によって引き起こされる。
これらの問題に対処するため,不均衡シナリオを対象としたフェアネス対応異常検出手法であるFairADを提案する。
フェアネスを意識したコントラスト学習モジュールと、フェアネスを確保し、不均衡なデータ問題に対処するリバランシングオートエンコーダモジュールで構成されている。
さらに,提案したコントラスト学習規則化がグループフェアネスを保証していることを示す理論解析を行った。
実証的研究は、複数の実世界のデータセットにおけるFairADの有効性と効率を実証している。
関連論文リスト
- FedAD-Bench: A Unified Benchmark for Federated Unsupervised Anomaly Detection in Tabular Data [11.42231457116486]
FedAD-Benchは、フェデレート学習の文脈における教師なし異常検出アルゴリズムを評価するためのベンチマークである。
モデル集約の非効率性やメトリクスの不確実性といった重要な課題を特定します。
本研究は,フェデレートされた異常検出における今後の研究・開発を導くための標準化されたベンチマークを確立することを目的としている。
論文 参考訳(メタデータ) (2024-08-08T13:14:19Z) - Thinking Racial Bias in Fair Forgery Detection: Models, Datasets and Evaluations [63.52709761339949]
最初に、Fair Forgery Detection(FairFD)データセットと呼ばれる専用のデータセットをコントリビュートし、SOTA(Public State-of-the-art)メソッドの人種的偏見を証明する。
我々は、偽りの結果を避けることができる平均的メトリクスと実用正規化メトリクスを含む新しいメトリクスを設計する。
また,有効で堅牢な後処理技術であるBias Pruning with Fair Activations (BPFA)も提案する。
論文 参考訳(メタデータ) (2024-07-19T14:53:18Z) - Anomaly Detection by Context Contrasting [57.695202846009714]
異常検出は、標準から逸脱するサンプルを特定することに焦点を当てる。
近年の自己教師型学習の進歩は、この点において大きな可能性を秘めている。
我々はコンテキスト拡張を通じて学習するCon$を提案する。
論文 参考訳(メタデータ) (2024-05-29T07:59:06Z) - Fairness Without Harm: An Influence-Guided Active Sampling Approach [32.173195437797766]
我々は、モデルの精度に害を与えることなく、グループフェアネスの格差を軽減するモデルを訓練することを目指している。
公正なアクティブな学習アプローチのような現在のデータ取得方法は、通常、アノテートセンシティブな属性を必要とする。
トレーニンググループアノテーションに依存しない抽出可能なアクティブデータサンプリングアルゴリズムを提案する。
論文 参考訳(メタデータ) (2024-02-20T07:57:38Z) - Achieving Counterfactual Fairness for Anomaly Detection [20.586768167592112]
本稿では,2つの相,反実データ生成と公正な異常検出からなる,反実的公正な異常検出(CFAD)フレームワークを提案する。
合成データセットと2つの実データセットの実験結果から、CFADは異常を効果的に検出し、反ファクト的公正性を確保することができることが示された。
論文 参考訳(メタデータ) (2023-03-04T04:45:12Z) - Measuring Fairness Under Unawareness of Sensitive Attributes: A
Quantification-Based Approach [131.20444904674494]
センシティブな属性の無意識下でのグループフェアネスを測定する問題に取り組む。
定量化手法は, フェアネスと無意識の問題に対処するのに特に適していることを示す。
論文 参考訳(メタデータ) (2021-09-17T13:45:46Z) - Explainable Deep Few-shot Anomaly Detection with Deviation Networks [123.46611927225963]
本稿では,弱い教師付き異常検出フレームワークを導入し,検出モデルを訓練する。
提案手法は,ラベル付き異常と事前確率を活用することにより,識別正規性を学習する。
我々のモデルはサンプル効率が高く頑健であり、クローズドセットとオープンセットの両方の設定において最先端の競合手法よりもはるかに優れている。
論文 参考訳(メタデータ) (2021-08-01T14:33:17Z) - Deep Clustering based Fair Outlier Detection [19.601280507914325]
本稿では,統合深層クラスタリングと外乱検出を強化するために,インスタンスレベルの重み付き表現学習戦略を提案する。
我々のDCFOD法は, 異常検出において, 異常検出の妥当性と2種類のフェアネス概念の両面において, 常に優れた性能を達成している。
論文 参考訳(メタデータ) (2021-06-09T15:12:26Z) - Exploring Robustness of Unsupervised Domain Adaptation in Semantic
Segmentation [74.05906222376608]
クリーンな画像とそれらの逆の例との一致を、出力空間における対照的な損失によって最大化する、逆向きの自己スーパービジョンUDA(ASSUDA)を提案する。
i) セマンティックセグメンテーションにおけるUDA手法のロバスト性は未解明のままであり, (ii) 一般的に自己スーパービジョン(回転やジグソーなど) は分類や認識などのイメージタスクに有効であるが, セグメンテーションタスクの識別的表現を学習する重要な監視信号の提供には失敗している。
論文 参考訳(メタデータ) (2021-05-23T01:50:44Z) - Unfairness Discovery and Prevention For Few-Shot Regression [9.95899391250129]
歴史データの識別(あるいは偏見)に敏感な教師付き数発メタラーニングモデルの公平性について検討する。
偏りのあるデータに基づいてトレーニングされた機械学習モデルは、少数グループのユーザに対して不公平な予測を行う傾向がある。
論文 参考訳(メタデータ) (2020-09-23T22:34:06Z) - Deep Weakly-supervised Anomaly Detection [118.55172352231381]
ペアワイズ関係予測ネットワーク(PReNet)は、ペアワイズ関係の特徴と異常スコアを学習する。
PReNetは、学習したペアの異常パターンに適合する見知らぬ異常を検出できる。
12の実世界のデータセットに対する実証的な結果から、PReNetは目に見えない異常や異常を検知する9つの競合する手法を著しく上回っている。
論文 参考訳(メタデータ) (2019-10-30T00:40:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。