論文の概要: Enhancing Robust Fairness via Confusional Spectral Regularization
- arxiv url: http://arxiv.org/abs/2501.13273v1
- Date: Wed, 22 Jan 2025 23:32:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-24 15:57:46.550754
- Title: Enhancing Robust Fairness via Confusional Spectral Regularization
- Title（参考訳）: 融合スペクトル正則化によるロバスト公正化
- Authors: Gaojie Jin, Sihao Wu, Jiaxu Liu, Tianjin Huang, Ronghui Mu,
- Abstract要約: PAC-Bayesian フレームワーク内の最悪のクラスにおけるロバストなエラーに対して、ロバストな一般化を導出する。
本稿では,最低級のロバストな精度を向上し,ロバストな公正性を向上する新たな正則化手法を提案する。
- 参考スコア（独自算出の注目度）: 6.041034366572273
- License:
- Abstract: Recent research has highlighted a critical issue known as ``robust fairness", where robust accuracy varies significantly across different classes, undermining the reliability of deep neural networks (DNNs). A common approach to address this has been to dynamically reweight classes during training, giving more weight to those with lower empirical robust performance. However, we find there is a divergence of class-wise robust performance between training set and testing set, which limits the effectiveness of these explicit reweighting methods, indicating the need for a principled alternative. In this work, we derive a robust generalization bound for the worst-class robust error within the PAC-Bayesian framework, accounting for unknown data distributions. Our analysis shows that the worst-class robust error is influenced by two main factors: the spectral norm of the empirical robust confusion matrix and the information embedded in the model and training set. While the latter has been extensively studied, we propose a novel regularization technique targeting the spectral norm of the robust confusion matrix to improve worst-class robust accuracy and enhance robust fairness. We validate our approach through comprehensive experiments on various datasets and models, demonstrating its effectiveness in enhancing robust fairness.
- Abstract（参考訳）: 最近の研究では、"robust fairness"と呼ばれる重要な課題が浮かび上がっており、さまざまなクラスで堅牢な精度が著しく変化し、ディープニューラルネットワーク(DNN)の信頼性が損なわれている。
これに対処するための一般的なアプローチは、トレーニング中に動的にクラスをリウェイトすることであり、経験的ロバストなパフォーマンスの低いクラスにより多くの重みを与える。
しかし、これらの明示的な再重み付け手法の有効性を制限し、原則的な代替手段の必要性を示唆する訓練セットとテストセットの間には、クラスレベルでの堅牢なパフォーマンスの相違があることが判明した。
本研究では、未知のデータ分布を考慮に入れたPAC-Bayesianフレームワークにおいて、最悪のクラスであるロバストなエラーに対して、ロバストな一般化を導出する。
分析の結果,最悪級のロバスト誤差は,経験的ロバスト混乱行列のスペクトルノルムと,モデルに埋め込まれた情報とトレーニングセットの2つの要因に影響されていることがわかった。
後者は広範に研究されているが, 乱雑行列のスペクトルノルムを目標とした新たな正則化手法を提案し, 最悪級の頑健な精度を向上し, 頑健な公正性を高める。
我々は、様々なデータセットやモデルに関する総合的な実験を通じてアプローチを検証し、堅牢な公正性を高める上での有効性を実証する。
関連論文リスト
- On the KL-Divergence-based Robust Satisficing Model [2.425685918104288]
頑丈さを満足させる枠組みは 学界から注目を集めています
本稿では,解析的解釈,多様な性能保証,効率的で安定した数値法,収束解析,階層型データ構造に適した拡張について述べる。
我々は、最先端のベンチマークと比較して、モデルの性能が優れていることを実証する。
論文 参考訳（メタデータ） (2024-08-17T10:05:05Z) - Towards Fairness-Aware Adversarial Learning [13.932705960012846]
フェアネス・アウェア・アドバーサリアル・ラーニング(FAAL)という新しい学習パラダイムを提案する。
提案手法は,異なるカテゴリ間で最悪の分布を求めることを目的としており,高い確率で上界性能が得られることを保証している。
特にFAALは、不公平なロバストモデルを2つのエポックで公平に調整できるが、全体的なクリーンで堅牢なアキュラシーを損なうことはない。
論文 参考訳（メタデータ） (2024-02-27T18:01:59Z) - The Risk of Federated Learning to Skew Fine-Tuning Features and
Underperform Out-of-Distribution Robustness [50.52507648690234]
フェデレートされた学習は、微調整された特徴をスキイングし、モデルの堅牢性を損なうリスクがある。
3つのロバスト性指標を導入し、多様なロバストデータセットで実験を行う。
提案手法は,パラメータ効率のよい微調整手法を含む多種多様なシナリオにまたがるロバスト性を著しく向上させる。
論文 参考訳（メタデータ） (2024-01-25T09:18:51Z) - Binary Classification with Confidence Difference [100.08818204756093]
本稿では,信頼性差分法 (ConfDiff) という,弱教師付き二項分類問題について考察する。
本稿では,この問題に対処するためのリスク一貫性のあるアプローチを提案し,推定誤差が最適収束率と一致することを示す。
また,整合性や収束率も証明されたオーバーフィッティング問題を緩和するためのリスク補正手法も導入する。
論文 参考訳（メタデータ） (2023-10-09T11:44:50Z) - Doubly Robust Instance-Reweighted Adversarial Training [107.40683655362285]
本稿では,2重のインスタンス再重み付き対向フレームワークを提案する。
KL偏差正規化損失関数の最適化により重みを求める。
提案手法は, 平均ロバスト性能において, 最先端のベースライン法よりも優れた性能を示す。
論文 参考訳（メタデータ） (2023-08-01T06:16:18Z) - TWINS: A Fine-Tuning Framework for Improved Transferability of
Adversarial Robustness and Generalization [89.54947228958494]
本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。
本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。
TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
論文 参考訳（メタデータ） (2023-03-20T14:12:55Z) - Uncertainty Estimation by Fisher Information-based Evidential Deep
Learning [61.94125052118442]
不確実性推定は、ディープラーニングを実用アプリケーションで信頼できるものにする鍵となる要素である。
漁業情報に基づくエビデンシャルディープラーニング(mathcalI$-EDL)を提案する。
特に,各サンプルが有する証拠の情報量を測定するためにFisher Information Matrix (FIM)を導入し,目的的損失項を動的に重み付けし,不確実なクラスの表現学習に集中させる。
論文 参考訳（メタデータ） (2023-03-03T16:12:59Z) - Learning Sample Reweighting for Accuracy and Adversarial Robustness [15.591611864928659]
本稿では,クラス条件付きマージンの概念に基づいて,個々のトレーニングサンプルによる損失の軽減を学習する,新たな逆トレーニングフレームワークを提案する。
我々の手法は、関連する手法や最先端のベースラインと比較して、クリーンかつ堅牢な精度を一貫して改善する。
論文 参考訳（メタデータ） (2022-10-20T18:25:11Z) - Robustness and Accuracy Could Be Reconcilable by (Proper) Definition [109.62614226793833]
強靭性と精度のトレードオフは、敵文学において広く研究されている。
局所的不変性の帰納的バイアスを課す不適切に定義された頑健な誤差に由来する可能性がある。
定義上、SCOREは、最悪のケースの不確実性に対処しながら、堅牢性と正確性の間の和解を促進する。
論文 参考訳（メタデータ） (2022-02-21T10:36:09Z) - Adversarial Robustness via Fisher-Rao Regularization [33.134075068748984]
適応的堅牢性は、機械学習への関心の高まりのトピックとなっている。
火はカテゴリーのクロスエントロピー損失に対する新しいフィッシャー・ラオ正規化である。
論文 参考訳（メタデータ） (2021-06-12T04:12:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。