論文の概要: Towards Fair Class-wise Robustness: Class Optimal Distribution Adversarial Training
- arxiv url: http://arxiv.org/abs/2501.04527v1
- Date: Wed, 08 Jan 2025 14:19:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-09 14:56:30.906293
- Title: Towards Fair Class-wise Robustness: Class Optimal Distribution Adversarial Training
- Title（参考訳）: 公正なクラスワイドロバストネスを目指して--クラス最適配電支援訓練
- Authors: Hongxin Zhi, Hongtao Yu, Shaome Li, Xiuming Zhao, Yiteng Wu,
- Abstract要約: 敵の訓練は、敵の攻撃に対するディープニューラルネットワークの堅牢性を改善するための非常に効果的な方法であることが証明されている。
頑健な公正性の点で制限を示すことが観察されており、異なるクラス間での堅牢性の顕著な相違が特徴である。
この問題を緩和する最近の取り組みは、クラスワイドな方法に変わった。
本稿では,新しいmin-maxトレーニングフレームワーク,Class Optimal Distribution Adversarial Trainingを提案する。
- 参考スコア（独自算出の注目度）: 1.5565181723989001
- License:
- Abstract: Adversarial training has proven to be a highly effective method for improving the robustness of deep neural networks against adversarial attacks. Nonetheless, it has been observed to exhibit a limitation in terms of robust fairness, characterized by a significant disparity in robustness across different classes. Recent efforts to mitigate this problem have turned to class-wise reweighted methods. However, these methods suffer from a lack of rigorous theoretical analysis and are limited in their exploration of the weight space, as they mainly rely on existing heuristic algorithms or intuition to compute weights. In addition, these methods fail to guarantee the consistency of the optimization direction due to the decoupled optimization of weights and the model parameters. They potentially lead to suboptimal weight assignments and consequently, a suboptimal model. To address these problems, this paper proposes a novel min-max training framework, Class Optimal Distribution Adversarial Training (CODAT), which employs distributionally robust optimization to fully explore the class-wise weight space, thus enabling the identification of the optimal weight with theoretical guarantees. Furthermore, we derive a closed-form optimal solution to the internal maximization and then get a deterministic equivalent objective function, which provides a theoretical basis for the joint optimization of weights and model parameters. Meanwhile, we propose a fairness elasticity coefficient for the evaluation of the algorithm with regard to both robustness and robust fairness. Experimental results on various datasets show that the proposed method can effectively improve the robust fairness of the model and outperform the state-of-the-art approaches.
- Abstract（参考訳）: 敵の訓練は、敵の攻撃に対するディープニューラルネットワークの堅牢性を改善するための非常に効果的な方法であることが証明されている。
それにもかかわらず、頑健な公正性という観点で制限を示すことが観察されており、異なるクラスにおける頑健さの顕著な相違が特徴である。
この問題を緩和する最近の取り組みは、クラスワイド・リウェイト方式に変わった。
しかし、これらの手法は厳密な理論解析の欠如に悩まされており、既存のヒューリスティックアルゴリズムやウェイトを計算する直観に依存するため、重量空間の探索に限られている。
さらに、重みとモデルパラメータの分離した最適化により、最適化方向の整合性を保証することができない。
これらは潜在的に準最適重量割り当てにつながり、結果として準最適モデルとなる。
このような問題に対処するため,本研究では,クラスワイド空間を十分に探索するために分布的に頑健な最適化を用いて,理論的な保証付き最適重量の同定を可能にする,新しいmin-maxトレーニングフレームワークであるクラス最適分布適応トレーニング(CODAT)を提案する。
さらに、内部最大化に対する閉形式最適解を導出し、決定論的等価目的関数を求め、重みとモデルパラメータの合同最適化の理論的基礎を与える。
一方、ロバスト性およびロバスト性の両方に関して、アルゴリズムの評価のためのフェアネス弾性係数を提案する。
各種データセットに対する実験結果から,提案手法はモデルのロバストな公正性を効果的に向上し,最先端のアプローチよりも優れていることが示された。
関連論文リスト
- A constrained optimization approach to improve robustness of neural networks [1.2338729811609355]
クリーンなデータに対する精度を維持しつつ、敵攻撃に対する堅牢性を向上させるために、ファインチューン事前学習ニューラルネットワークに対する非線形プログラミングに基づく新しいアプローチを提案する。
論文 参考訳（メタデータ） (2024-09-18T18:37:14Z) - Provably Mitigating Overoptimization in RLHF: Your SFT Loss is Implicitly an Adversarial Regularizer [52.09480867526656]
人間の嗜好を学習する際の分布変化と不確実性の一形態として,不一致の原因を同定する。
過度な最適化を緩和するために、まず、逆選択された報酬モデルに最適なポリシーを選択する理論アルゴリズムを提案する。
報奨モデルとそれに対応する最適ポリシーの等価性を用いて、優先最適化損失と教師付き学習損失を組み合わせた単純な目的を特徴とする。
論文 参考訳（メタデータ） (2024-05-26T05:38:50Z) - Beyond Single-Model Views for Deep Learning: Optimization versus
Generalizability of Stochastic Optimization Algorithms [13.134564730161983]
本稿では、勾配降下(SGD)とその変種に着目し、ディープラーニングの最適化に新しいアプローチを採用する。
我々はSGDとその変種がSAMのような平らなミニマと同等の性能を示すことを示した。
本研究は、トレーニング損失とホールドアウト精度の関係、およびSGDとノイズ対応変種の性能について、いくつかの重要な知見を明らかにした。
論文 参考訳（メタデータ） (2024-03-01T14:55:22Z) - End-to-End Learning for Fair Multiobjective Optimization Under
Uncertainty [55.04219793298687]
機械学習における予測-Then-Forecast(PtO)パラダイムは、下流の意思決定品質を最大化することを目的としている。
本稿では,PtO法を拡張して,OWA(Nondifferentiable Ordered Weighted Averaging)の目的を最適化する。
この結果から,不確実性の下でのOWA関数の最適化とパラメトリック予測を効果的に統合できることが示唆された。
論文 参考訳（メタデータ） (2024-02-12T16:33:35Z) - Doubly Robust Instance-Reweighted Adversarial Training [107.40683655362285]
本稿では,2重のインスタンス再重み付き対向フレームワークを提案する。
KL偏差正規化損失関数の最適化により重みを求める。
提案手法は, 平均ロバスト性能において, 最先端のベースライン法よりも優れた性能を示す。
論文 参考訳（メタデータ） (2023-08-01T06:16:18Z) - A Learning-Based Optimal Uncertainty Quantification Method and Its
Application to Ballistic Impact Problems [1.713291434132985]
本稿では、入力(または事前)測度が部分的に不完全であるシステムに対する最適(最大および無限)不確実性境界について述べる。
本研究では,不確実性最適化問題に対する学習基盤の枠組みを実証する。
本手法は,工学的実践における性能証明と安全性のためのマップ構築に有効であることを示す。
論文 参考訳（メタデータ） (2022-12-28T14:30:53Z) - Stochastic Methods for AUC Optimization subject to AUC-based Fairness
Constraints [51.12047280149546]
公正な予測モデルを得るための直接的なアプローチは、公正な制約の下で予測性能を最適化することでモデルを訓練することである。
フェアネスを考慮した機械学習モデルのトレーニング問題を,AUCに基づくフェアネス制約のクラスを対象とする最適化問題として定式化する。
フェアネス測定値の異なる実世界のデータに対するアプローチの有効性を実証する。
論文 参考訳（メタデータ） (2022-12-23T22:29:08Z) - Differentiable Robust LQR Layers [26.67150576276949]
本稿では,モデル不確実性と動的性の下での強化学習と模倣学習のための,識別可能な頑健なLQR層を提案する。
制御系における新しいタイプの帰納バイアス量と不確実性モデリングを提供する。
実験結果から,不確実な状況下でのロバストポリシを最適化できることがわかった。
論文 参考訳（メタデータ） (2021-06-10T06:52:31Z) - Modeling the Second Player in Distributionally Robust Optimization [90.25995710696425]
我々は、最悪のケース分布を特徴付けるために神経生成モデルを使うことを議論する。
このアプローチは多くの実装と最適化の課題をもたらします。
提案されたアプローチは、同等のベースラインよりも堅牢なモデルを生み出す。
論文 参考訳（メタデータ） (2021-03-18T14:26:26Z) - Robust, Accurate Stochastic Optimization for Variational Inference [68.83746081733464]
また, 共通最適化手法は, 問題が適度に大きい場合, 変分近似の精度が低下することを示した。
これらの結果から,基礎となるアルゴリズムをマルコフ連鎖の生成とみなして,より堅牢で正確な最適化フレームワークを開発する。
論文 参考訳（メタデータ） (2020-09-01T19:12:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。