論文の概要: Gradient Extrapolation for Debiased Representation Learning

• arxiv url: http://arxiv.org/abs/2503.13236v1
• Date: Mon, 17 Mar 2025 14:48:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-18 12:33:43.599008
• Title: Gradient Extrapolation for Debiased Representation Learning
• Title（参考訳）: Debiased Representation Learningのためのグラディエント外挿法
• Authors: Ihab Asaad, Maha Shadaydeh, Joachim Denzler,
• Abstract要約: GERNE(Gradient Extrapolation for Debiased Representation Learning)は、未知の属性トレーニングケースと未知の属性トレーニングケースの両方において、バイアス付き表現を学習するように設計されている。 GERNEは、ERM、reweighting、resamplingといったメソッドをデバイアスする一般的なフレームワークとして機能し、特別なケースとして示される。 提案手法は5つのビジョンと1つのNLPベンチマークで検証され、最先端のベースライン手法と比較して競争力があり、しばしば優れた性能を示す。
• 参考スコア（独自算出の注目度）: 7.183424522250937
• License:
• Abstract: Machine learning classification models trained with empirical risk minimization (ERM) often inadvertently rely on spurious correlations. When absent in the test data, these unintended associations between non-target attributes and target labels lead to poor generalization. This paper addresses this problem from a model optimization perspective and proposes a novel method, Gradient Extrapolation for Debiased Representation Learning (GERNE), designed to learn debiased representations in both known and unknown attribute training cases. GERNE uses two distinct batches with different amounts of spurious correlations to define the target gradient as the linear extrapolation of two gradients computed from each batch's loss. It is demonstrated that the extrapolated gradient, if directed toward the gradient of the batch with fewer amount of spurious correlation, can guide the training process toward learning a debiased model. GERNE can serve as a general framework for debiasing with methods, such as ERM, reweighting, and resampling, being shown as special cases. The theoretical upper and lower bounds of the extrapolation factor are derived to ensure convergence. By adjusting this factor, GERNE can be adapted to maximize the Group-Balanced Accuracy (GBA) or the Worst-Group Accuracy. The proposed approach is validated on five vision and one NLP benchmarks, demonstrating competitive and often superior performance compared to state-of-the-art baseline methods.
• Abstract（参考訳）: 経験的リスク最小化(ERM)で訓練された機械学習分類モデルは、しばしば急激な相関に依存する。 テストデータに欠落すると、これらの意図しない非ターゲット属性とターゲットラベルの関連性は、一般化の欠如につながる。 本稿では, モデル最適化の観点からこの問題に対処し, 未知の属性学習事例と未知の属性学習事例の両方において, バイアス表現を学習するために設計された, バイアス表現学習のためのグラディエント補間法(GERNE)を提案する。 GERNEは、異なる量のスプリアス相関を持つ2つの異なるバッチを使用して、各バッチの損失から計算された2つの勾配の線形外挿として目標勾配を定義する。 補間勾配は, 緩やかな相関関係の少ないバッチの勾配に向けられた場合, 偏りのあるモデルを学ぶための学習過程を導出できることが実証された。 GERNEは、ERM、reweighting、resamplingといったメソッドをデバイアスする一般的なフレームワークとして機能し、特別なケースとして示される。 外挿係数の理論的上界と下界は収束を保証するために導かれる。 この因子を調整することで、GERNEはグループベース精度(GBA)やグループグループ精度(Worst-Group Accuracy)を最大化することができる。 提案手法は5つのビジョンと1つのNLPベンチマークで検証され、最先端のベースライン手法と比較して競争力があり、しばしば優れた性能を示す。

関連論文リスト

• Toward Fair Facial Expression Recognition with Improved Distribution Alignment [19.442685015494316]
  本稿では,表情認識(FER)モデルにおけるバイアスを軽減する新しい手法を提案する。 本手法は、FERモデルによる埋め込みにおいて、性別、年齢、人種などの機密属性情報を低減することを目的としている。 ferモデルにおいて、魅力の概念を重要な感度属性として分析し、FERモデルがより魅力的な顔に対するバイアスを実際に示できることを実証する。
  論文  参考訳（メタデータ） (2023-06-11T14:59:20Z)
• Boosting Differentiable Causal Discovery via Adaptive Sample Reweighting [62.23057729112182]
  異なるスコアに基づく因果探索法は観測データから有向非巡回グラフを学習する。 本稿では,Reweighted Score関数ReScoreの適応重みを動的に学習することにより因果発見性能を向上させるためのモデルに依存しないフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-06T14:49:59Z)
• Compound Batch Normalization for Long-tailed Image Classification [77.42829178064807]
  本稿では,ガウス混合に基づく複合バッチ正規化法を提案する。 機能空間をより包括的にモデル化し、ヘッドクラスの優位性を減らすことができる。 提案手法は,画像分類における既存の手法よりも優れている。
  論文  参考訳（メタデータ） (2022-12-02T07:31:39Z)
• Hierarchical Semi-Supervised Contrastive Learning for Contamination-Resistant Anomaly Detection [81.07346419422605]
  異常検出は、通常のデータ分布から逸脱したサンプルを特定することを目的としている。 コントラスト学習は、異常の効果的な識別を可能にする表現のサンプル化に成功している。 汚染耐性異常検出のための新しい階層型半教師付きコントラスト学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-24T18:49:26Z)
• Benign-Overfitting in Conditional Average Treatment Effect Prediction with Linear Regression [14.493176427999028]
  線形回帰モデルを用いて条件平均処理効果(CATE)の予測における良性過剰適合理論について検討した。 一方,IPW-learnerは確率スコアが分かっていればリスクをゼロに収束させるが,T-learnerはランダムな割り当て以外の一貫性を達成できないことを示す。
  論文  参考訳（メタデータ） (2022-02-10T18:51:52Z)
• Learning to Estimate Without Bias [57.82628598276623]
  ガウスの定理は、重み付き最小二乗推定器は線形モデルにおける線形最小分散アンバイアスド推定(MVUE)であると述べている。 本稿では、バイアス制約のあるディープラーニングを用いて、この結果を非線形設定に拡張する第一歩を踏み出す。 BCEの第二の動機は、同じ未知の複数の推定値が平均化されてパフォーマンスが向上するアプリケーションにおいてである。
  論文  参考訳（メタデータ） (2021-10-24T10:23:51Z)
• Autocalibration and Tweedie-dominance for Insurance Pricing with Machine Learning [0.0]
  逸脱の最小化には, 下位部分モーメントの重み付き差分の積分と, 特定のスケールで測定されたバイアスとのトレードオフが伴うことが示された。 バイアスを補正する新しい手法は、分析にさらに局所的なGLMステップを追加する。 凸順序は、競合するモデルを比較する自然なツールであるように見える。
  論文  参考訳（メタデータ） (2021-03-05T12:40:30Z)
• Binary Classification of Gaussian Mixtures: Abundance of Support Vectors, Benign Overfitting and Regularization [39.35822033674126]
  生成ガウス混合モデルに基づく二項線形分類について検討する。 後者の分類誤差に関する新しい非漸近境界を導出する。 この結果は, 確率が一定である雑音モデルに拡張される。
  論文  参考訳（メタデータ） (2020-11-18T07:59:55Z)
• Unbiased Risk Estimators Can Mislead: A Case Study of Learning with Complementary Labels [92.98756432746482]
  我々は,補完ラベルを用いた学習という,弱教師付き問題を研究する。 勾配推定の品質はリスク最小化においてより重要であることを示す。 本稿では,ゼロバイアスと分散の低減を両立させる新しい補助的相補的損失(SCL)フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-05T04:19:37Z)
• An Investigation of Why Overparameterization Exacerbates Spurious Correlations [98.3066727301239]
  この動作を駆動するトレーニングデータの2つの重要な特性を特定します。 モデルの"記憶"に対する帰納的バイアスが,パラメータ化の超過を損なう可能性を示す。
  論文  参考訳（メタデータ） (2020-05-09T01:59:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。