論文の概要: Rethinking Post-hoc Debiasing of Large Pretrained Models
- arxiv url: http://arxiv.org/abs/2610.29688v1
- Date: Wed, 21 Oct 2026 13:00:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-23 00:40:06.366993
- Title: Rethinking Post-hoc Debiasing of Large Pretrained Models
- Title（参考訳）: 大規模プレトレーニングモデルにおけるポストホックデバイアスの再考
- Abstract要約: CLIPのような大規模な事前訓練されたモデルは、凍結した特徴抽出器として広く利用されている。
彼らの埋め込みは、トレーニングデータから急激な相関関係を継承し、機能にバイアスをもたらす。
本稿では,そのようなペアを同定し,特徴を変換してポストホックなデバイアスを行う1つの線形写像を学習する手法を提案する。
- 参考スコア（独自算出の注目度）: 2.4901689971597016
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large pretrained models such as CLIP are widely used as frozen feature extractors. However, their embeddings inherit spurious correlations from training data, introducing bias into the features. A growing body of research has sought to address this issue through post hoc debiasing, leaving the backbone untouched. We discover that despite differing mechanisms, these methods require the bias feature to be identified and expressed in text. This dependency is not innocuous. In this work, we experimentally demonstrate that this requirement incurs an unforeseen penalty in certain scenarios. For example, on the UrbanCars benchmark, having two co-occurring bias attributes, the recent methods underperform a vanilla classifier on biased frozenbackbone features, and even providing ground-truth bias identities does not close the gap. We show that the pattern that such methods seek is readily observable in the frozen geometry. Specifically, cross-class training pairs placed closest together by the frozen encoder almost always share a spurious attribute, regardless of the bias type, without requiring access to the bias labels. Based on this, we propose a novel approach to identify such pairs and learn a single linear map that transforms the features to perform post-hoc debiasing. The proposed approach achieves competitive performance across all datasets without access to bias attribute annotations or any LLMs.
- Abstract（参考訳）: CLIPのような大規模な事前訓練されたモデルは、凍結した特徴抽出器として広く利用されている。
しかし、それらの埋め込みはトレーニングデータから急激な相関関係を継承し、機能にバイアスをもたらす。
成長する研究機関は、後部骨が触れられずに、後部骨の脱胆によってこの問題に対処しようと試みている。
異なるメカニズムにもかかわらず、これらの手法はバイアスの特徴を識別し、テキストで表現する必要があることが判明した。
この依存は無害ではない。
本研究では,この要件が特定のシナリオにおいて予期せぬペナルティを引き起こすことを実験的に実証する。
例えば、UrbanCarsベンチマークでは、2つの共起バイアス特性を持つ最近の手法は、バイアス付きフリーズバックボーンの特徴に対してバニラ分類器を性能的に上回る。
このような手法が求めるパターンは、凍結幾何学において容易に観測可能であることを示す。
具体的には、冷凍エンコーダによって最も近い位置に配置されたクロスクラスのトレーニングペアは、バイアスの種類に関わらず、バイアスラベルへのアクセスを必要とせずに、ほとんどの場合、刺激的な属性を共有します。
そこで本研究では,このようなペアを同定し,特徴を変換してポストホックなデバイアスを行う1つの線形写像を学習する手法を提案する。
提案手法は,バイアス属性アノテーションやLLMにアクセスせずに,すべてのデータセット間での競合性能を実現する。
関連論文リスト
- Let Samples Speak: Mitigating Spurious Correlation by Exploiting the Clusterness of Samples [11.727747752958436]
ディープラーニングモデルは、トレーニング中にクラスラベルと急激な相関関係を持つ機能を学ぶが、予測タスクとは無関係である。
既存の手法は通常、潜在的なスパイラルな属性を注釈付けしたり、経験的な仮定に基づいてスパイラルな特徴をフィルタリングすることでこの問題に対処する。
本稿では,深層学習モデルにおける突発的相関を緩和するデータ指向手法を提案する。
論文 参考訳（メタデータ） (2025-12-28T10:54:51Z) - CosFairNet:A Parameter-Space based Approach for Bias Free Learning [1.9116784879310025]
バイアス付きデータに基づいてトレーニングされたディープニューラルネットワークは、意図しない推論ルールを不注意に学習することが多い。
本稿では,モデルのパラメータ空間内で直接バイアスに対処する新しい手法を提案する。
各種合成および実世界のデータセットにおいて,分類精度の向上と偏りの低減効果を示す。
論文 参考訳（メタデータ） (2024-10-19T13:06:40Z) - Looking at Model Debiasing through the Lens of Anomaly Detection [11.113718994341733]
ディープニューラルネットワークはデータのバイアスに敏感である。
本研究は,偏りと偏りの一致したサンプルを正確に予測することの重要性を示す。
本稿では,異常検出に基づく新しいバイアス同定手法を提案する。
論文 参考訳（メタデータ） (2024-07-24T17:30:21Z) - Revisiting the Dataset Bias Problem from a Statistical Perspective [72.94990819287551]
統計的観点から「データセットバイアス」問題を考察する。
問題の主な原因は、クラス属性 u と非クラス属性 b の強い相関関係である。
本稿では,各試料nの目的をフラクタル1p(u_n|b_n)で重み付けするか,その試料をフラクタル1p(u_n|b_n)に比例してサンプリングすることにより,データセットバイアスを軽減することを提案する。
論文 参考訳（メタデータ） (2024-02-05T22:58:06Z) - Stubborn Lexical Bias in Data and Models [50.79738900885665]
我々は、データに基づいてトレーニングされたモデルに、データのスプリアスパターンが現れるかどうかを調べるために、新しい統計手法を用いる。
トレーニングデータに*reweight*に最適化アプローチを適用し、数千のスプリアス相関を低減します。
驚くべきことに、この方法ではトレーニングデータの語彙バイアスを低減できますが、トレーニングされたモデルで対応するバイアスの強い証拠がまだ見つかっていません。
論文 参考訳（メタデータ） (2023-06-03T20:12:27Z) - Kernel-Whitening: Overcome Dataset Bias with Isotropic Sentence
Embedding [51.48582649050054]
符号化文の特徴間の相関関係を解消する表現正規化手法を提案する。
またNystromカーネル近似法であるKernel-Whiteningを提案する。
実験により,Kernel-Whiteningは分布内精度を維持しつつ,分布外データセット上でのBERTの性能を著しく向上することが示された。
論文 参考訳（メタデータ） (2022-10-14T05:56:38Z) - Self-supervised debiasing using low rank regularization [59.84695042540525]
純粋な相関は、ディープニューラルネットワークの強いバイアスを引き起こし、一般化能力を損なう可能性がある。
ラベルのないサンプルと互換性のある自己監督型脱バイアスフレームワークを提案する。
注目すべきは,提案フレームワークが自己教師付き学習ベースラインの一般化性能を著しく向上させることである。
論文 参考訳（メタデータ） (2022-10-11T08:26:19Z) - Self-Conditioned Generative Adversarial Networks for Image Editing [61.50205580051405]
Generative Adversarial Networks (GAN) はバイアスの影響を受けやすい。
我々は、このバイアスが公平性だけでなく、分布のコアから逸脱する際の潜在トラバース編集手法の崩壊に重要な役割を果たしていると論じる。
論文 参考訳（メタデータ） (2022-02-08T18:08:24Z) - Don't Discard All the Biased Instances: Investigating a Core Assumption
in Dataset Bias Mitigation Techniques [19.252319300590656]
データセットバイアスを緩和する既存のテクニックは、バイアス付きモデルを利用してバイアス付きインスタンスを識別することが多い。
これらの偏りのあるインスタンスの役割は、メインモデルのトレーニング中に減少し、アウト・オブ・ディストリビューションデータに対するロバスト性を高める。
本稿では,この仮定が一般には成り立たないことを示す。
論文 参考訳（メタデータ） (2021-09-01T10:25:46Z) - Learning Debiased Representation via Disentangled Feature Augmentation [19.348340314001756]
本稿では, 様々なバイアスを伴うサンプルを用いたトレーニングが, 脱バイアスに不可欠であることを示す実験的検討を行った。
本稿では, 多様なバイアス分散サンプルを合成するために, 特徴レベルのデータ拡張手法を提案する。
論文 参考訳（メタデータ） (2021-07-03T08:03:25Z) - Towards Robustifying NLI Models Against Lexical Dataset Biases [94.79704960296108]
本稿では、語彙的データセットバイアスに対するモデル強化のための、データレベルとモデルレベルのデバイアス法の両方について検討する。
まず、データ拡張と拡張によってデータセットをデバイアスするが、この方法でモデルバイアスを完全に除去することはできないことを示す。
第2のアプローチでは、バーオブワードのサブモデルを使用して、バイアスを悪用する可能性のある機能をキャプチャし、元のモデルがこれらのバイアス付き機能を学ぶのを防ぐ。
論文 参考訳（メタデータ） (2020-05-10T17:56:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。