論文の概要: Unbiased Open World Regularization for Fair Self-Supervised Learning

• arxiv url: http://arxiv.org/abs/2607.22149v1
• Date: Fri, 24 Jul 2026 09:51:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-27 20:58:57.096675
• Title: Unbiased Open World Regularization for Fair Self-Supervised Learning
• Title（参考訳）: 公平な自己指導型学習のための無バイアスなオープンワールド正規化
• Abstract要約: 自己教師付き学習モデルは、データセットの急激なバイアスの学習に影響を受けやすい。 エンコーダのみのフレームワークであるUnbiased Open World Regularization (UOWReg)を提案する。 我々はこの枠組みをガウス空間と球面ラテント空間の両方にわたって実証的に検証する。
• 参考スコア（独自算出の注目度）: 11.74837809839014
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite recent advances, self-supervised learning (SSL) models and Joint-Embedding Predictive Architectures (JEPAs) remain susceptible to learning spurious biases in the dataset. These techniques rely on regularization, which prevents representation collapse by enforcing a global target distribution such as a multivariate Gaussian or a uniform distribution on the sphere. However, these global constraints are insufficient to prevent bias entanglement, as task-irrelevant features can still segregate the latent space into distinct sub-regions. While recent approaches like Entangling and Disentangling (EnD) and Fair Supervised Contrastive Learning (FSCL) empirically debias the latent space, we show that they act as partial approximations of conditional distribution matching. To enforce this matching explicitly, we propose Unbiased Open World Regularization (UOWReg), an encoder-only framework. We show that this shift from a global to a conditional objective guarantees statistical independence between the learned representations and the targeted attributes, regardless of the chosen target distribution. We empirically validate this framework across both Gaussian and spherical latent spaces, using statistical measures to enforce these target distributions. While conditional matching successfully mitigates bias with both distributions, we demonstrate that enforcing conditional uniformity on the sphere yields a lower linearprobing classification error. Empirically, UOWReg reduces Equalized Odds violations on the CelebA benchmark while maintaining competitive classification accuracy compared to existing encoder-only baselines. Furthermore, we introduce the Synthetic Engraving Task-a novel setting in which a dominant macro-structure masks a fine-grained micro-signature. We show that UOWReg effectively prevents the subpopulation collapse observed in standard SSL, successfully isolating micro-signatures even when heavily entangled with the global structure.
• Abstract（参考訳）: 近年の進歩にもかかわらず、自己教師型学習(SSL)モデルとJEPA(Joint-Embedding Predictive Architectures)は、データセットの急激なバイアスの学習に引き続き影響を受けます。 これらの手法は正規化に依存しており、多変量ガウス分布や球面上の均一分布のような大域的対象分布を強制することによって、表現の崩壊を防ぐ。 しかし、これらのグローバルな制約はバイアスの絡み合いを防ぐには不十分である。 Entangling and Disentangling (EnD) や Fair Supervised Contrastive Learning (FSCL) のような近年のアプローチは、潜伏空間を経験的に逸脱させるが、条件分布マッチングの部分近似として機能することを示す。 このマッチングを明示的に実施するために、エンコーダのみのフレームワークであるUnbiased Open World Regularization (UOWReg)を提案する。 本研究では,このグローバルな目標から条件的な目標へのシフトが,対象の分布に関係なく,学習した表現と対象属性の統計的独立性を保証することを示す。 我々はこのフレームワークをガウス空間と球面ラテント空間の両方にわたって実証的に検証し、統計測度を用いてこれらの対象分布を強制する。 条件整合は両分布の偏りを緩和するが, 球面上の条件整合性が低い線形確率分類誤差をもたらすことを示す。 経験的に、UOWRegは、既存のエンコーダのみのベースラインと比較して、競合する分類精度を維持しながら、CelebAベンチマークにおける等化Odds違反を減らす。 さらに,支配的なマクロ構造体が微細なマイクロ署名をマスクする新しい環境であるSynthetic Engraving Taskを導入する。 我々は,UOWRegが標準SSLで観測されるサブポピュレーション崩壊を効果的に防止し,グローバル構造に強く絡み合った場合でも,マイクロシグナチャの分離に成功したことを示す。

関連論文リスト

• OmniISR: A Unified Framework for Centralized and Federated Learning via Intermediate Supervision and Regularization [58.03221830946145]
  我々は、純粋なCL、純粋なFL、ハイブリッドCL-FLトレーニングモードを融合する統合フレームワークであるOmniISRを提案する。 我々は,OmniISRが集中型パラダイムとフェデレーション型パラダイムの両方において,モデル性能を一貫して改善していることを示す。
  論文  参考訳（メタデータ） (2026-05-19T04:13:27Z)
• Beyond Distribution Estimation: Simplex Anchored Structural Inference Towards Universal Semi-Supervised Learning [47.92504362652887]
  半教師付き学習は、ラベル付きデータが不足し、ラベルなしデータが未知の任意の分布に従う現実的なシナリオにおいて重大な課題に直面している。 我々は、Universal Semi-supervised Learning (UniSSL)として、批判的ながら未探索のパラダイムを定式化する。 本稿では,信頼度の高い擬似ラベルを優先するための分布非依存指標に基づく重み付け戦略と,誤用する可能性のある擬似ラベルを分離するための補助分岐を導入する。
  論文  参考訳（メタデータ） (2026-05-08T10:33:09Z)
• Controlling Distributional Bias in Multi-Round LLM Generation via KL-Optimized Fine-Tuning [37.39836347901149]
  我々は,Large Language Models (LLM) が所望の目標分布に従属する出力を生成できるかどうかを評価する。 職業文脈における性別・人種・感情の属性を用いて分布アライメントを定式化する。 本稿では,ステアリングトークンとセマンティックアライメントを結合したファインチューニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-04-07T11:58:16Z)
• Fine-Grained Bias Exploration and Mitigation for Group-Robust Classification [11.525201208566925]
  オーバーフィッティング(BEO)によるバイアス探索(Bias Exploration)は、潜伏群の混合としてモデル化することで、各分布をより詳細に捉えている。 FG-CCDBと呼ばれるCCDBのきめ細かい変形を導入し、各グループ内でより正確な分布マッチングとバランスを行う。 本手法は, 2進分類タスクにおけるバイアス管理手法と同等に動作し, 偏りの高いマルチクラスシナリオにおいて, それらの性能を著しく向上させる。
  論文  参考訳（メタデータ） (2025-05-11T04:01:34Z)
• Mind the Gap: Confidence Discrepancy Can Guide Federated Semi-Supervised Learning Across Pseudo-Mismatch [50.632535091877706]
  Federated Semi-Supervised Learning (FSSL)は、ラベル付きデータに制限のあるクライアント間でラベル付きデータを活用して、強力な一般化能力を持つグローバルモデルをトレーニングすることを目的としている。 ほとんどのFSSL手法は擬似ラベルによる整合正則化に依存しており、局所的またはグローバルなモデルからの予測を監督信号としてハード擬似ラベルに変換する。 擬似ラベルの品質は、フェデレーション学習の本質的な側面であるデータ不均一性によって大きく劣化していることを示す。
  論文  参考訳（メタデータ） (2025-03-17T14:41:51Z)
• Theory on Score-Mismatched Diffusion Models and Zero-Shot Conditional Samplers [49.97755400231656]
  一般のスコアミスマッチ拡散サンプリング器に対する明示的な次元依存性を持つ最初の性能保証を示す。 その結果, スコアミスマッチは, 目標分布とサンプリング分布の分布バイアスとなり, 目標分布とトレーニング分布の累積ミスマッチに比例することがわかった。 この結果は、測定ノイズに関係なく、任意の条件モデルに対するゼロショット条件付きサンプリングに直接適用することができる。
  論文  参考訳（メタデータ） (2024-10-17T16:42:12Z)
• Mitigating Group Bias in Federated Learning for Heterogeneous Devices [1.181206257787103]
  フェデレートラーニング(Federated Learning)は、分散エッジアプリケーションにおけるプライバシ保護モデルトレーニングアプローチとして登場している。 本研究は,プライバシを維持しながら,資源利用のオーバーヘッドを伴わずにグループバイアスを最小限に抑えるグループフェアFLフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-09-13T16:53:48Z)
• Chaos to Order: A Label Propagation Perspective on Source-Free Domain Adaptation [8.27771856472078]
  我々は、ソースフリードメイン適応(SFDA)のための新しいアプローチであるChaos to Order(CtO)を提示する。 CtOは、セマンティックな信頼性を制約し、ターゲットのサブポピュレーション間でラベル情報を伝達する。 実証的な証拠は、CtOが3つの公開ベンチマークで芸術の状態を上回っていることを示している。
  論文  参考訳（メタデータ） (2023-01-20T03:39:35Z)
• Divide and Contrast: Source-free Domain Adaptation via Adaptive Contrastive Learning [122.62311703151215]
  Divide and Contrast (DaC) は、それぞれの制限を回避しつつ、両方の世界の善良な端を接続することを目的としている。 DaCは、ターゲットデータをソースライクなサンプルとターゲット固有なサンプルに分割する。 さらに、ソースライクなドメインと、メモリバンクベースの最大平均離散性(MMD)損失を用いて、ターゲット固有のサンプルとを整合させて、分散ミスマッチを低減する。
  論文  参考訳（メタデータ） (2022-11-12T09:21:49Z)
• Learning Invariant Representations and Risks for Semi-supervised Domain Adaptation [109.73983088432364]
  半教師付きドメイン適応(Semi-DA)の設定の下で不変表現とリスクを同時に学習することを目的とした最初の手法を提案する。 共同で textbfLearning textbfInvariant textbfRepresentations と textbfRisks の LIRR アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2020-10-09T15:42:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。