論文の概要: SEM: Sparse Embedding Modulation for Post-Hoc Debiasing of Vision-Language Models

• arxiv url: http://arxiv.org/abs/2603.19028v1
• Date: Thu, 19 Mar 2026 15:28:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-20 17:19:06.230658
• Title: SEM: Sparse Embedding Modulation for Post-Hoc Debiasing of Vision-Language Models
• Title（参考訳）: SEM:視覚・言語モデルの局所脱バイアスに対するスパース埋め込み変調
• Authors: Quentin Guimard, Federico Bartsch, Simone Caldarella, Rahaf Aljundi, Elisa Ricci, Massimiliano Mancini,
• Abstract要約: 本稿では,スパースオートエンコーダの潜在空間で動作するポストホック・ゼロショット脱バイアスフレームワークであるスパース埋め込み変調(SEM)を提案する。 SEMは、クエリ関連ニューロンを保持しながらバイアス関連ニューロンを特定し、調節する。 この結果から,疎度な潜在表現は,視覚言語モデルのポストホックなデバイアス化に有効な基盤となることが示唆された。
• 参考スコア（独自算出の注目度）: 36.40093869747498
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Models that bridge vision and language, such as CLIP, are key components of multimodal AI, yet their large-scale, uncurated training data introduce severe social and spurious biases. Existing post-hoc debiasing methods often operate directly in the dense CLIP embedding space, where bias and task-relevant information are highly entangled. This entanglement limits their ability to remove bias without degrading semantic fidelity. In this work, we propose Sparse Embedding Modulation (SEM), a post-hoc, zero-shot debiasing framework that operates in a Sparse Autoencoder (SAE) latent space. By decomposing CLIP text embeddings into disentangled features, SEM identifies and modulates bias-relevant neurons while preserving query-relevant ones. This enables more precise, non-linear interventions. Across four benchmark datasets and two CLIP backbones, SEM achieves substantial fairness gains in retrieval and zero-shot classification. Our results demonstrate that sparse latent representations provide an effective foundation for post-hoc debiasing of vision-language models.
• Abstract（参考訳）: CLIPのようなビジョンと言語を橋渡しするモデルは、マルチモーダルAIの重要な構成要素であるが、彼らの大規模で未計算のトレーニングデータは、深刻な社会的および刺激的なバイアスをもたらす。 既存のポストホックデバイアス法は、バイアスやタスク関連情報が非常に絡み合っている密度の高いCLIP埋め込み空間で直接動作することが多い。 この絡み合いは、意味的忠実性を低下させることなくバイアスを取り除く能力を制限する。 本研究では,スパースオートエンコーダ(SAE)潜在空間で動作するポストホック・ゼロショット脱バイアスフレームワークであるスパース埋め込み変調(SEM)を提案する。 CLIPテキストの埋め込みを歪んだ機能に分解することで、SEMはクエリ関連機能を保存しながらバイアス関連ニューロンを特定し、調整する。 これにより、より正確で非線形な介入が可能になる。 4つのベンチマークデータセットと2つのCLIPバックボーンにまたがって、SEMは検索とゼロショット分類においてかなりの公平性を達成する。 この結果から,疎度な潜在表現は,視覚言語モデルのポストホックなデバイアス化に有効な基盤となることが示唆された。

関連論文リスト

• SAGE: Spuriousness-Aware Guided Prompt Exploration for Mitigating Multimodal Bias [43.06550296269926]
  CLIPのような大規模視覚言語モデルは、画像とテキストを共有埋め込み空間で整列することで、ゼロショット分類性能が強い。 しかし、CLIPモデルは、しばしば多重モーダルなスプリアスバイアスを生じさせ、これはスプリアス機能に依存する好ましくない傾向である。 SAGE(Spuriousness-Aware Guided Exploration)を提案する。
  論文  参考訳（メタデータ） (2025-11-17T05:52:32Z)
• Data Matters Most: Auditing Social Bias in Contrastive Vision Language Models [28.944990804599893]
  CLIPとOpenCLIPを比較することで、モデルサイズ、トレーニングデータスケール、トレーニングデータソースの3つの設計要素を分離します。 また、Bias Prompts、Prompt Array、SANERの3つのポストホック、テストタイムのデバイアス戦略を評価します。
  論文  参考訳（メタデータ） (2025-01-22T21:08:30Z)
• Refining Skewed Perceptions in Vision-Language Contrastive Models through Visual Representations [0.033483662989441935]
  大規模視覚言語コントラストモデル(VLCM)は、様々な下流タスクで顕著な成功を収めている。 それらの利点にもかかわらず、これらのモデルは現実のデータの不均等な分布からバイアスを受け継ぎ、実際の環境に関する誤解を招く。 本研究では,CLIPの下流アプリケーションへの埋め込みから,単純な線形プローブを用いてタスク固有のコア特徴を効果的に抽出する方法について検討する。
  論文  参考訳（メタデータ） (2024-05-22T22:03:11Z)
• Disentanglement via Latent Quantization [60.37109712033694]
  本研究では,組織化された潜在空間からの符号化と復号化に向けた帰納的バイアスを構築する。 本稿では,基本データレコーダ (vanilla autoencoder) と潜時再構成 (InfoGAN) 生成モデルの両方に追加することで,このアプローチの広範な適用性を実証する。
  論文  参考訳（メタデータ） (2023-05-28T06:30:29Z)
• Debiasing Vision-Language Models via Biased Prompts [79.04467131711775]
  本稿では,テキスト埋め込みにおけるバイアスのある方向を投影することで,視覚言語基盤モデルを疎外する一般的な手法を提案する。 偏平投影行列を組み込んだテキストのみをデバイアスすることで、ロバストな分類器と公正な生成モデルが得られることを示す。
  論文  参考訳（メタデータ） (2023-01-31T20:09:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。