論文の概要: SEM: Sparse Embedding Modulation for Post-Hoc Debiasing of Vision-Language Models

• arxiv url: http://arxiv.org/abs/2603.19028v1
• Date: Thu, 19 Mar 2026 15:28:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-20 17:19:06.230658
• Title: SEM: Sparse Embedding Modulation for Post-Hoc Debiasing of Vision-Language Models
• Title（参考訳）: SEM:視覚・言語モデルの局所脱バイアスに対するスパース埋め込み変調
• Abstract要約: 本稿では,スパースオートエンコーダの潜在空間で動作するポストホック・ゼロショット脱バイアスフレームワークであるスパース埋め込み変調(SEM)を提案する。 SEMは、クエリ関連ニューロンを保持しながらバイアス関連ニューロンを特定し、調節する。 この結果から,疎度な潜在表現は,視覚言語モデルのポストホックなデバイアス化に有効な基盤となることが示唆された。
• 参考スコア（独自算出の注目度）: 36.40093869747498
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Models that bridge vision and language, such as CLIP, are key components of multimodal AI, yet their large-scale, uncurated training data introduce severe social and spurious biases. Existing post-hoc debiasing methods often operate directly in the dense CLIP embedding space, where bias and task-relevant information are highly entangled. This entanglement limits their ability to remove bias without degrading semantic fidelity. In this work, we propose Sparse Embedding Modulation (SEM), a post-hoc, zero-shot debiasing framework that operates in a Sparse Autoencoder (SAE) latent space. By decomposing CLIP text embeddings into disentangled features, SEM identifies and modulates bias-relevant neurons while preserving query-relevant ones. This enables more precise, non-linear interventions. Across four benchmark datasets and two CLIP backbones, SEM achieves substantial fairness gains in retrieval and zero-shot classification. Our results demonstrate that sparse latent representations provide an effective foundation for post-hoc debiasing of vision-language models.
• Abstract（参考訳）: CLIPのようなビジョンと言語を橋渡しするモデルは、マルチモーダルAIの重要な構成要素であるが、彼らの大規模で未計算のトレーニングデータは、深刻な社会的および刺激的なバイアスをもたらす。 既存のポストホックデバイアス法は、バイアスやタスク関連情報が非常に絡み合っている密度の高いCLIP埋め込み空間で直接動作することが多い。 この絡み合いは、意味的忠実性を低下させることなくバイアスを取り除く能力を制限する。 本研究では,スパースオートエンコーダ(SAE)潜在空間で動作するポストホック・ゼロショット脱バイアスフレームワークであるスパース埋め込み変調(SEM)を提案する。 CLIPテキストの埋め込みを歪んだ機能に分解することで、SEMはクエリ関連機能を保存しながらバイアス関連ニューロンを特定し、調整する。 これにより、より正確で非線形な介入が可能になる。 4つのベンチマークデータセットと2つのCLIPバックボーンにまたがって、SEMは検索とゼロショット分類においてかなりの公平性を達成する。 この結果から,疎度な潜在表現は,視覚言語モデルのポストホックなデバイアス化に有効な基盤となることが示唆された。

関連論文リスト

• S$^2$COPE: Self-Supervised Concept Discovery via Preference Learning [15.951097715837799]
  我々は、このジレンマを解決するラベルのないフレームワークであるPreference lEarning (model)を通して、セルフ・スーパーバイザード・コンセプト・ディスクOveryを紹介します。 我々の研究は、人間の監督なしに、モデルが付随する視覚構造と自律的に相互作用することで、解釈可能性が生まれることを示唆している。
  論文  参考訳（メタデータ） (2026-06-12T16:02:44Z)
• When Language Overwrites Vision: Over-Alignment and Geometric Debiasing in Vision-Language Models [4.309108879640932]
  VLM(Vision-Language Models)は、より強力な高感度アプリケーションである。 定期的に幻覚を呈し、入力に存在しない内容について自信を持って記述する。 これらの障害モードを幾何学的オーバーアライメントにトレースする。 本稿では,トレーニングフリー推論戦略とバイアス対応微調整パラダイムの2つの補完策を提案する。
  論文  参考訳（メタデータ） (2026-05-07T10:09:18Z)
• SAGE: Spuriousness-Aware Guided Prompt Exploration for Mitigating Multimodal Bias [43.06550296269926]
  CLIPのような大規模視覚言語モデルは、画像とテキストを共有埋め込み空間で整列することで、ゼロショット分類性能が強い。 しかし、CLIPモデルは、しばしば多重モーダルなスプリアスバイアスを生じさせ、これはスプリアス機能に依存する好ましくない傾向である。 SAGE(Spuriousness-Aware Guided Exploration)を提案する。
  論文  参考訳（メタデータ） (2025-11-17T05:52:32Z)
• Enhancing CLIP Robustness via Cross-Modality Alignment [54.01929554563447]
  視覚言語モデルのための最適なトランスポートベースフレームワークであるクロスモダリティアライメントを提案する。 COLAは、グローバルな画像テキストアライメントと特徴空間における局所的な構造的一貫性を復元する。 COLAはトレーニングフリーで、既存の微調整モデルと互換性がある。
  論文  参考訳（メタデータ） (2025-10-28T03:47:44Z)
• SPARC: Score Prompting and Adaptive Fusion for Zero-Shot Multi-Label Recognition in Vision-Language Models [74.40683913645731]
  Zero-shot Multi-label Recognition (MLR) with Vision-Language Models (VLMs) は、トレーニングデータ、モデルチューニング、アーキテクチャの変更なしに重要な課題に直面している。 我々の研究は、VLMをブラックボックスとして扱い、トレーニングデータや地上の真実を使わずにスコアを活用する新しいソリューションを提案する。 これらのプロンプトスコアの分析により、VLMバイアスとAND'/OR信号の曖昧さが明らかになり、特に、最高スコアは2番目に高いスコアに比べて驚くほど低い。
  論文  参考訳（メタデータ） (2025-02-24T07:15:05Z)
• Data Matters Most: Auditing Social Bias in Contrastive Vision Language Models [28.944990804599893]
  CLIPとOpenCLIPを比較することで、モデルサイズ、トレーニングデータスケール、トレーニングデータソースの3つの設計要素を分離します。 また、Bias Prompts、Prompt Array、SANERの3つのポストホック、テストタイムのデバイアス戦略を評価します。
  論文  参考訳（メタデータ） (2025-01-22T21:08:30Z)
• Refining Skewed Perceptions in Vision-Language Contrastive Models through Visual Representations [0.033483662989441935]
  大規模視覚言語コントラストモデル(VLCM)は、様々な下流タスクで顕著な成功を収めている。 それらの利点にもかかわらず、これらのモデルは現実のデータの不均等な分布からバイアスを受け継ぎ、実際の環境に関する誤解を招く。 本研究では,CLIPの下流アプリケーションへの埋め込みから,単純な線形プローブを用いてタスク固有のコア特徴を効果的に抽出する方法について検討する。
  論文  参考訳（メタデータ） (2024-05-22T22:03:11Z)
• Towards Realistic Zero-Shot Classification via Self Structural Semantic Alignment [53.2701026843921]
  大規模事前訓練型視覚言語モデル(VLM)はゼロショット分類に有効であることが証明されている。 本稿では,アノテーションではなく,より広い語彙を前提とした,より難易度の高いゼロショット分類(Realistic Zero-Shot Classification)を提案する。 本稿では,ラベルのないデータから構造意味情報を抽出し,同時に自己学習を行う自己構造意味アライメント(S3A)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-24T17:56:46Z)
• Disentanglement via Latent Quantization [60.37109712033694]
  本研究では,組織化された潜在空間からの符号化と復号化に向けた帰納的バイアスを構築する。 本稿では,基本データレコーダ (vanilla autoencoder) と潜時再構成 (InfoGAN) 生成モデルの両方に追加することで,このアプローチの広範な適用性を実証する。
  論文  参考訳（メタデータ） (2023-05-28T06:30:29Z)
• CLIPood: Generalizing CLIP to Out-of-Distributions [73.86353105017076]
  対照的に、CLIP(Language-image Pre-training)モデルでは、印象的なゼロショット能力を示しているが、下流タスクにおけるCLIPのさらなる適応は、OODのパフォーマンスを好ましくない劣化させる。 ドメインシフトとオープンクラスの両方が見えないテストデータ上で発生する可能性があるOOD状況にCLIPモデルを適用するための微調整手法であるCLIPoodを提案する。 さまざまなOODシナリオによるさまざまなデータセットの実験は、CLIPoodが既存の一般化テクニックを一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2023-02-02T04:27:54Z)
• Debiasing Vision-Language Models via Biased Prompts [79.04467131711775]
  本稿では,テキスト埋め込みにおけるバイアスのある方向を投影することで,視覚言語基盤モデルを疎外する一般的な手法を提案する。 偏平投影行列を組み込んだテキストのみをデバイアスすることで、ロバストな分類器と公正な生成モデルが得られることを示す。
  論文  参考訳（メタデータ） (2023-01-31T20:09:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。