論文の概要: Debiasing CLIP: Interpreting and Correcting Bias in Attention Heads

• arxiv url: http://arxiv.org/abs/2505.17425v1
• Date: Fri, 23 May 2025 03:13:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-26 18:08:33.785861
• Title: Debiasing CLIP: Interpreting and Correcting Bias in Attention Heads
• Title（参考訳）: Debiasing CLIP: 注意頭におけるバイアスの解釈と修正
• Authors: Wei Jie Yeo, Rui Mao, Moloud Abdar, Erik Cambria, Ranjan Satapathy,
• Abstract要約: 我々は,刺激的な注意を識別し,ターゲットアブレーションによって軽減する,コントラスト的なフレームワークであるtextsc-Then-Correct (LTC) を導入する。 我々は,背景性バイアスのあるベンチマークでLCCを評価し,非トレーニング後ベースラインと比較して,最低グループ精度が50%以上向上した。 我々は,選択した頭部の表現を可視化し,提示された解釈が,刺激的な頭部と快楽な頭部の両方を識別するコントラスト的なメカニズムを裏付けていることを見出した。
• 参考スコア（独自算出の注目度）: 29.880490526874876
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal models like CLIP have gained significant attention due to their remarkable zero-shot performance across various tasks. However, studies have revealed that CLIP can inadvertently learn spurious associations between target variables and confounding factors. To address this, we introduce \textsc{Locate-Then-Correct} (LTC), a contrastive framework that identifies spurious attention heads in Vision Transformers via mechanistic insights and mitigates them through targeted ablation. Furthermore, LTC identifies salient, task-relevant attention heads, enabling the integration of discriminative features through orthogonal projection to improve classification performance. We evaluate LTC on benchmarks with inherent background and gender biases, achieving over a $>50\%$ gain in worst-group accuracy compared to non-training post-hoc baselines. Additionally, we visualize the representation of selected heads and find that the presented interpretation corroborates our contrastive mechanism for identifying both spurious and salient attention heads. Code available at https://github.com/wj210/CLIP_LTC.
• Abstract（参考訳）: CLIPのようなマルチモーダルモデルは、様々なタスクにまたがる顕著なゼロショットパフォーマンスのために大きな注目を集めている。 しかし、研究により、CLIPは必然的にターゲット変数と共起因子の急激な関連を学習できることが判明した。 これを解決するために,視覚変換器の急激な注意を機械的洞察を通じて識別し,対象のアブレーションによって軽減する,コントラスト的なフレームワークである「textsc{Locate-Then-Correct} (LTC)」を紹介した。 さらに、LCCは、正統性のあるタスク関連アテンションヘッドを識別し、直交投影による識別的特徴の統合を可能にし、分類性能を向上させる。 本研究は,非トレーニング後ベースラインに比べて,最低グループ精度が50\%以上向上したベンチマークでLCCを評価した。 さらに, 選択した頭部の表現を可視化し, 提示された解釈が, 突発的頭部と突発的頭部の両方を識別するコントラスト的なメカニズムを裏付けていることを見出した。 コードはhttps://github.com/wj210/CLIP_LTCで公開されている。

関連論文リスト

• Classifier-guided CLIP Distillation for Unsupervised Multi-label Classification [16.0058187276343]
  包括的画像理解には多ラベル分類が不可欠である。 CLIPの習熟度にもかかわらず、ビュー依存の予測と固有のバイアスに悩まされ、その効果が制限される。 本稿では,対象オブジェクト近傍の複数のビューを活用することで,これらの問題に対処する新しい手法を提案する。
  論文  参考訳（メタデータ） (2025-03-21T06:12:14Z)
• Quantifying Interpretability in CLIP Models with Concept Consistency [5.921976812527759]
  CLIPのようなモデルにおける注意頭のためのテキスト記述の概念的一貫性について検討する。 本稿では,新しい解釈可能性尺度である概念一貫性スコア(CCS)を提案する。 我々は,高いCCSヘッドが重要な概念を捕捉し,ドメイン外検出,概念固有の推論,ビデオ言語理解において重要な役割を担っていることを発見した。
  論文  参考訳（メタデータ） (2025-03-14T05:47:17Z)
• Self-Calibrated CLIP for Training-Free Open-Vocabulary Segmentation [19.749490092520006]
  Self-Calibrated CLIP (SC-CLIP) は、CLIPを校正してより微細な表現を生成する訓練不要の手法である。 SC-CLIPはバニラCLIP ViT-L/14の性能を6.8倍向上させる。
  論文  参考訳（メタデータ） (2024-11-24T15:14:05Z)
• ClearCLIP: Decomposing CLIP Representations for Dense Vision-Language Inference [32.852004564832455]
  我々はCLIPのアーキテクチャを再検討し、残余接続をセグメンテーション品質を劣化させるノイズの主源として同定する。 オープン語彙セマンティックセグメンテーションを強化するためにCLIPの表現を分解する新しいアプローチであるClearCLIPを提案する。
  論文  参考訳（メタデータ） (2024-07-17T09:52:20Z)
• Learning Common Rationale to Improve Self-Supervised Representation for Fine-Grained Visual Recognition Problems [61.11799513362704]
  我々は、インスタンスやクラスでよく見られる差別的手がかりを識別するための、追加のスクリーニングメカニズムの学習を提案する。 SSL目標から誘導されるGradCAMを単純に利用することで、共通な有理性検出器が学習可能であることを示す。
  論文  参考訳（メタデータ） (2023-03-03T02:07:40Z)
• Non-Contrastive Learning Meets Language-Image Pre-Training [145.6671909437841]
  非コントラスト型言語画像事前学習(nCLIP)の有効性について検討する。 我々は、CLIPとnCLIPを組み合わせたマルチタスクフレームワークであるxCLIPを紹介し、nCLIPが機能セマンティクスの強化にCLIPを支援することを示す。
  論文  参考訳（メタデータ） (2022-10-17T17:57:46Z)
• Using Representation Expressiveness and Learnability to Evaluate Self-Supervised Learning Methods [61.49061000562676]
  本稿では,学習可能性を評価するためにCluster Learnability (CL)を導入する。 CLは、K-meansで表現をクラスタリングすることによって得られたラベルを予測するために訓練されたKNNのパフォーマンスで測定される。 CLは、他の競合する評価手法よりも分布内モデルの性能と相関することがわかった。
  論文  参考訳（メタデータ） (2022-06-02T19:05:13Z)
• Dual Contrastive Learning for General Face Forgery Detection [64.41970626226221]
  本稿では,正と負のペアデータを構成するDCL (Dual Contrastive Learning) という新しい顔偽造検出フレームワークを提案する。 本研究は, 事例内コントラスト学習(Intra-ICL)において, 偽造顔における局所的内容の不整合に焦点をあてる。
  論文  参考訳（メタデータ） (2021-12-27T05:44:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。