論文の概要: From Global to Local: Social Bias Transfer in CLIP

• arxiv url: http://arxiv.org/abs/2508.17750v1
• Date: Mon, 25 Aug 2025 07:44:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-26 18:43:45.677187
• Title: From Global to Local: Social Bias Transfer in CLIP
• Title（参考訳）: グローバルからローカルへ:CLIPにおけるソーシャルバイアス転送
• Authors: Ryan Ramos, Yusuke Hirota, Yuta Nakashima, Noa Garcia,
• Abstract要約: 本研究では,先行文献におけるバイアス伝達現象を包括的実証分析により検討する。 事前学習バイアスがデータのグローバルビューとローカルビューの間でどのように変化するかを調べ、バイアス測定が計算されたデータのサブセットに大きく依存していることを確認する。 この不整合がなぜ生じるのかを考察し、現在のパラダイムの下では、異なる事前学習されたCLIPの表現空間が下流タスクに適応すると収束する傾向があることを示す。
• 参考スコア（独自算出の注目度）: 22.508828073380112
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The recycling of contrastive language-image pre-trained (CLIP) models as backbones for a large number of downstream tasks calls for a thorough analysis of their transferability implications, especially their well-documented reproduction of social biases and human stereotypes. How do such biases, learned during pre-training, propagate to downstream applications like visual question answering or image captioning? Do they transfer at all? We investigate this phenomenon, referred to as bias transfer in prior literature, through a comprehensive empirical analysis. Firstly, we examine how pre-training bias varies between global and local views of data, finding that bias measurement is highly dependent on the subset of data on which it is computed. Secondly, we analyze correlations between biases in the pre-trained models and the downstream tasks across varying levels of pre-training bias, finding difficulty in discovering consistent trends in bias transfer. Finally, we explore why this inconsistency occurs, showing that under the current paradigm, representation spaces of different pre-trained CLIPs tend to converge when adapted for downstream tasks. We hope this work offers valuable insights into bias behavior and informs future research to promote better bias mitigation practices.
• Abstract（参考訳）: 多くの下流タスクのバックボーンとして、対照的な言語イメージ(CLIP)モデルのリサイクルは、その伝達可能性の影響、特に社会バイアスや人間のステレオタイプを十分に文書化した再現を徹底的に分析することを要求している。 事前学習中に学んだこのようなバイアスは、視覚的な質問応答やイメージキャプションといった下流のアプリケーションにどのように伝播するのか? 彼らは全く転校ですか。 本稿では,この現象について,包括的実証分析により検討する。 まず、事前学習バイアスがデータのグローバルビューとローカルビューの間でどのように変化するかを検証し、バイアス測定が計算されたデータのサブセットに大きく依存していることを確認する。 第二に、事前学習モデルにおけるバイアスと下流タスクの相関関係を、訓練前のバイアスのレベルによって分析し、バイアス伝達における一貫した傾向を見つけるのに困難を見いだす。 最後に、この不整合がなぜ起こるのかを考察し、現在のパラダイムの下では、異なる事前学習されたCLIPの表現空間が下流タスクに適応すると収束する傾向があることを示す。 この研究がバイアス行動に関する貴重な洞察を提供し、より優れたバイアス緩和プラクティスを促進するために将来の研究に報いることを期待しています。

関連論文リスト

• Planted in Pretraining, Swayed by Finetuning: A Case Study on the Origins of Cognitive Biases in LLMs [51.00909549291524]
  大型言語モデル(LLM)は認知バイアスを示す。 これらのバイアスはモデルによって異なり、命令チューニングによって増幅することができる。 これらのバイアスの違いが事前学習、微調整、あるいはランダムノイズに起因するかどうかは不明だ。
  論文  参考訳（メタデータ） (2025-07-09T18:01:14Z)
• Explicit vs. Implicit: Investigating Social Bias in Large Language Models through Self-Reflection [18.625071242029936]
  大規模言語モデル(LLM)は、生成されたコンテンツに様々なバイアスとステレオタイプを示すことが示されている。 本稿では,LLMにおける明示的偏見と暗黙的偏見を調査・比較するための体系的枠組みを提案する。
  論文  参考訳（メタデータ） (2025-01-04T14:08:52Z)
• How far can bias go? -- Tracing bias from pretraining data to alignment [54.51310112013655]
  本研究では, 事前学習データにおける性別占有バイアスと, LLMにおける性別占有バイアスの相関について検討した。 その結果,事前学習データに存在するバイアスがモデル出力に増幅されることが判明した。
  論文  参考訳（メタデータ） (2024-11-28T16:20:25Z)
• When does Bias Transfer in Transfer Learning? [89.22641454588278]
  トランスファーラーニングを使用して、トレーニング済みの"ソースモデル"を下流の"ターゲットタスク"に適応させることで、ダウンサイドのないように見えるパフォーマンスを劇的に向上させることができる。 結局のところ、バイアス伝達や、モデルがターゲットクラスに適応した後でも、ソースモデルのバイアスが持続する傾向というマイナス面が存在することを実証する。
  論文  参考訳（メタデータ） (2022-07-06T17:58:07Z)
• Fighting Fire with Fire: Contrastive Debiasing without Bias-free Data via Generative Bias-transformation [31.944147533327058]
  生成バイアス変換(CDvG)によるコントラスト劣化 本稿では, バイアスラベルやバイアスのないサンプルを伴わないCDvG (Generative Bias-Transformation) によるコントラスト的デバイアス(Contrastive Debiasing) 手法を提案する。 本手法は, バイアスのないサンプルが不足あるいは欠落している場合に, 従来の手法に比べて優れた性能を示す。
  論文  参考訳（メタデータ） (2021-12-02T07:16:06Z)
• Balancing out Bias: Achieving Fairness Through Training Reweighting [58.201275105195485]
  自然言語処理におけるバイアスは、性別や人種などの著者の特徴を学習するモデルから生じる。 既存のバイアスの緩和と測定方法は、著者の人口統計学と言語変数の相関を直接考慮していない。 本稿では,インスタンス再重み付けを用いたバイアス対策法を提案する。
  論文  参考訳（メタデータ） (2021-09-16T23:40:28Z)
• Bayesian analysis of the prevalence bias: learning and predicting from imbalanced data [10.659348599372944]
  本稿では,モデル学習のための理論的および計算的枠組みと,有病率バイアスの存在下での予測について述べる。 原則的なトレーニング損失の代替として,要約曲線から操作点を選択することで,テスト時の手順を補完するものだ。 バックプロパゲーションを用いた(深い)学習の現在のパラダイムにシームレスに統合され、ベイズモデルと自然に結合する。
  論文  参考訳（メタデータ） (2021-07-31T14:36:33Z)
• Learning from Failure: Training Debiased Classifier from Biased Classifier [76.52804102765931]
  ニューラルネットワークは、所望の知識よりも学習が簡単である場合にのみ、素早い相関に依存することを学習していることを示す。 本稿では,一対のニューラルネットワークを同時にトレーニングすることで,障害に基づくデバイアス化手法を提案する。 本手法は,合成データセットと実世界のデータセットの両方において,各種バイアスに対するネットワークのトレーニングを大幅に改善する。
  論文  参考訳（メタデータ） (2020-07-06T07:20:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。