論文の概要: CLIP the Bias: How Useful is Balancing Data in Multimodal Learning?

• arxiv url: http://arxiv.org/abs/2403.04547v1
• Date: Thu, 7 Mar 2024 14:43:17 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-08 13:43:42.821945
• Title: CLIP the Bias: How Useful is Balancing Data in Multimodal Learning?
• Title（参考訳）: CLIP the Bias: マルチモーダル学習におけるデータのバランシングはどの程度有用か?
• Authors: Ibrahim Alabdulmohsin, Xiao Wang, Andreas Steiner, Priya Goyal, Alexander D'Amour, Xiaohua Zhai
• Abstract要約: 比較言語画像事前学習(CLIP)におけるバイアス軽減のためのデータバランスの有効性について検討する。 表現バイアスと相関バイアスの両方を低減するために,Multi-Modal Moment Matching (M4) と呼ばれる新しいアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 72.19502317793133
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study the effectiveness of data-balancing for mitigating biases in contrastive language-image pretraining (CLIP), identifying areas of strength and limitation. First, we reaffirm prior conclusions that CLIP models can inadvertently absorb societal stereotypes. To counter this, we present a novel algorithm, called Multi-Modal Moment Matching (M4), designed to reduce both representation and association biases (i.e. in first- and second-order statistics) in multimodal data. We use M4 to conduct an in-depth analysis taking into account various factors, such as the model, representation, and data size. Our study also explores the dynamic nature of how CLIP learns and unlearns biases. In particular, we find that fine-tuning is effective in countering representation biases, though its impact diminishes for association biases. Also, data balancing has a mixed impact on quality: it tends to improve classification but can hurt retrieval. Interestingly, data and architectural improvements seem to mitigate the negative impact of data balancing on performance; e.g. applying M4 to SigLIP-B/16 with data quality filters improves COCO image-to-text retrieval @5 from 86% (without data balancing) to 87% and ImageNet 0-shot classification from 77% to 77.5%! Finally, we conclude with recommendations for improving the efficacy of data balancing in multimodal systems.
• Abstract（参考訳）: 比較言語画像事前学習(CLIP)におけるバイアス軽減のためのデータバランスの有効性を検討した。 まず、CLIPモデルが社会的ステレオタイプを不注意に吸収できるという以前の結論を再確認する。 これに対応するために,マルチモーダルデータにおける表現バイアスと相関バイアス(一階・二階統計量)の低減を目的とした,Multi-Modal Moment Matching (M4) という新しいアルゴリズムを提案する。 我々はM4を用いて、モデル、表現、データサイズといった様々な要因を考慮した詳細な分析を行う。 また,CLIPが学習し,バイアスを解き放つ方法の動的性質についても検討した。 特に、微調整は表現バイアスに対抗するのに有効であるが、その影響は関連バイアスを減少させる。 また、データバランシングは品質に混ざり、分類を改善しがちだが、検索を損なう可能性がある。 例えば、データ品質フィルタでsiglip-b/16にm4を適用すると、coco画像からテキストへの検索が86%から87%に改善され、imagenet 0-shot分類が77%から77.5%に改善される。 最後に,マルチモーダルシステムにおけるデータバランシングの有効性を向上させることを推奨する。

関連論文リスト

• Conformal-in-the-Loop for Learning with Imbalanced Noisy Data [5.69777817429044]
  大規模なデータセットでは、クラス不均衡とラベルノイズが広まっています。 機械学習の研究の多くは、よくラベル付けされたバランスの取れたデータを前提としている。 コンフォーマル・イン・ザ・ループ(Conformal-in-the-Loop, CitL)は,コンフォーマルな予測に基づく手法を用いて,両課題に対処する新しいトレーニングフレームワークである。
  論文  参考訳（メタデータ） (2024-11-04T17:09:58Z)
• Safe Semi-Supervised Contrastive Learning Using In-Distribution Data as Positive Examples [3.4546761246181696]
  本稿では,大量のラベルのないデータを完全に活用するための,自己教師付きコントラスト学習手法を提案する。 その結果,自己指導型コントラスト学習は分類精度を著しく向上させることがわかった。
  論文  参考訳（メタデータ） (2024-08-03T22:33:13Z)
• Understanding the Detrimental Class-level Effects of Data Augmentation [63.1733767714073]
  最適な平均精度を達成するには、ImageNetで最大20%の個々のクラスの精度を著しく損なうコストがかかる。 本稿では,DAがクラスレベルの学習力学とどのように相互作用するかを理解するためのフレームワークを提案する。 そこで本研究では, クラス条件拡張戦略により, 負の影響を受けるクラスの性能が向上することを示す。
  論文  参考訳（メタデータ） (2023-12-07T18:37:43Z)
• Measuring and Improving Attentiveness to Partial Inputs with Counterfactuals [91.59906995214209]
  我々は,新しい評価手法であるCAT(Facterfactual Attentiveness Test)を提案する。 CATは、入力の一部を別の例から別の例に置き換えることで、予測を変更する注意深いモデルを期待することで、反事実を使用する。 実験データの精度が向上する一方, GPT3 は実演回数の増加により注意力の低下がみられた。
  論文  参考訳（メタデータ） (2023-11-16T06:27:35Z)
• Stubborn Lexical Bias in Data and Models [50.79738900885665]
  我々は、データに基づいてトレーニングされたモデルに、データのスプリアスパターンが現れるかどうかを調べるために、新しい統計手法を用いる。 トレーニングデータに*reweight*に最適化アプローチを適用し、数千のスプリアス相関を低減します。 驚くべきことに、この方法ではトレーニングデータの語彙バイアスを低減できますが、トレーニングされたモデルで対応するバイアスの強い証拠がまだ見つかっていません。
  論文  参考訳（メタデータ） (2023-06-03T20:12:27Z)
• FITNESS: A Causal De-correlation Approach for Mitigating Bias in Machine Learning Software [6.4073906779537095]
  バイアスデータセットは不公平で潜在的に有害な結果をもたらす可能性がある。 本稿では,感性特徴とラベルの因果関係を関連づけたバイアス緩和手法を提案する。 我々のキーとなる考え方は、因果関係の観点からそのような効果を非相関化することで、モデルが繊細な特徴に基づいて予測することを避けることである。
  論文  参考訳（メタデータ） (2023-05-23T06:24:43Z)
• Cross Pairwise Ranking for Unbiased Item Recommendation [57.71258289870123]
  我々はCPR(Cross Pairwise Ranking)という新しい学習パラダイムを開発する。 CPRは、露出メカニズムを知らずに不偏の推奨を達成する。 理論的には、この方法が学習に対するユーザ/イテムの適合性の影響を相殺することを証明する。
  論文  参考訳（メタデータ） (2022-04-26T09:20:27Z)
• Does Data Repair Lead to Fair Models? Curating Contextually Fair Data To Reduce Model Bias [10.639605996067534]
  コンテキスト情報は、より優れた表現を学び、精度を向上させるために、ディープニューラルネットワーク(DNN)にとって貴重なキューである。 COCOでは、多くの対象カテゴリーは、男性よりも男性の方がはるかに高い共起性を持ち、男性に有利なDNNの予測を偏見を与える可能性がある。 本研究では, 変動係数を用いたデータ修復アルゴリズムを導入し, 保護されたクラスに対して, 公平かつ文脈的にバランスの取れたデータをキュレートする。
  論文  参考訳（メタデータ） (2021-10-20T06:00:03Z)
• Provably Efficient Causal Reinforcement Learning with Confounded Observational Data [135.64775986546505]
  オフラインで収集されたデータセット(観測データ)を組み込んで、オンライン環境でのサンプル効率を改善する方法について検討する。 提案手法は,観測データを効率よく組み込んだ,分解された楽観的値反復 (DOVI) アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-06-22T14:49:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。