論文の概要: A study on the distribution of social biases in self-supervised learning visual models

• arxiv url: http://arxiv.org/abs/2203.01854v1
• Date: Thu, 3 Mar 2022 17:03:21 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-04 16:07:23.596719
• Title: A study on the distribution of social biases in self-supervised learning visual models
• Title（参考訳）: 自己教師付き学習視覚モデルにおける社会的バイアスの分布に関する研究
• Authors: Kirill Sirotkin, Pablo Carballeira, Marcos Escudero-Vi\~nolo
• Abstract要約: ラベル付きデータを必要としないので、自己監視学習(SSL)は効率的でバイアスのないソリューションとして誤って現れます。 SSLモデルの種類と、それが組み込むバイアスの数との間には相関関係があることが示される。 我々は、SSLモデル選択プロセスが、デプロイされたモデルにおける社会的バイアスの数を減らすことができると結論付けている。
• 参考スコア（独自算出の注目度）: 1.8692254863855964
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep neural networks are efficient at learning the data distribution if it is sufficiently sampled. However, they can be strongly biased by non-relevant factors implicitly incorporated in the training data. These include operational biases, such as ineffective or uneven data sampling, but also ethical concerns, as the social biases are implicitly present\textemdash even inadvertently, in the training data or explicitly defined in unfair training schedules. In tasks having impact on human processes, the learning of social biases may produce discriminatory, unethical and untrustworthy consequences. It is often assumed that social biases stem from supervised learning on labelled data, and thus, Self-Supervised Learning (SSL) wrongly appears as an efficient and bias-free solution, as it does not require labelled data. However, it was recently proven that a popular SSL method also incorporates biases. In this paper, we study the biases of a varied set of SSL visual models, trained using ImageNet data, using a method and dataset designed by psychological experts to measure social biases. We show that there is a correlation between the type of the SSL model and the number of biases that it incorporates. Furthermore, the results also suggest that this number does not strictly depend on the model's accuracy and changes throughout the network. Finally, we conclude that a careful SSL model selection process can reduce the number of social biases in the deployed model, whilst keeping high performance.
• Abstract（参考訳）: ディープニューラルネットワークは、十分にサンプル化されている場合、データ分布の学習に有効である。 しかし、トレーニングデータに暗黙的に組み込まれている非関連要因に強く偏っている。 これらは、非効率なデータサンプリングや不均一なデータサンプリングのような運用上のバイアスを含むが、社会的バイアスが暗黙的に存在することや、トレーニングデータや不公平なトレーニングスケジュールで明示的に定義されていることなど、倫理的な懸念もある。 人間のプロセスに影響を与えるタスクでは、社会的偏見の学習は差別的で非倫理的で信頼できない結果をもたらす可能性がある。 社会的バイアスはラベル付きデータに対する教師付き学習に由来すると考えられており、ラベル付きデータを必要としないため、自己監視学習(SSL)は効率的でバイアスのないソリューションとして誤って現れる。 しかし最近、一般的なSSLメソッドにもバイアスが組み込まれていることが証明された。 本稿では,様々なsslビジュアルモデルのバイアスをイメージネットデータを用いて学習し,心理専門家が社会バイアスを測定するために設計した手法とデータセットを用いて検討する。 SSLモデルの種類とそれが組み込むバイアスの数との間には相関関係があることが示されている。 さらに,この数値は,ネットワーク全体のモデルの精度や変化に厳密には依存しないことが示唆された。 最後に、注意深いSSLモデル選択プロセスは、高い性能を維持しながら、デプロイされたモデルにおける社会的バイアスの数を減らすことができると結論づける。

関連論文リスト

• Towards the Mitigation of Confirmation Bias in Semi-supervised Learning: a Debiased Training Perspective [6.164100243945264]
  半教師付き学習(SSL)は、モデルが特定のクラスを不均等に好むという、一般的に確認バイアスを示す。 SSLのデバイアスドトレーニングのための統合フレームワークであるTaMatchを紹介します。 TaMatchは,様々な課題の画像分類タスクにおいて,既存の最先端手法よりも大幅に優れていることを示す。
  論文  参考訳（メタデータ） (2024-09-26T21:50:30Z)
• On the social bias of speech self-supervised models [45.787612513520386]
  SSLモデルの社会的バイアスは、差別的パターンを自動化し、不平等なシステムを補強することによって、不公平を永続することができる。 モデルアーキテクチャやサイズ,トレーニング方法論といったさまざまな要因が,これらのモデル内の社会的バイアスの伝播にどのように影響するかを考察する。 以上の結果から,行プルーニングやトレーニングなどの手法を用いることで,SSLモデル内の社会的バイアスを効果的に軽減できることがわかった。
  論文  参考訳（メタデータ） (2024-06-07T15:07:07Z)
• Evaluating Fairness in Self-supervised and Supervised Models for Sequential Data [10.626503137418636]
  自己教師型学習(SSL)は,大規模モデルのデファクトトレーニングパラダイムとなっている。 本研究では,事前学習と微調整が公正性に及ぼす影響について検討する。
  論文  参考訳（メタデータ） (2024-01-03T09:31:43Z)
• Fast Model Debias with Machine Unlearning [54.32026474971696]
  ディープニューラルネットワークは多くの現実世界のシナリオでバイアスのある振る舞いをする。 既存のデバイアス法は、バイアスラベルやモデル再トレーニングのコストが高い。 バイアスを特定し,評価し,除去するための効率的なアプローチを提供する高速モデル脱バイアスフレームワーク(FMD)を提案する。
  論文  参考訳（メタデータ） (2023-10-19T08:10:57Z)
• Progressive Feature Adjustment for Semi-supervised Learning from Pretrained Models [39.42802115580677]
  半教師付き学習(SSL)はラベル付きデータとラベルなしデータの両方を利用して予測モデルを構築することができる。 近年の文献では、事前訓練されたモデルで最先端のSSLを適用しても、トレーニングデータの潜在能力を最大限に発揮できないことが示唆されている。 本稿では,ラベルの誤りに敏感でない特徴抽出器を更新するために,非ラベルデータから擬似ラベルを使用することを提案する。
  論文  参考訳（メタデータ） (2023-09-09T01:57:14Z)
• D-BIAS: A Causality-Based Human-in-the-Loop System for Tackling Algorithmic Bias [57.87117733071416]
  D-BIASは、人間のループ内AIアプローチを具現化し、社会的バイアスを監査し軽減する視覚対話型ツールである。 ユーザは、因果ネットワークにおける不公平な因果関係を識別することにより、グループに対する偏見の存在を検出することができる。 それぞれのインタラクション、例えばバイアスのある因果縁の弱体化/削除は、新しい(偏りのある)データセットをシミュレートするために、新しい方法を用いている。
  論文  参考訳（メタデータ） (2022-08-10T03:41:48Z)
• Statistical discrimination in learning agents [64.78141757063142]
  統計的差別は、訓練人口のバイアスとエージェントアーキテクチャの両方の関数としてエージェントポリシーに現れる。 我々は、リカレントニューラルネットワークを使用するエージェントによる差別の低減と、トレーニング環境のバイアスの低減が示される。
  論文  参考訳（メタデータ） (2021-10-21T18:28:57Z)
• Self-supervised Learning is More Robust to Dataset Imbalance [65.84339596595383]
  データセット不均衡下での自己教師型学習について検討する。 既製の自己教師型表現は、教師型表現よりもクラス不均衡に対してすでに堅牢である。 我々は、不均衡なデータセット上でSSL表現品質を一貫して改善する、再重み付け正規化手法を考案した。
  論文  参考訳（メタデータ） (2021-10-11T06:29:56Z)
• Learning from Failure: Training Debiased Classifier from Biased Classifier [76.52804102765931]
  ニューラルネットワークは、所望の知識よりも学習が簡単である場合にのみ、素早い相関に依存することを学習していることを示す。 本稿では,一対のニューラルネットワークを同時にトレーニングすることで,障害に基づくデバイアス化手法を提案する。 本手法は,合成データセットと実世界のデータセットの両方において,各種バイアスに対するネットワークのトレーニングを大幅に改善する。
  論文  参考訳（メタデータ） (2020-07-06T07:20:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。