論文の概要: Does Data-Efficient Generalization Exacerbate Bias in Foundation Models?

• arxiv url: http://arxiv.org/abs/2408.16154v2
• Date: Mon, 2 Sep 2024 16:58:16 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-04 12:43:33.316547
• Title: Does Data-Efficient Generalization Exacerbate Bias in Foundation Models?
• Title（参考訳）: データ効率の良い一般化は基礎モデルのバイアスを悪化させるか?
• Authors: Dilermando Queiroz, Anderson Carlos, Maíra Fatoretto, Luis Filipe Nakayama, André Anjos, Lilian Berton,
• Abstract要約: ファンデーションモデルは、様々なドメインでラベル効率を持つ堅牢なモデルとして登場した。 事前学習中に機密属性の存在に偏った大量のラベル付きデータを使用することが、モデルの公平性に影響を与えるかどうかは不明である。 本研究は,ブラジルの多ラベル眼科学データセットを微調整する際のファンデーションモデルのバイアスについて検討する。
• 参考スコア（独自算出の注目度）: 2.298227866545911
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Foundation models have emerged as robust models with label efficiency in diverse domains. In medical imaging, these models contribute to the advancement of medical diagnoses due to the difficulty in obtaining labeled data. However, it is unclear whether using a large amount of unlabeled data, biased by the presence of sensitive attributes during pre-training, influences the fairness of the model. This research examines the bias in the Foundation model (RetFound) when it is applied to fine-tune the Brazilian Multilabel Ophthalmological Dataset (BRSET), which has a different population than the pre-training dataset. The model evaluation, in comparison with supervised learning, shows that the Foundation Model has the potential to reduce the gap between the maximum AUC and minimum AUC evaluations across gender and age groups. However, in a data-efficient generalization, the model increases the bias when the data amount decreases. These findings suggest that when deploying a Foundation Model in real-life scenarios with limited data, the possibility of fairness issues should be considered.
• Abstract（参考訳）: ファンデーションモデルは、様々なドメインでラベル効率を持つ堅牢なモデルとして登場した。 医用画像では,ラベル付きデータの取得が困難であるため,診断の進歩に寄与する。 しかし、事前学習中に機密属性の存在に偏った大量のラベル付きデータを使用することが、モデルの公平性に影響を与えるかどうかは不明である。 本研究は,ブラジルの多ラベル眼科学データセット(BRSET)を微調整する際のファンデーションモデル(RetFound)のバイアスについて検討する。 モデル評価は、教師付き学習と比較して、基礎モデルが、最大AUCと最低AUCの男女・年齢グループ間のギャップを減じる可能性を示唆している。 しかし、データ効率の一般化では、データ量が減少するとバイアスが増大する。 これらの結果は,データ制限のある実生活シナリオにファンデーションモデルをデプロイする場合,公平性の問題の可能性を検討する必要があることを示唆している。

関連論文リスト

• Intriguing Properties of Data Attribution on Diffusion Models [33.77847454043439]
  データ帰属は、望ましいアウトプットをトレーニングデータに戻そうとする。 データ属性は、高直感的または著作権のあるデータを適切に割り当てるためのモジュールになっている。
  論文  参考訳（メタデータ） (2023-11-01T13:00:46Z)
• Fast Model Debias with Machine Unlearning [54.32026474971696]
  ディープニューラルネットワークは多くの現実世界のシナリオでバイアスのある振る舞いをする。 既存のデバイアス法は、バイアスラベルやモデル再トレーニングのコストが高い。 バイアスを特定し,評価し,除去するための効率的なアプローチを提供する高速モデル脱バイアスフレームワーク(FMD)を提案する。
  論文  参考訳（メタデータ） (2023-10-19T08:10:57Z)
• (Predictable) Performance Bias in Unsupervised Anomaly Detection [3.826262429926079]
  教師なし異常検出(UAD)モデルは、疾患検出の重要な第1ステップを支援することを約束する。 本研究は, ある集団群に対して, UADモデルの異なる性能を定量的に評価した。
  論文  参考訳（メタデータ） (2023-09-25T14:57:43Z)
• Stubborn Lexical Bias in Data and Models [50.79738900885665]
  我々は、データに基づいてトレーニングされたモデルに、データのスプリアスパターンが現れるかどうかを調べるために、新しい統計手法を用いる。 トレーニングデータに*reweight*に最適化アプローチを適用し、数千のスプリアス相関を低減します。 驚くべきことに、この方法ではトレーニングデータの語彙バイアスを低減できますが、トレーニングされたモデルで対応するバイアスの強い証拠がまだ見つかっていません。
  論文  参考訳（メタデータ） (2023-06-03T20:12:27Z)
• Analyzing Bias in Diffusion-based Face Generation Models [75.80072686374564]
  拡散モデルは、合成データ生成と画像編集アプリケーションでますます人気がある。 本研究では, 性別, 人種, 年齢などの属性に関して, 拡散型顔生成モデルにおけるバイアスの存在について検討する。 本研究は,GAN(Generative Adversarial Network)とGAN(Generative Adversarial Network)をベースとした顔生成モデルにおいて,データセットサイズが属性組成および知覚品質に与える影響について検討する。
  論文  参考訳（メタデータ） (2023-05-10T18:22:31Z)
• Non-Invasive Fairness in Learning through the Lens of Data Drift [88.37640805363317]
  データや学習アルゴリズムを変更することなく、機械学習モデルの公平性を向上する方法を示す。 異なる集団間の傾向のばらつきと、学習モデルと少数民族間の連続的な傾向は、データドリフトと類似している。 このドリフトを解決するための2つの戦略(モデル分割とリウィーディング)を探索し、基礎となるデータに対するモデル全体の適合性を改善することを目的としている。
  論文  参考訳（メタデータ） (2023-03-30T17:30:42Z)
• On the Efficacy of Adversarial Data Collection for Question Answering: Results from a Large-Scale Randomized Study [65.17429512679695]
  逆データ収集(ADC)では、人間の労働力がモデルとリアルタイムで対話し、誤った予測を誘発する例を作成しようとする。 ADCの直感的な魅力にも拘わらず、敵対的データセットのトレーニングがより堅牢なモデルを生成するかどうかは不明だ。
  論文  参考訳（メタデータ） (2021-06-02T00:48:33Z)
• The unreasonable effectiveness of Batch-Norm statistics in addressing catastrophic forgetting across medical institutions [8.244654685687054]
  モデル改良と事前学習した知識の保持のトレードオフについて検討する。 本稿では,従来のデータセットのグローバルバッチ正規化統計値を用いて,弾性重み付け(EWC)を適応する,単純で効果的な手法を提案する。
  論文  参考訳（メタデータ） (2020-11-16T16:57:05Z)
• On the Composition and Limitations of Publicly Available COVID-19 X-Ray Imaging Datasets [0.0]
  データ不足、トレーニングとターゲット人口のミスマッチ、グループ不均衡、ドキュメントの欠如は、バイアスの重要な原因である。 本稿では,現在公開されている新型コロナウイルス胸部X線データセットの概要を紹介する。
  論文  参考訳（メタデータ） (2020-08-26T14:16:01Z)
• CHEER: Rich Model Helps Poor Model via Knowledge Infusion [69.23072792708263]
  我々は、そのようなリッチなモデルを伝達可能な表現に簡潔に要約できる知識注入フレームワークCHEERを開発した。 実験の結果、CHEERは複数の生理的データセットのマクロF1スコアにおいて、ベースラインを5.60%から46.80%上回った。
  論文  参考訳（メタデータ） (2020-05-21T21:44:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。