論文の概要: Uncovering Bias in Foundation Models: Impact, Testing, Harm, and Mitigation

• arxiv url: http://arxiv.org/abs/2501.10453v1
• Date: Tue, 14 Jan 2025 19:06:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-26 02:12:17.277347
• Title: Uncovering Bias in Foundation Models: Impact, Testing, Harm, and Mitigation
• Title（参考訳）: 基礎モデルにおけるバイアスの発見:影響、テスト、ハーム、緩和
• Authors: Shuzhou Sun, Li Liu, Yongxiang Liu, Zhen Liu, Shuanghui Zhang, Janne Heikkilä, Xiang Li,
• Abstract要約: Bias in Foundation Models (FMs) は、医療、教育、金融といった分野における公平性と株式に対する重大な課題を提起する。 これらのバイアスは、トレーニングデータにおけるステレオタイプと社会的不平等の過剰表現に根ざし、現実世界の差別を悪化させ、有害なステレオタイプを強化し、AIシステムにおけるゼロ信頼を補強する。 本稿では,意味論的に設計されたプローブを用いて,明示的かつ暗黙的なバイアスを検出するシステムテスト手法であるTriProTestingを紹介する。
• 参考スコア（独自算出の注目度）: 26.713973033726464
• License:
• Abstract: Bias in Foundation Models (FMs) - trained on vast datasets spanning societal and historical knowledge - poses significant challenges for fairness and equity across fields such as healthcare, education, and finance. These biases, rooted in the overrepresentation of stereotypes and societal inequalities in training data, exacerbate real-world discrimination, reinforce harmful stereotypes, and erode trust in AI systems. To address this, we introduce Trident Probe Testing (TriProTesting), a systematic testing method that detects explicit and implicit biases using semantically designed probes. Here we show that FMs, including CLIP, ALIGN, BridgeTower, and OWLv2, demonstrate pervasive biases across single and mixed social attributes (gender, race, age, and occupation). Notably, we uncover mixed biases when social attributes are combined, such as gender x race, gender x age, and gender x occupation, revealing deeper layers of discrimination. We further propose Adaptive Logit Adjustment (AdaLogAdjustment), a post-processing technique that dynamically redistributes probability power to mitigate these biases effectively, achieving significant improvements in fairness without retraining models. These findings highlight the urgent need for ethical AI practices and interdisciplinary solutions to address biases not only at the model level but also in societal structures. Our work provides a scalable and interpretable solution that advances fairness in AI systems while offering practical insights for future research on fair AI technologies.
• Abstract（参考訳）: Bias in Foundation Models (FMs) - 社会的および歴史的知識にまたがる膨大なデータセットに基づいて訓練された、医療、教育、金融といった分野における公正性と株式に対する重大な課題を提起する。 これらのバイアスは、トレーニングデータにおけるステレオタイプと社会的不平等の過剰表現に根ざし、現実世界の差別を悪化させ、有害なステレオタイプを強化し、AIシステムにおけるゼロ信頼を補強する。 この問題を解決するために,意味論的に設計されたプローブを用いて,明示的かつ暗黙的なバイアスを検出するシステムテスト手法であるTriProTestingを紹介した。 ここでは、CLIP、ALIGN、BridgeTower、OWLv2などのFMが、単一と混在する社会的属性(性別、人種、年齢、職業)に広範に偏っていることを示す。 特に、性別xの人種、性別xの年齢、性別xの職業など、社会的属性が組み合わさった場合の混合バイアスを明らかにし、より深い差別層を明らかにする。 さらに,適応ロジット調整(AdaLogAdjustment, AdaLogAdjustment, AdaLogAdjustment, AdaLogAdjustment, AdaLogAdjustment)を提案する。 これらの知見は、モデルレベルだけでなく社会的構造においてもバイアスに対処するための倫理的AIプラクティスと学際的ソリューションの緊急の必要性を強調している。 私たちの研究は、スケーラブルで解釈可能なソリューションを提供し、AIシステムの公正性を向上するとともに、将来の公正なAI技術研究のための実践的な洞察を提供します。

関連論文リスト

• The Pursuit of Fairness in Artificial Intelligence Models: A Survey [2.124791625488617]
  この調査は、研究者がAIシステムの公正性を促進する方法の相乗効果を提供する。 AIモデルのバイアスを軽減するために研究者が採用したアプローチとテクニックについて、徹底的な研究がなされている。 また、偏見付きモデルがユーザエクスペリエンスに与える影響や、そのようなモデルの開発とデプロイにおいて考慮すべき倫理的考慮についても調べます。
  論文  参考訳（メタデータ） (2024-03-26T02:33:36Z)
• Fast Model Debias with Machine Unlearning [54.32026474971696]
  ディープニューラルネットワークは多くの現実世界のシナリオでバイアスのある振る舞いをする。 既存のデバイアス法は、バイアスラベルやモデル再トレーニングのコストが高い。 バイアスを特定し,評価し,除去するための効率的なアプローチを提供する高速モデル脱バイアスフレームワーク(FMD)を提案する。
  論文  参考訳（メタデータ） (2023-10-19T08:10:57Z)
• Fairness Explainability using Optimal Transport with Applications in Image Classification [0.46040036610482665]
  機械学習アプリケーションにおける差別の原因を明らかにするための包括的アプローチを提案する。 We leverage Wasserstein barycenters to achieve fair predictions and introduce an extension to pinpoint bias-associated region。 これにより、各特徴がバイアスに影響を及ぼすかどうかを測定するために強制的公正性を使用する凝集系を導出することができる。
  論文  参考訳（メタデータ） (2023-08-22T00:10:23Z)
• Learning for Counterfactual Fairness from Observational Data [62.43249746968616]
  公正な機械学習は、人種、性別、年齢などの特定の保護された(感受性のある)属性によって記述されるある種のサブグループに対して、学習モデルのバイアスを取り除くことを目的としている。 カウンターファクトフェアネスを達成するための既存の手法の前提条件は、データに対する因果モデルの事前の人間の知識である。 本研究では,新しいフレームワークCLAIREを提案することにより,因果関係を付与せずに観測データから対実的に公正な予測を行う問題に対処する。
  論文  参考訳（メタデータ） (2023-07-17T04:08:29Z)
• D-BIAS: A Causality-Based Human-in-the-Loop System for Tackling Algorithmic Bias [57.87117733071416]
  D-BIASは、人間のループ内AIアプローチを具現化し、社会的バイアスを監査し軽減する視覚対話型ツールである。 ユーザは、因果ネットワークにおける不公平な因果関係を識別することにより、グループに対する偏見の存在を検出することができる。 それぞれのインタラクション、例えばバイアスのある因果縁の弱体化/削除は、新しい(偏りのある)データセットをシミュレートするために、新しい方法を用いている。
  論文  参考訳（メタデータ） (2022-08-10T03:41:48Z)
• Optimising Equal Opportunity Fairness in Model Training [60.0947291284978]
  既存のデバイアス法、例えば、敵の訓練や、表現から保護された情報を取り除くことは、バイアスを減らすことが示されている。 2つの新たな学習目標を提案し,2つの分類課題における高い性能を維持しつつ,バイアスの低減に有効であることを示す。
  論文  参考訳（メタデータ） (2022-05-05T01:57:58Z)
• Statistical discrimination in learning agents [64.78141757063142]
  統計的差別は、訓練人口のバイアスとエージェントアーキテクチャの両方の関数としてエージェントポリシーに現れる。 我々は、リカレントニューラルネットワークを使用するエージェントによる差別の低減と、トレーニング環境のバイアスの低減が示される。
  論文  参考訳（メタデータ） (2021-10-21T18:28:57Z)
• Improving Fairness of AI Systems with Lossless De-biasing [15.039284892391565]
  AIシステムのバイアスを緩和して全体的な公正性を高めることが重要な課題となっている。 我々は,不利益グループにおけるデータの不足を対象とする情報損失のない脱バイアス手法を提案する。
  論文  参考訳（メタデータ） (2021-05-10T17:38:38Z)
• Fair Representation Learning for Heterogeneous Information Networks [35.80367469624887]
  公平なHIN表現学習のための包括的非バイアス化手法を提案する。 これらのアルゴリズムの挙動,特にフェアネスと予測精度のトレードオフをバランスさせる能力について検討した。 キャリアカウンセリングの自動化アプリケーションにおいて,提案手法の性能を評価する。
  論文  参考訳（メタデータ） (2021-04-18T08:28:18Z)
• Representative & Fair Synthetic Data [68.8204255655161]
  公平性制約を自己監督学習プロセスに組み込むためのフレームワークを提示する。 私たちはuci成人国勢調査データセットの代表者および公正版を作成します。 我々は、代表的かつ公正な合成データを将来有望なビルディングブロックとみなし、歴史的世界ではなく、私たちが生きようとしている世界についてアルゴリズムを教える。
  論文  参考訳（メタデータ） (2021-04-07T09:19:46Z)
• No computation without representation: Avoiding data and algorithm biases through diversity [11.12971845021808]
  学術的および専門的なコンピューティング分野における多様性の欠如と、データセットで発生するバイアスのタイプと幅の関連性を引き合いに出す。 これらの教訓を利用して、コンピューティングコミュニティが多様性を高めるための具体的なステップを提供するレコメンデーションを開発する。
  論文  参考訳（メタデータ） (2020-02-26T23:07:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。