論文の概要: Examining the Robustness of Homogeneity Bias to Hyperparameter Adjustments in GPT-4

• arxiv url: http://arxiv.org/abs/2501.02211v1
• Date: Sat, 04 Jan 2025 06:51:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-07 17:09:58.134364
• Title: Examining the Robustness of Homogeneity Bias to Hyperparameter Adjustments in GPT-4
• Title（参考訳）: GPT-4のハイパーパラメータ調整に対する均一バイアスのロバスト性の検討
• Authors: Messi H. J. Lee,
• Abstract要約: 人間の生成した大量のデータを学習した視覚言語モデルは、しばしば社会的ステレオタイプを再現し増幅する。 我々は,このバイアスがGPT-4の過度パラメータ調整にどのように反応するかを検討する。 黒人や女性は、白人や男性よりも均質に表現されている。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Vision-Language Models trained on massive collections of human-generated data often reproduce and amplify societal stereotypes. One critical form of stereotyping reproduced by these models is homogeneity bias-the tendency to represent certain groups as more homogeneous than others. We investigate how this bias responds to hyperparameter adjustments in GPT-4, specifically examining sampling temperature and top p which control the randomness of model outputs. By generating stories about individuals from different racial and gender groups and comparing their similarities using vector representations, we assess both bias robustness and its relationship with hyperparameter values. We find that (1) homogeneity bias persists across most hyperparameter configurations, with Black Americans and women being represented more homogeneously than White Americans and men, (2) the relationship between hyperparameters and group representations shows unexpected non-linear patterns, particularly at extreme values, and (3) hyperparameter adjustments affect racial and gender homogeneity bias differently-while increasing temperature or decreasing top p can reduce racial homogeneity bias, these changes show different effects on gender homogeneity bias. Our findings suggest that while hyperparameter tuning may mitigate certain biases to some extent, it cannot serve as a universal solution for addressing homogeneity bias across different social group dimensions.
• Abstract（参考訳）: 人間の生成した大量のデータを学習した視覚言語モデルは、しばしば社会的ステレオタイプを再現し増幅する。 これらのモデルによって再現されるステレオタイピングの重要な形式は、同質性バイアス(英語版)であり、ある群を他の群よりも同質であることを示す傾向である。 モデル出力のランダム性を制御するサンプリング温度とトップpについて,このバイアスがGPT-4のハイパーパラメータ調整にどう反応するかを検討した。 人種や性別の異なるグループから物語を生成し、ベクトル表現を用いて類似性を比較することにより、偏りの頑健性とハイパーパラメーター値との関係を評価する。 その結果,(1) 黒人や女性の方が白人や男性より均質に表現されていること,(2) ハイパーパラメータとグループ表現の関係は,特に極端な値において予期せぬ非線形パターンを示すこと,(3) ハイパーパラメータ調整が人種的・性別的均質性バイアスに異なる影響を与えること,(3) 温度の上昇やトップpの低下が人種的均質性バイアスを減少させる可能性があること,これら変化は性別的均質性バイアスに異なる影響を示すことが判明した。 以上の結果から,ハイパーパラメータチューニングは特定のバイアスをある程度緩和する可能性があるが,社会集団の異なる次元における均一性バイアスに対処するための普遍的な解決策にはならないことが示唆された。

関連論文リスト

• Probability of Differentiation Reveals Brittleness of Homogeneity Bias in GPT-4 [0.0]
  LLM(Large Language Models)における均一性バイアス(英語版)とは、ある集団の表現を他と比較して均質化する傾向を指す。 このバイアスを文書化する以前の研究は、主にエンコーダモデルを使用しており、それは必然的にバイアスを導入した可能性がある。 本研究は、エンコーダモデルをバイパスして、モデル出力から均一性バイアスを直接評価する。
  論文  参考訳（メタデータ） (2024-07-10T02:56:55Z)
• AI-generated faces influence gender stereotypes and racial homogenization [1.6647208383676708]
  6つの人種、2つの性別、32の専門職、8つの属性にまたがる安定拡散の重大なバイアスを文書化しています。 この分析は、ほぼすべての中東の男性がひげを生やし、茶色く肌を生やし、伝統的な服装を身に着けている、重要な人種的均質化を示している。 本稿では、画像を生成する際に、人種や性別の望ましい分布をユーザが指定できるようにデバイアス化ソリューションを提案する。
  論文  参考訳（メタデータ） (2024-02-01T20:32:14Z)
• Causality and Independence Enhancement for Biased Node Classification [56.38828085943763]
  各種グラフニューラルネットワーク(GNN)に適用可能な新しい因果性・独立性向上(CIE)フレームワークを提案する。 提案手法は,ノード表現レベルでの因果的特徴と突発的特徴を推定し,突発的相関の影響を緩和する。 我々のアプローチCIEは、GNNの性能を大幅に向上するだけでなく、最先端の debiased ノード分類法よりも優れています。
  論文  参考訳（メタデータ） (2023-10-14T13:56:24Z)
• It's an Alignment, Not a Trade-off: Revisiting Bias and Variance in Deep Models [51.66015254740692]
  深層学習に基づく分類モデルのアンサンブルでは, バイアスと分散がサンプルレベルで一致していることが示される。 我々はこの現象をキャリブレーションと神経崩壊という2つの理論的観点から研究する。
  論文  参考訳（メタデータ） (2023-10-13T17:06:34Z)
• Analyzing Bias in Diffusion-based Face Generation Models [75.80072686374564]
  拡散モデルは、合成データ生成と画像編集アプリケーションでますます人気がある。 本研究では, 性別, 人種, 年齢などの属性に関して, 拡散型顔生成モデルにおけるバイアスの存在について検討する。 本研究は,GAN(Generative Adversarial Network)とGAN(Generative Adversarial Network)をベースとした顔生成モデルにおいて,データセットサイズが属性組成および知覚品質に与える影響について検討する。
  論文  参考訳（メタデータ） (2023-05-10T18:22:31Z)
• Counter-GAP: Counterfactual Bias Evaluation through Gendered Ambiguous Pronouns [53.62845317039185]
  バイアス測定データセットは、言語モデルのバイアスされた振る舞いを検出する上で重要な役割を果たす。 本稿では, 多様な, 自然な, 最小限のテキストペアを, 対物生成によって収集する新しい手法を提案する。 事前学習された4つの言語モデルは、各グループ内よりも、異なる性別グループ間でかなり不整合であることを示す。
  論文  参考訳（メタデータ） (2023-02-11T12:11:03Z)
• On the Strong Correlation Between Model Invariance and Generalization [54.812786542023325]
  一般化は、見えないデータを分類するモデルの能力をキャプチャする。 不変性はデータの変換におけるモデル予測の一貫性を測定する。 データセット中心の視点から、あるモデルの精度と不変性は異なるテストセット上で線形に相関している。
  論文  参考訳（メタデータ） (2022-07-14T17:08:25Z)
• On how to avoid exacerbating spurious correlations when models are overparameterized [33.315813572333745]
  VS-lossは、たとえスプリアス機能が強いとしても、マイノリティに公平なモデルを学ぶことを示す。 これまでの研究と比較すると、我々の境界はより一般的なモデルであり、それらは漸近的ではなく、極端な不均衡のシナリオにも適用される。
  論文  参考訳（メタデータ） (2022-06-25T21:53:44Z)
• Learning Debiased Representation via Disentangled Feature Augmentation [19.348340314001756]
  本稿では, 様々なバイアスを伴うサンプルを用いたトレーニングが, 脱バイアスに不可欠であることを示す実験的検討を行った。 本稿では, 多様なバイアス分散サンプルを合成するために, 特徴レベルのデータ拡張手法を提案する。
  論文  参考訳（メタデータ） (2021-07-03T08:03:25Z)
• Detecting Emergent Intersectional Biases: Contextualized Word Embeddings Contain a Distribution of Human-like Biases [10.713568409205077]
  最先端のニューラルネットワークモデルは、単語が現れるコンテキストに依存する動的単語埋め込みを生成する。 本稿では、ニューラルネットワークモデルにおける全体的なバイアスの大きさを要約できる、コンテキスト適応型埋め込みアソシエーションテスト(CEAT)を紹介する。 静的な単語埋め込みから交差点バイアスと緊急交差点バイアスを自動的に識別する2つの方法,IBD (Intersectional Bias Detection) とEmergent Intersectional Bias Detection (EIBD) を開発した。
  論文  参考訳（メタデータ） (2020-06-06T19:49:50Z)
• An Investigation of Why Overparameterization Exacerbates Spurious Correlations [98.3066727301239]
  この動作を駆動するトレーニングデータの2つの重要な特性を特定します。 モデルの"記憶"に対する帰納的バイアスが,パラメータ化の超過を損なう可能性を示す。
  論文  参考訳（メタデータ） (2020-05-09T01:59:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。