論文の概要: Big City Bias: Evaluating the Impact of Metropolitan Size on Computational Job Market Abilities of Language Models

• arxiv url: http://arxiv.org/abs/2403.08046v1
• Date: Tue, 12 Mar 2024 19:40:18 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-14 16:55:22.158086
• Title: Big City Bias: Evaluating the Impact of Metropolitan Size on Computational Job Market Abilities of Language Models
• Title（参考訳）: 大都市バイアス:大都市圏の規模が与える影響の評価 言語モデルの計算的ジョブマーケット能力
• Authors: Charlie Campanella, Rob van der Goot
• Abstract要約: 大規模言語モデル(LLM)は、候補者と雇用主の両方にとって、ジョブマッチングに有用な技術として登場した。 ジョブマッチングは、都市や地域など、特定の地理的位置に基づいて行われることが多い。 大規模言語モデルで符号化された大都市規模のバイアスを定量化し, ゼロショット給与, 雇用主の存在, 通勤時間予測を384大都市圏で評価した。
• 参考スコア（独自算出の注目度）: 12.01811996644995
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Large language models (LLMs) have emerged as a useful technology for job matching, for both candidates and employers. Job matching is often based on a particular geographic location, such as a city or region. However, LLMs have known biases, commonly derived from their training data. In this work, we aim to quantify the metropolitan size bias encoded within large language models, evaluating zero-shot salary, employer presence, and commute duration predictions in 384 of the United States' metropolitan regions. Across all benchmarks, we observe negative correlations between the metropolitan size and the performance of the LLMS, indicating that smaller regions are indeed underrepresented. More concretely, the smallest 10 metropolitan regions show upwards of 300% worse benchmark performance than the largest 10.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、候補者と雇用主の両方にとって、ジョブマッチングに有用な技術として登場した。 ジョブマッチングは、都市や地域など、特定の地理的位置に基づいて行われることが多い。 しかし、LSMはトレーニングデータから得られるバイアスをよく知っている。 本研究では,大規模言語モデルで符号化された大都市規模の偏差を定量化し,ゼロショット給与,雇用主の存在,通勤時間予測を米国の384大都市圏で評価することを目的とする。 すべてのベンチマークにおいて,都市規模とLLMSの性能との間には負の相関関係がみられ,小さい領域が実際にあまり表現されていないことが示唆された。 より具体的には、最も小さな10大都市圏は、最大10大都市圏よりも300%悪いベンチマークパフォーマンスを示している。

関連論文リスト

• Towards Resource Efficient and Interpretable Bias Mitigation in Large Language Models [1.787433808079955]
  大規模言語モデル (LLM) は、学習データにおいて望ましくないバイアスを持続させる。 本稿では,小さなバイアスとアンチバイアスのエキスパートモデルを利用してバイアスを緩和し,デバイアス信号を得る。 性別、人種、宗教の偏見を緩和する実験は、いくつかの地域および世界的な偏見指標に偏見を減少させる。
  論文  参考訳（メタデータ） (2024-12-02T16:56:08Z)
• Explainable Hierarchical Urban Representation Learning for Commuting Flow Prediction [1.5156879440024378]
  通勤フロー予測は、現実の自治体の業務に欠かせない課題である。 我々は,異なるタイプのODフローを予測するために,意味のある領域埋め込みを生成するヘテロジニアスグラフベースモデルを開発した。 提案モデルでは,一様都市構造の観点から既存モデルよりも優れた性能を示す。
  論文  参考訳（メタデータ） (2024-08-27T03:30:01Z)
• Large Language Models are Zero-Shot Next Location Predictors [4.315451628809687]
  大規模言語モデル(LLM)は、優れた一般化と推論能力を示している。 LLMは最大36.2%の精度を得ることができ、人間の移動性に特化して設計された他のモデルに比べて640%近く改善されている。
  論文  参考訳（メタデータ） (2024-05-31T16:07:33Z)
• Bias in Language Models: Beyond Trick Tests and Toward RUTEd Evaluation [49.3814117521631]
  大規模言語モデル(LLM)におけるバイアスと公平性の標準ベンチマークは、ユーザプロンプトに入力された社会的属性と短い応答の関係を測定する。 実世界の3つの文脈から類似したRUTEd評価法を開発した。 標準偏差指標は、より現実的な偏差指標と有意な相関関係がないことがわかった。
  論文  参考訳（メタデータ） (2024-02-20T01:49:15Z)
• Large Language Models are Geographically Biased [47.88767211956144]
  我々は、地理のレンズを通して、我々の住む世界について、Large Language Models (LLM)が何を知っているかを研究する。 我々は,地理空間予測において,システム的誤りと定義する,様々な問題的地理的バイアスを示す。
  論文  参考訳（メタデータ） (2024-02-05T02:32:09Z)
• GPTBIAS: A Comprehensive Framework for Evaluating Bias in Large Language Models [83.30078426829627]
  大規模言語モデル(LLM)は人気を集め、大規模なユーザコミュニティで広く採用されている。 既存の評価手法には多くの制約があり、それらの結果は限定的な解釈可能性を示している。 本稿では,LPMの高性能性を活用し,モデル内のバイアスを評価するGPTBIASというバイアス評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-11T12:02:14Z)
• Scaling Laws Do Not Scale [54.72120385955072]
  最近の研究によると、データセットのサイズが大きくなると、そのデータセットでトレーニングされたモデルのパフォーマンスが向上する。 このスケーリング法則の関係は、モデルのアウトプットの質を異なる集団がどのように認識するかと一致しないパフォーマンスを測定するために使われる指標に依存する、と我々は主張する。 異なるコミュニティは、互いに緊張関係にある価値を持ち、モデル評価に使用されるメトリクスについて、困難で、潜在的に不可能な選択をもたらす可能性がある。
  論文  参考訳（メタデータ） (2023-07-05T15:32:21Z)
• Benchmarking Large Language Models for News Summarization [79.37850439866938]
  大規模言語モデル(LLM)は自動要約を約束しているが、その成功の背景にある理由はよく分かっていない。 LLMのゼロショット要約能力の鍵は、モデルサイズではなく、命令チューニングにある。
  論文  参考訳（メタデータ） (2023-01-31T18:46:19Z)
• Geographic and Geopolitical Biases of Language Models [43.62238334380897]
  プレトレーニング言語モデル(PLM)における地理的バイアス(と知識)の研究手法を提案する。 以上の結果から, PLMの表現は, 国・国・国間の関連性の観点から, 物理的世界と驚くほどよく一致していることが示唆された。 最後に, 地理的近接性の概念を呈するにもかかわらず, PLMがいかに大きいかを説明する。
  論文  参考訳（メタデータ） (2022-12-20T16:32:54Z)
• Measuring Geographic Performance Disparities of Offensive Language Classifiers [12.545108947857802]
  「言語、方言、話題の内容は地域によって異なるのか?」「地域によって異なる場合、モデルのパフォーマンスに影響を及ぼすのか?」 同様に、攻撃的な言語モデルがアフリカ系アメリカ人の英語に偽陽性をもたらすのに対し、モデル性能は各都市の少数人口比と相関しないことを示す。
  論文  参考訳（メタデータ） (2022-09-15T15:08:18Z)
• Towards Measuring Bias in Image Classification [61.802949761385]
  畳み込みニューラルネットワーク(CNN)は、主要なコンピュータビジョンタスクの最先端技術となっている。 しかし、複雑な構造のため、その決定は産業世界の何らかの文脈での使用を制限するかを理解することは困難である。 帰属マップによるデータのバイアスを明らかにするための体系的なアプローチを提案する。
  論文  参考訳（メタデータ） (2021-07-01T10:50:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。