論文の概要: Nigerian Software Engineer or American Data Scientist? GitHub Profile Recruitment Bias in Large Language Models

• arxiv url: http://arxiv.org/abs/2409.12544v2
• Date: Tue, 14 Jan 2025 05:20:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-15 13:26:34.643341
• Title: Nigerian Software Engineer or American Data Scientist? GitHub Profile Recruitment Bias in Large Language Models
• Title（参考訳）: ナイジェリアのソフトウェアエンジニアかアメリカのデータサイエンティストか? 大規模な言語モデルにおけるGitHubプロファイルのリクルートバイアス
• Authors: Takashi Nakano, Kazumasa Shimari, Raula Gaikovina Kula, Christoph Treude, Marc Cheong, Kenichi Matsumoto,
• Abstract要約: 私たちはOpenAIのChatGPTを使って、4つのリージョンからGitHub User Profileを使って6人のソフトウェア開発チームを募集しています。 結果から,ChatGPTは2つのプロファイルの位置情報文字列をスワップしても,他のリージョンよりも好みを示すことがわかった。 ChatGPTは特定の国のユーザに特定の開発者ロールを割り当てる傾向があり、暗黙の偏見が浮かび上がっていた。
• 参考スコア（独自算出の注目度）: 9.040645392561196
• License:
• Abstract: Large Language Models (LLMs) have taken the world by storm, demonstrating their ability not only to automate tedious tasks, but also to show some degree of proficiency in completing software engineering tasks. A key concern with LLMs is their "black-box" nature, which obscures their internal workings and could lead to societal biases in their outputs. In the software engineering context, in this early results paper, we empirically explore how well LLMs can automate recruitment tasks for a geographically diverse software team. We use OpenAI's ChatGPT to conduct an initial set of experiments using GitHub User Profiles from four regions to recruit a six-person software development team, analyzing a total of 3,657 profiles over a five-year period (2019-2023). Results indicate that ChatGPT shows preference for some regions over others, even when swapping the location strings of two profiles (counterfactuals). Furthermore, ChatGPT was more likely to assign certain developer roles to users from a specific country, revealing an implicit bias. Overall, this study reveals insights into the inner workings of LLMs and has implications for mitigating such societal biases in these models.
• Abstract（参考訳）: 大きな言語モデル(LLM)は、退屈なタスクを自動化するだけでなく、ソフトウェアエンジニアリングタスクの完了にある程度の習熟度を示す能力を示している。 LLMの主な関心事は、内部の働きを曖昧にし、出力に社会的バイアスをもたらす「ブラックボックス」の性質である。 ソフトウェアエンジニアリングの文脈では、この初期の成果論文では、LLMが地理的に多様なソフトウェアチームのための採用タスクをいかに自動化できるかを実証的に検討しています。 OpenAIのChatGPTを使って、4つのリージョンからGitHub User Profileを使って6人のソフトウェア開発チームを募集し、5年間(2019年～2023年)に合計3,657のプロファイルを分析しました。 結果から,ChatGPTは2つのプロファイル(数値)の位置文字列をスワップしても,他の領域よりも好みを示すことがわかった。 さらにChatGPTは、特定の国のユーザに特定の開発者ロールを割り当てる傾向があり、暗黙の偏見が浮かび上がっていた。 本研究は, LLMの内部構造に関する知見を明らかにするとともに, これらのモデルにおける社会的バイアスの軽減に寄与すると考えられる。

関連論文リスト

• LLMs are Imperfect, Then What? An Empirical Study on LLM Failures in Software Engineering [38.20696656193963]
  非自明なソフトウェアエンジニアリングタスクにおいて,ChatGPTをコーディングアシスタントとして使用した22名の参加者を対象に,観察的研究を行った。 そこで我々は,ChatGPTが失敗した事例,その根本原因,およびユーザが使用する緩和ソリューションを特定した。
  論文  参考訳（メタデータ） (2024-11-15T03:29:41Z)
• Unveiling ChatGPT's Usage in Open Source Projects: A Mining-based Study [17.952085678503362]
  大規模言語モデル(LLM)は、ソフトウェア工学コミュニティで大きな注目を集めています。 1,501件のコミット、プルリクエスト、そして、そのタスクを達成するためのChatGPTの使用を示す正規表現をマッチングすることで、オープンソースプロジェクトからの問題に対処しています。 これにより、開発者はChatGPTを介して自動化される45のタスクの分類結果が得られた。
  論文  参考訳（メタデータ） (2024-02-26T10:58:51Z)
• Pride and Prejudice: LLM Amplifies Self-Bias in Self-Refinement [75.7148545929689]
  大規模言語モデル(LLM)は、特定のタスクの自己フィードバックを通じてパフォーマンスを向上し、他のタスクを劣化させる。 我々は、LSMの自己バイアス(自称世代を好む傾向)を正式に定義する。 我々は、翻訳、制約付きテキスト生成、数学的推論の6つのLCMを解析する。
  論文  参考訳（メタデータ） (2024-02-18T03:10:39Z)
• ChatGPT's One-year Anniversary: Are Open-Source Large Language Models Catching up? [71.12709925152784]
  ChatGPTは、AIのランドスケープ全体において、地震的な変化をもたらした。 モデルは人間の質問に答え、幅広いタスクのパネルで指示に従うことができることを示した。 クローズドソースのLLMは一般的にオープンソースよりも優れていますが、後者の進歩は急速に進んでいます。 これは研究だけでなく、ビジネスにも重要な意味を持つ。
  論文  参考訳（メタデータ） (2023-11-28T17:44:51Z)
• SeqGPT: An Out-of-the-box Large Language Model for Open Domain Sequence Understanding [103.34092301324425]
  大規模言語モデル(LLM)は、オープンドメインのNLPタスクに顕著な能力を示している。 本稿では、オープンドメインの自然言語理解に特化して強化された、バイリンガル(英語と中国語)のオープンソース自己回帰モデルSeqGPTを提案する。
  論文  参考訳（メタデータ） (2023-08-21T07:31:19Z)
• Do Large Language Models Pay Similar Attention Like Human Programmers When Generating Code? [10.249771123421432]
  我々は,Large Language Models (LLMs) が,コード生成中に人間のプログラマと同じタスク記述に係わるかどうかを検討する。 手動で211の間違ったコードスニペットを分析し、多くのコード生成エラーを説明するのに使える5つの注意パターンを見つけました。 この結果から,人間によるLLMの理解性向上とプログラマの信頼度向上の必要性が浮き彫りになった。
  論文  参考訳（メタデータ） (2023-06-02T00:57:03Z)
• Analysis of ChatGPT on Source Code [1.3381749415517021]
  本稿では,大規模言語モデル(LLM),特にプログラミング,ソースコード解析,コード生成におけるChatGPTの利用について検討する。 LLMとChatGPTは機械学習と人工知能の技術を使って構築されており、開発者とプログラマにいくつかの利点を提供している。
  論文  参考訳（メタデータ） (2023-06-01T12:12:59Z)
• Is ChatGPT Good at Search? Investigating Large Language Models as Re-Ranking Agents [56.104476412839944]
  大規模言語モデル(LLM)は、様々な言語関連タスクにまたがる顕著なゼロショットの一般化を実証している。 本稿では、情報検索(IR)における関連性ランキングのためのジェネレーティブLLMについて検討する。 LLMのデータ汚染に関する懸念に対処するため,我々はNovereEvalという新しいテストセットを収集した。 実世界のアプリケーションの効率を向上させるため、ChatGPTのランキング能力を小さな特殊モデルに蒸留する可能性を探る。
  論文  参考訳（メタデータ） (2023-04-19T10:16:03Z)
• Can Large Language Models Transform Computational Social Science? [79.62471267510963]
  大規模言語モデル(LLM)は、(トレーニングデータなしで)ゼロショットで多くの言語処理タスクを実行することができる この研究は、計算社会科学ツールとしてLLMを使用するためのロードマップを提供する。
  論文  参考訳（メタデータ） (2023-04-12T17:33:28Z)
• A Multitask, Multilingual, Multimodal Evaluation of ChatGPT on Reasoning, Hallucination, and Interactivity [79.12003701981092]
  8種類の共通NLPアプリケーションタスクをカバーする23のデータセットを用いてChatGPTの広範な技術的評価を行う。 これらのデータセットと、新たに設計されたマルチモーダルデータセットに基づいて、ChatGPTのマルチタスク、マルチリンガル、マルチモーダルの側面を評価する。 ChatGPTの精度は平均63.41%で、論理的推論、非テキスト的推論、コモンセンス推論の10の異なる推論カテゴリで正確である。
  論文  参考訳（メタデータ） (2023-02-08T12:35:34Z)
• AI-enabled exploration of Instagram profiles predicts soft skills and personality traits to empower hiring decisions [0.0]
  我々は、Instagramのプロフィールから、16のオンデマンドソフトスキルからなる幅広い行動能力を自動的に予測できることを示した。 モデルは、オンラインアンケートに回答し、Instagramのユーザー名を提供した400人のイランのボランティアユーザーのサンプルに基づいて構築された。 ディープラーニングモデルは、それぞれ2レベルと3レベルの分類において、70%と69%の平均精度を示すことで、主にパフォーマンスを向上した。
  論文  参考訳（メタデータ） (2022-12-14T07:35:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。