論文の概要: BAD: BiAs Detection for Large Language Models in the context of
candidate screening
- arxiv url: http://arxiv.org/abs/2305.10407v1
- Date: Wed, 17 May 2023 17:47:31 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-18 14:31:34.663294
- Title: BAD: BiAs Detection for Large Language Models in the context of
candidate screening
- Title(参考訳): BAD:候補検定における大規模言語モデルのBiAs検出
- Authors: Nam Ho Koh, Joseph Plata, Joyce Chai
- Abstract要約: 本研究の目的は、ChatGPTや他のOpenAI LLMにおける社会的偏見の事例を候補検定の文脈で定量化することである。
これらのモデルの使用が、採用プロセスにおける既存のバイアスや不平等を持続させる方法を示します。
- 参考スコア(独自算出の注目度): 6.47452771256903
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Application Tracking Systems (ATS) have allowed talent managers, recruiters,
and college admissions committees to process large volumes of potential
candidate applications efficiently. Traditionally, this screening process was
conducted manually, creating major bottlenecks due to the quantity of
applications and introducing many instances of human bias. The advent of large
language models (LLMs) such as ChatGPT and the potential of adopting methods to
current automated application screening raises additional bias and fairness
issues that must be addressed. In this project, we wish to identify and
quantify the instances of social bias in ChatGPT and other OpenAI LLMs in the
context of candidate screening in order to demonstrate how the use of these
models could perpetuate existing biases and inequalities in the hiring process.
- Abstract(参考訳): アプリケーショントラッキングシステム(ats)は、タレントマネージャー、リクルーター、大学入学者委員会が大量の候補アプリケーションを効率的に処理することを可能にした。
伝統的に、このスクリーニングプロセスは手動で行われ、アプリケーションの数と人間のバイアスの多さによる大きなボトルネックを生み出した。
ChatGPTのような大規模言語モデル(LLM)の出現と、現在の自動アプリケーションのスクリーニングにメソッドを採用する可能性により、さらにバイアスと公平性の問題に対処しなければならない。
本稿では,ChatGPTや他のOpenAI LLMにおける社会的偏見の事例を候補検定の文脈で特定し,定量化し,これらのモデルが採用プロセスにおける既存のバイアスや不平等をいかに持続させるかを示す。
関連論文リスト
- Evaluating and Mitigating Discrimination in Language Model Decisions [22.89413932780164]
本稿では,言語モデル(LM)の潜在的な差別的影響を,幅広いユースケースで積極的に評価する手法を提案する。
我々は、LMを用いて、意思決定者がLMに入力できる幅広い潜在的なプロンプトを生成し、社会全体で70の多様な意思決定シナリオにまたがる。
この方法論を適用することで、介入が適用されない場合の選択設定において、Claude 2.0モデルにおける肯定的および否定的な差別のパターンが明らかになる。
論文 参考訳(メタデータ) (2023-12-06T18:53:01Z) - On the steerability of large language models toward data-driven personas [103.17413190093366]
協調フィルタリングに基づくデータ駆動型ペルソナ定義手法を提案する。
ユーザの連続表現を仮想トークンのシーケンスにマッピングするために,ソフトプロンプトモデルを学ぶ。
以上の結果から,本アルゴリズムはベースラインの収集よりも性能が優れていることがわかった。
論文 参考訳(メタデータ) (2023-11-08T19:01:13Z) - The Shifted and The Overlooked: A Task-oriented Investigation of
User-GPT Interactions [114.67699010359637]
実際のユーザクエリの大規模なコレクションをGPTに解析する。
ユーザインタラクションでは'設計'や'計画'といったタスクが一般的だが,従来のNLPベンチマークとは大きく異なる。
論文 参考訳(メタデータ) (2023-10-19T02:12:17Z) - Generative Judge for Evaluating Alignment [84.09815387884753]
本稿では,これらの課題に対処するために,13Bパラメータを持つ生成判断器Auto-Jを提案する。
我々のモデルは,大規模な実環境シナリオ下でのユーザクエリとLLM生成応答に基づいて訓練されている。
実験的に、Auto-Jはオープンソースモデルとクローズドソースモデルの両方を含む、強力なライバルのシリーズを上回っている。
論文 参考訳(メタデータ) (2023-10-09T07:27:15Z) - Bias and Fairness in Large Language Models: A Survey [76.65471160523444]
本稿では,大規模言語モデル(LLM)のバイアス評価と緩和手法に関する総合的な調査を行う。
まず、自然言語処理における社会的偏見と公平性の概念を統合し、形式化し、拡張する。
次に,3つの直感的な2つのバイアス評価法と1つの緩和法を提案し,文献を統一する。
論文 参考訳(メタデータ) (2023-09-02T00:32:55Z) - Analysis of the Cambridge Multiple-Choice Questions Reading Dataset with
a Focus on Candidate Response Distribution [38.58190457533888]
候補分布マッチングのタスクを導入し、タスクの評価指標をいくつか提案し、RACE++でトレーニングされた自動システムをタスクのベースラインとして活用できることを実証する。
さらに,これらの自動システムは,過度な障害検出などの実運用前評価タスクに利用できることを示す。
論文 参考訳(メタデータ) (2023-06-22T17:13:08Z) - Soft-prompt Tuning for Large Language Models to Evaluate Bias [0.03141085922386211]
ソフトプロンプトを用いてバイアスを評価することで、人間のバイアス注入を避けるというメリットが得られます。
グループフェアネス(バイアス)を用いて、異なる感度属性のモデルバイアスをチェックし、興味深いバイアスパターンを見つけます。
論文 参考訳(メタデータ) (2023-06-07T19:11:25Z) - Large Language Models are Not Yet Human-Level Evaluators for Abstractive
Summarization [66.08074487429477]
抽象的な要約のための自動評価器として,大規模言語モデル(LLM)の安定性と信頼性について検討する。
また、ChatGPTとGPT-4は、一般的に使われている自動測定値よりも優れていますが、人間の代替品として準備ができていません。
論文 参考訳(メタデータ) (2023-05-22T14:58:13Z) - Automated stance detection in complex topics and small languages: the
challenging case of immigration in polarizing news media [0.0]
本稿では,大規模言語モデルによる自動姿勢検出への適用性について検討する。
形態学的に複雑で、低資源の言語であり、社会文化的に複雑な話題である移民を含んでいる。
このケースでアプローチがうまくいけば、要求の少ないシナリオでも同じように、あるいはより良く実行されることが期待できる。
論文 参考訳(メタデータ) (2023-05-22T13:56:35Z) - Large Language Models are Zero-Shot Rankers for Recommender Systems [76.02500186203929]
本研究では,レコメンダシステムのランキングモデルとして機能する大規模言語モデル(LLM)の能力を検討することを目的とする。
LLMにはゼロショットランキング能力があるが、歴史的相互作用の順序を理解するのに苦労していることを示す。
これらの問題は、特別に設計されたプロンプトとブートストラップ戦略によって緩和可能であることを実証する。
論文 参考訳(メタデータ) (2023-05-15T17:57:39Z) - Toward a traceable, explainable, and fairJD/Resume recommendation system [10.820022470618234]
自動採用システムの開発は今でも大きな課題の1つだ。
我々の目的は、JD/Resumeマッチングプロセスを強化するために、現代言語モデルと知識ベースとデータセットを組み合わせる方法を探ることである。
論文 参考訳(メタデータ) (2022-02-02T18:17:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。