論文の概要: Gender inference: can chatGPT outperform common commercial tools?

• arxiv url: http://arxiv.org/abs/2312.00805v1
• Date: Fri, 24 Nov 2023 22:09:14 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-11 03:30:43.934970
• Title: Gender inference: can chatGPT outperform common commercial tools?
• Title（参考訳）: 性別推定:チャットGPTは一般的な商用ツールより優れているか?
• Authors: Michelle Alexopoulos, Kelly Lyons, Kaushar Mahetaji, Marcus Emmanuel Barnes, Rogan Gutwillinger
• Abstract要約: 生成人工知能(AI)ツールChatGPTと、市販のリストベースおよび機械学習ベースの性推論ツール3つを比較した。 具体的には、オリンピック選手の大規模なデータセットを使用して、入力のバリエーション(例えば、ファーストネームとファーストネームとラストネーム)が予測の正確さにどのように影響するかを報告します。 ChatGPTは少なくともNamsorと同様に動作し、特に国または/または名字情報が利用可能な女性のサンプルでは、その性能に優れることが多い。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: An increasing number of studies use gender information to understand phenomena such as gender bias, inequity in access and participation, or the impact of the Covid pandemic response. Unfortunately, most datasets do not include self-reported gender information, making it necessary for researchers to infer gender from other information, such as names or names and country information. An important limitation of these tools is that they fail to appropriately capture the fact that gender exists on a non-binary scale, however, it remains important to evaluate and compare how well these tools perform in a variety of contexts. In this paper, we compare the performance of a generative Artificial Intelligence (AI) tool ChatGPT with three commercially available list-based and machine learning-based gender inference tools (Namsor, Gender-API, and genderize.io) on a unique dataset. Specifically, we use a large Olympic athlete dataset and report how variations in the input (e.g., first name and first and last name, with and without country information) impact the accuracy of their predictions. We report results for the full set, as well as for the subsets: medal versus non-medal winners, athletes from the largest English-speaking countries, and athletes from East Asia. On these sets, we find that Namsor is the best traditional commercially available tool. However, ChatGPT performs at least as well as Namsor and often outperforms it, especially for the female sample when country and/or last name information is available. All tools perform better on medalists versus non-medalists and on names from English-speaking countries. Although not designed for this purpose, ChatGPT may be a cost-effective tool for gender prediction. In the future, it might even be possible for ChatGPT or other large scale language models to better identify self-reported gender rather than report gender on a binary scale.
• Abstract（参考訳）: 多くの研究がジェンダー情報を用いて、性バイアス、アクセスと参加の不平等、コビッドのパンデミック反応の影響などの現象を解明している。 残念ながら、ほとんどのデータセットには、自己報告された性別情報が含まれておらず、研究者が名前や名前、国情報など他の情報から性別を推測する必要がある。 これらのツールの重要な制限は、ジェンダーが非バイナリスケールに存在するという事実を適切に把握できないことであるが、これらのツールが様々な文脈でどのように機能するかを評価し比較することが重要である。 本稿では,生成型人工知能(AI)ツールChatGPTと市販の3つのリストベースおよび機械学習ベースの性別推定ツール(Namsor, Gender-API, genderize.io)を,ユニークなデータセットで比較する。 具体的には、大規模なオリンピック選手データセットを使用して、入力の変動(例えば、ファーストネームとファーストネームとラストネーム)が、その予測の正確さにどのように影響するかを報告します。 我々は、メダル対非メディカルの勝者、最大の英語圏の選手、東アジアの選手など、全セット、およびサブセットの成績を報告する。 これらのセットでは、namsorが最高の商用ツールであることが分かっています。 しかし、chatgptは少なくともnamsorと同等の性能を持ち、特にカントリーやラストネームの情報がある場合に女性のサンプルよりも優れています。 すべてのツールは、メダリストと非メディカリスト、および英語圏の国の名前に対してパフォーマンスが良い。 この目的のために設計されていないが、ChatGPTは性別予測のためのコスト効率の良いツールである。 将来的には、chatgptや他の大規模言語モデルが、バイナリスケールで性別を報告するのではなく、自己報告された性別を識別できるようになるかもしれない。

関連論文リスト

• Beyond Binary Gender: Evaluating Gender-Inclusive Machine Translation with Ambiguous Attitude Words [85.48043537327258]
  既存の機械翻訳の性別バイアス評価は主に男性と女性の性別に焦点を当てている。 本研究では,AmbGIMT (Gender-Inclusive Machine Translation with Ambiguous attitude words) のベンチマークを示す。 本研究では,感情的態度スコア(EAS)に基づく性別バイアス評価手法を提案する。
  論文  参考訳（メタデータ） (2024-07-23T08:13:51Z)
• Exploring the Impact of Training Data Distribution and Subword Tokenization on Gender Bias in Machine Translation [19.719314005149883]
  機械翻訳における性別バイアスに対するトークン化の効果について検討する。 職業名の女性および非ステレオタイプ性差は、サブワードトークンに分割される傾向にある。 その結果, 単語分割の分析は, トレーニングデータにおける性別形態の不均衡の予測に有効であることが示唆された。
  論文  参考訳（メタデータ） (2023-09-21T21:21:55Z)
• The Impact of Debiasing on the Performance of Language Models in Downstream Tasks is Underestimated [70.23064111640132]
  我々は、幅広いベンチマークデータセットを用いて、複数の下流タスクのパフォーマンスに対するデバイアスの影響を比較した。 実験により、デバイアスの効果は全てのタスクにおいて一貫して見積もられていることが示されている。
  論文  参考訳（メタデータ） (2023-09-16T20:25:34Z)
• The Gender-GAP Pipeline: A Gender-Aware Polyglot Pipeline for Gender Characterisation in 55 Languages [51.2321117760104]
  本稿では,55言語を対象とした大規模データセットにおけるジェンダー表現を特徴付ける自動パイプラインであるGender-GAP Pipelineについて述べる。 このパイプラインは、性別付き人称名詞の多言語語彙を用いて、テキスト中の性別表現を定量化する。 本稿では、WMTのトレーニングデータとNewsタスクの開発データにジェンダー表現を報告し、現在のデータが男性表現にスキューされていることを確認する。
  論文  参考訳（メタデータ） (2023-08-31T17:20:50Z)
• For the Underrepresented in Gender Bias Research: Chinese Name Gender Prediction with Heterogeneous Graph Attention Network [1.13608321568471]
  コンポーネント関係における不均一性を捉え,文字の発音を組み込むために,中国異種グラフ注意(CHGAT)モデルを設計する。 我々のモデルは現在のツールをはるかに上回り、最先端のアルゴリズムよりも優れています。 私たちは、よりバランスのとれた複数文字のデータセットを、公式のソースから、私たちのコードとともにオープンソース化しました。
  論文  参考訳（メタデータ） (2023-02-01T13:08:50Z)
• Exploring Gender Bias in Retrieval Models [2.594412743115663]
  情報検索におけるジェンダーバイアスの緩和は,ステレオタイプの普及を避けるために重要である。 本研究では,(1)クエリに対するドキュメントの関連性,(2)ドキュメントの“ジェンダー”という2つのコンポーネントからなるデータセットを用いる。 我々は,大容量のBERTエンコーダの完全微調整を行う場合,IRの事前学習モデルはゼロショット検索タスクではうまく動作しないことを示す。 また、事前学習されたモデルには性別バイアスがあり、検索された記事は女性よりも男性が多い傾向にあることを示した。
  論文  参考訳（メタデータ） (2022-08-02T21:12:05Z)
• Towards Understanding Gender-Seniority Compound Bias in Natural Language Generation [64.65911758042914]
  本研究では,事前学習したニューラルジェネレーションモデルにおける性別バイアスの程度に,高齢者がどのような影響を及ぼすかを検討する。 以上の結果から, GPT-2は, 両領域において, 女性を中年, 男性を中年として考えることにより, 偏見を増幅することが示された。 以上の結果から, GPT-2を用いて構築したNLPアプリケーションは, プロの能力において女性に害を与える可能性が示唆された。
  論文  参考訳（メタデータ） (2022-05-19T20:05:02Z)
• What's in a Name? -- Gender Classification of Names with Character Based Machine Learning Models [6.805167389805055]
  本稿では,登録ユーザの性別を宣言された名前に基づいて予測する問題を考察する。 1億人以上の利用者のファーストネームを分析したところ、性別は名前文字列の合成によって非常に効果的に分類できることがわかった。
  論文  参考訳（メタデータ） (2021-02-07T01:01:32Z)
• Mitigating Gender Bias in Captioning Systems [56.25457065032423]
  ほとんどのキャプションモデルは性別バイアスを学習し、特に女性にとって高い性別予測エラーにつながる。 本稿では, 視覚的注意を自己指導し, 正しい性的な視覚的証拠を捉えるためのガイド付き注意画像キャプチャーモデル(GAIC)を提案する。
  論文  参考訳（メタデータ） (2020-06-15T12:16:19Z)
• Gender in Danger? Evaluating Speech Translation Technology on the MuST-SHE Corpus [20.766890957411132]
  英語のような生産的な文法的なジェンダーのない言語からジェンダーマーク付き言語に翻訳することは、機械にとってよく知られた困難である。 ジェンダーバイアスを減らすために、オーディオは追加情報を提供できるか? 本稿では、音声翻訳における性差に関する最初の徹底的な調査を行い、将来の研究に役立つベンチマークのリリースに寄与する。
  論文  参考訳（メタデータ） (2020-06-10T09:55:38Z)
• Multi-Dimensional Gender Bias Classification [67.65551687580552]
  機械学習モデルは、性別に偏ったテキストでトレーニングする際に、社会的に望ましくないパターンを不注意に学習することができる。 本稿では,テキスト中の性バイアスを複数の実用的・意味的な次元に沿って分解する一般的な枠組みを提案する。 このきめ細かいフレームワークを用いて、8つの大規模データセットにジェンダー情報を自動的にアノテートする。
  論文  参考訳（メタデータ） (2020-05-01T21:23:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。