論文の概要: Fairness of ChatGPT

• arxiv url: http://arxiv.org/abs/2305.18569v2
• Date: Sun, 5 May 2024 19:15:30 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-08 01:26:19.615457
• Title: Fairness of ChatGPT
• Title（参考訳）: ChatGPTの公正性
• Authors: Yunqi Li, Lanjing Zhang, Yongfeng Zhang,
• Abstract要約: 本研究は,ChatGPTを研究事例として,LLMの有効性と妥当性を体系的に評価することを目的とする。 われわれは、ChatGPTの教育、犯罪学、金融、医療などハイテイク分野における業績を評価することに重点を置いている。 この研究は、LLMの公平性のパフォーマンスをより深く理解し、バイアス軽減を促進し、責任あるAIシステムの開発を促進する。
• 参考スコア（独自算出の注目度）: 30.969927447499405
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Understanding and addressing unfairness in LLMs are crucial for responsible AI deployment. However, there is a limited number of quantitative analyses and in-depth studies regarding fairness evaluations in LLMs, especially when applying LLMs to high-stakes fields. This work aims to fill this gap by providing a systematic evaluation of the effectiveness and fairness of LLMs using ChatGPT as a study case. We focus on assessing ChatGPT's performance in high-takes fields including education, criminology, finance and healthcare. To conduct a thorough evaluation, we consider both group fairness and individual fairness metrics. We also observe the disparities in ChatGPT's outputs under a set of biased or unbiased prompts. This work contributes to a deeper understanding of LLMs' fairness performance, facilitates bias mitigation and fosters the development of responsible AI systems.
• Abstract（参考訳）: LLMにおける不公平さの理解と対処は、AIデプロイメントの責任を負う上で不可欠である。 しかし,LLMの公平性評価については,特にLLMを高感度分野に適用する場合に,定量分析や詳細な研究が限られている。 本研究は,ChatGPTを研究事例として,LLMの有効性と公平性を体系的に評価することで,このギャップを埋めることを目的としている。 われわれは、ChatGPTの教育、犯罪学、金融、医療などハイテイク分野における業績を評価することに重点を置いている。 徹底的な評価を行うには、グループフェアネスと個人フェアネスの指標の両方を考慮する。 また,ChatGPTの出力の差を偏りや偏りのない一連のプロンプトで観察する。 この研究は、LLMの公平性のパフォーマンスをより深く理解し、バイアス軽減を促進し、責任あるAIシステムの開発を促進する。

関連論文リスト

• Justice or Prejudice? Quantifying Biases in LLM-as-a-Judge [84.34545223897578]
  多くの領域で優れているにもかかわらず、潜在的な問題は未解決のままであり、その信頼性と実用性の範囲を損なう。 提案手法は, LLM-as-a-Judgeにおける各種類のバイアスを定量化し, 解析する自動バイアス定量化フレームワークである。 当社の作業は、これらの問題に対処するステークホルダの必要性を強調し、LLM-as-a-Judgeアプリケーションで注意を喚起します。
  論文  参考訳（メタデータ） (2024-10-03T17:53:30Z)
• Fairness in Large Language Models in Three Hours [2.443957114877221]
  このチュートリアルは、大規模言語モデルに関する文献の最近の進歩を体系的に概説する。 LLMにおける公平性の概念を考察し、バイアスを評価するための戦略と公正性を促進するために設計されたアルゴリズムを要約する。
  論文  参考訳（メタデータ） (2024-08-02T03:44:14Z)
• The Impossibility of Fair LLMs [59.424918263776284]
  大規模言語モデル(LLM)の時代において、公正なAIの必要性はますます明確になっている。 我々は、機械学習研究者が公正性を評価するために使った技術フレームワークについてレビューする。 我々は、特定のユースケースにおける公平性を達成するためのより現実的な目標のためのガイドラインを策定する。
  論文  参考訳（メタデータ） (2024-05-28T04:36:15Z)
• Decompose and Aggregate: A Step-by-Step Interpretable Evaluation Framework [75.81096662788254]
  大規模言語モデル(LLM)はスケーラブルで経済的な評価指標である。 これらの評価者がどの程度信頼できるかという問題は、重要な研究課題として浮上している。 本稿では,デコンプリートとアグリゲートを提案し,その評価プロセスを教育実践に基づいて異なる段階に分解する。
  論文  参考訳（メタデータ） (2024-05-24T08:12:30Z)
• Toward Self-Improvement of LLMs via Imagination, Searching, and Criticizing [56.75702900542643]
  大規模言語モデルの自己改善のためのAlphaLLMを紹介する。 モンテカルロ木探索(MCTS)とLLMを統合し、自己改善ループを確立する。 実験の結果,AlphaLLM は付加アノテーションを使わずに LLM の性能を大幅に向上することがわかった。
  論文  参考訳（メタデータ） (2024-04-18T15:21:34Z)
• Do Large Language Models Rank Fairly? An Empirical Study on the Fairness of LLMs as Rankers [27.66626125248612]
  本稿では,TREC Fair Ranking データセットを用いて,Large Language Models (LLMs) の評価実験を行った。 本稿では, 歴史的に検索結果に乏しい, 性別や地理的位置などの二項保護属性の表現に焦点を当てる。 我々の分析は、これらのLCMがこれらの属性に関連するクエリやドキュメントをどのように扱うのかを考察し、ランキングアルゴリズムのバイアスを明らかにすることを目的としている。
  論文  参考訳（メタデータ） (2024-04-04T04:23:19Z)
• Fairness in Large Language Models: A Taxonomic Survey [2.669847575321326]
  大規模言語モデル(LLM)は、様々な領域で顕著な成功を収めている。 多くの実世界のアプリケーションで有望な性能を示したにもかかわらず、これらのアルゴリズムのほとんどは公平さを考慮に入れていない。
  論文  参考訳（メタデータ） (2024-03-31T22:22:53Z)
• Few-Shot Fairness: Unveiling LLM's Potential for Fairness-Aware Classification [7.696798306913988]
  フェアネス定義に適合するフェアネス規則を概説する枠組みを導入する。 本稿では,テキスト内学習のための構成と,RAGを用いてテキスト内デモを選択する手順について検討する。 異なるLCMを用いて行った実験では、GPT-4は他のモデルと比較して精度と公平性の両方において優れた結果をもたらすことが示された。
  論文  参考訳（メタデータ） (2024-02-28T17:29:27Z)
• Rethinking the Roles of Large Language Models in Chinese Grammatical Error Correction [62.409807640887834]
  中国語の文法的誤り訂正(CGEC)は、入力文中のすべての文法的誤りを修正することを目的としている。 CGECの修正器としてのLLMの性能は、課題の焦点が難しいため不満足なままである。 CGECタスクにおけるLCMの役割を再考し、CGECでよりよく活用し、探索できるようにした。
  論文  参考訳（メタデータ） (2024-02-18T01:40:34Z)
• A Survey on Fairness in Large Language Models [28.05516809190299]
  大規模言語モデル(LLM)は、強力なパフォーマンスと開発見通しを示している。 LLMは、未処理のトレーニングデータから社会的バイアスをキャプチャし、そのバイアスを下流のタスクに伝達する。 不公平なLLMシステムは、望ましくない社会的影響と潜在的な害がある。
  論文  参考訳（メタデータ） (2023-08-20T03:30:22Z)
• A Survey on Evaluation of Large Language Models [87.60417393701331]
  大規模言語モデル(LLM)は、学術と産業の両方で人気が高まっている。 本稿では,評価方法,評価方法,評価方法の3つの重要な側面に焦点をあてる。
  論文  参考訳（メタデータ） (2023-07-06T16:28:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。