論文の概要: A critical appraisal of equity in conversational AI: Evidence from auditing GPT-3's dialogues with different publics on climate change and Black Lives Matter

• arxiv url: http://arxiv.org/abs/2209.13627v1
• Date: Tue, 27 Sep 2022 18:44:41 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-29 16:02:14.165625
• Title: A critical appraisal of equity in conversational AI: Evidence from auditing GPT-3's dialogues with different publics on climate change and Black Lives Matter
• Title（参考訳）: 会話型AIにおけるエクイティの批判的評価--GPT-3の気候変動とブラックライフマターに関する異なる大衆との対話の監査から
• Authors: Kaiping Chen, Anqi Shao, Jirayu Burapacheep, Yixuan Li
• Abstract要約: 本稿では,人間とAIの対話において,株式の意味を解き放つための分析的枠組みを提案する。 我々のコーパスは、GPT-3と3290人間の2万ラウンド以上の対話で構成されています。 世論や教育マイノリティのサブ集団の中で,GPT-3のユーザ体験が著しく悪化していることが判明した。
• 参考スコア（独自算出の注目度）: 17.549208519206605
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Autoregressive language models, which use deep learning to produce human-like texts, have become increasingly widespread. Such models are powering popular virtual assistants in areas like smart health, finance, and autonomous driving. While the parameters of these large language models are improving, concerns persist that these models might not work equally for all subgroups in society. Despite growing discussions of AI fairness across disciplines, there lacks systemic metrics to assess what equity means in dialogue systems and how to engage different populations in the assessment loop. Grounded in theories of deliberative democracy and science and technology studies, this paper proposes an analytical framework for unpacking the meaning of equity in human-AI dialogues. Using this framework, we conducted an auditing study to examine how GPT-3 responded to different sub-populations on crucial science and social topics: climate change and the Black Lives Matter (BLM) movement. Our corpus consists of over 20,000 rounds of dialogues between GPT-3 and 3290 individuals who vary in gender, race and ethnicity, education level, English as a first language, and opinions toward the issues. We found a substantively worse user experience with GPT-3 among the opinion and the education minority subpopulations; however, these two groups achieved the largest knowledge gain, changing attitudes toward supporting BLM and climate change efforts after the chat. We traced these user experience divides to conversational differences and found that GPT-3 used more negative expressions when it responded to the education and opinion minority groups, compared to its responses to the majority groups. We discuss the implications of our findings for a deliberative conversational AI system that centralizes diversity, equity, and inclusion.
• Abstract（参考訳）: ディープラーニングを使って人間のようなテキストを生成する自動回帰言語モデルは、ますます広まりつつある。 このようなモデルは、スマートヘルス、ファイナンス、自動運転といった分野で人気のあるバーチャルアシスタントを動かしている。 これらの大きな言語モデルのパラメータは改善されているが、これらのモデルが社会のすべてのサブグループで等しく機能しないのではないかという懸念は残る。 規律間のAIフェアネスに関する議論が増えているにもかかわらず、対話システムにおけるエクイティと、アセスメントループにおける異なる集団の関わり方を評価するための体系的な指標が欠如している。 本稿では,人間とAIの対話において,株式の意味を解き放つための分析的枠組みを提案する。 この枠組みを用いて,GPT-3は,気候変動やBLM(Black Lives Matter)運動といった重要な科学・社会分野において,様々なサブ集団に対してどのように反応するかを監査研究した。 我々のコーパスは、ジェンダー、人種、民族、教育レベル、第一言語としての英語、問題に対する意見の異なるGPT-3と3290の2万回以上の対話で構成されています。 GPT-3のユーザ体験は,世論や教育マイノリティのサブ集団の中で著しく悪化しているが,この2つのグループは,チャット後のBLM支援や気候変動対策に対する態度を変えながら,最大の知識獲得を達成した。 我々は,これらのユーザ体験の相違点を会話の相違点として追跡し,GPT-3は,多数派と比較して,教育や世論の少数派に対して,ネガティブな表現を多く用いた。 本稿では,多様性,公平性,包摂性を集中化する会話型AIシステムについて,本研究の意義について論じる。

関連論文リスト

• Large Language Models Reflect the Ideology of their Creators [73.25935570218375]
  大規模言語モデル(LLM)は、自然言語を生成するために大量のデータに基づいて訓練される。 異なるLLMや言語にまたがるイデオロギー的姿勢の顕著な多様性を明らかにする。
  論文  参考訳（メタデータ） (2024-10-24T04:02:30Z)
• Dialogue You Can Trust: Human and AI Perspectives on Generated Conversations [1.178527785547223]
  本研究では,対話シナリオにおける人間とAIアセスメントの比較パフォーマンスについて検討する。 実験1では,コヒーレンス,イノベーション,具体性,ゴールコントリビューションに関する多人数会話を評価した。 実験2では,ダイアドダイアログに着目し,コモンセンス・コントラディクション,不正確なファクト,冗長性を評価した。
  論文  参考訳（メタデータ） (2024-09-03T11:40:38Z)
• Representation Bias in Political Sample Simulations with Large Language Models [54.48283690603358]
  本研究は,大規模言語モデルを用いた政治サンプルのシミュレーションにおけるバイアスの同定と定量化を目的とする。 GPT-3.5-Turboモデルを用いて、米国選挙研究、ドイツ縦割り選挙研究、ズオビアオデータセット、中国家族パネル研究のデータを活用する。
  論文  参考訳（メタデータ） (2024-07-16T05:52:26Z)
• Language Model Alignment in Multilingual Trolley Problems [138.5684081822807]
  Moral Machine 実験に基づいて,MultiTP と呼ばれる100以上の言語でモラルジレンマヴィグネットの言語間コーパスを開発する。 分析では、19の異なるLLMと人間の判断を一致させ、6つのモラル次元をまたいだ嗜好を捉えた。 我々は、AIシステムにおける一様道徳的推論の仮定に挑戦し、言語間のアライメントの顕著なばらつきを発見した。
  論文  参考訳（メタデータ） (2024-07-02T14:02:53Z)
• The PRISM Alignment Project: What Participatory, Representative and Individualised Human Feedback Reveals About the Subjective and Multicultural Alignment of Large Language Models [67.38144169029617]
  PRISMは,75か国から1500人の多様な参加者を対象に,社会デマトグラフィーをマッピングし,嗜好を提示する新しいデータセットである。 PRISMは、(i)ヒトのフィードバックデータにおける地理的および人口統計学的関与、(ii)集団福祉(UKとUS)を理解するための2つの国勢調査表現サンプル、(iii)全ての評価が詳細な参加者プロファイルに関連付けられている個別化されたフィードバックに寄与する。
  論文  参考訳（メタデータ） (2024-04-24T17:51:36Z)
• The effect of diversity on group decision-making [11.079483551335597]
  小集団は対話を通じて直感的なバイアスを克服し、個人の意思決定を改善することができることを示す。 大規模なサンプルと異なる運用方法によって、より認知的な多様性がより成功したグループ熟考と結びついていることが一貫して明らかになる。
  論文  参考訳（メタデータ） (2024-02-02T14:15:01Z)
• AI, write an essay for me: A large-scale comparison of human-written versus ChatGPT-generated essays [66.36541161082856]
  ChatGPTや同様の生成AIモデルは、何億人ものユーザーを惹きつけている。 本研究は,ChatGPTが生成した議論的学生エッセイと比較した。
  論文  参考訳（メタデータ） (2023-04-24T12:58:28Z)
• AI Chat Assistants can Improve Conversations about Divisive Topics [3.8583005413310625]
  我々は、人工知能ツールを用いてオンライン会話をいかに改善できるかを示す大規模な実験の結果を示す。 我々は、参加者の会話で理解される感覚の向上を目的とした、リアルタイムなエビデンスベースのレコメンデーションを実現するために、大きな言語モデルを採用している。 これらの介入は、会話の内容の体系的変更や人々の政策姿勢の移動を伴わずに、報告された会話の質を改善し、政治的分裂を減らし、トーンを改善する。
  論文  参考訳（メタデータ） (2023-02-14T06:42:09Z)
• My Teacher Thinks The World Is Flat! Interpreting Automatic Essay Scoring Mechanism [71.34160809068996]
  最近の研究では、自動スコアリングシステムが常識的な敵対的サンプルになりやすいことが示されています。 近年の解釈能力の進歩を活かし,コヒーレンスやコンテント,関連性といった特徴がスコアリングの自動化にどの程度重要であるかを見出す。 また、モデルが意味的に世界知識や常識に基づかないことから、世界のような虚偽の事実を追加することは、それを減らすよりもむしろスコアを増加させる。
  論文  参考訳（メタデータ） (2020-12-27T06:19:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。