論文の概要: A critical appraisal of equity in conversational AI: Evidence from
auditing GPT-3's dialogues with different publics on climate change and Black
Lives Matter
- arxiv url: http://arxiv.org/abs/2209.13627v1
- Date: Tue, 27 Sep 2022 18:44:41 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-29 16:02:14.165625
- Title: A critical appraisal of equity in conversational AI: Evidence from
auditing GPT-3's dialogues with different publics on climate change and Black
Lives Matter
- Title(参考訳): 会話型AIにおけるエクイティの批判的評価--GPT-3の気候変動とブラックライフマターに関する異なる大衆との対話の監査から
- Authors: Kaiping Chen, Anqi Shao, Jirayu Burapacheep, Yixuan Li
- Abstract要約: 本稿では,人間とAIの対話において,株式の意味を解き放つための分析的枠組みを提案する。
我々のコーパスは、GPT-3と3290人間の2万ラウンド以上の対話で構成されています。
世論や教育マイノリティのサブ集団の中で,GPT-3のユーザ体験が著しく悪化していることが判明した。
- 参考スコア(独自算出の注目度): 17.549208519206605
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Autoregressive language models, which use deep learning to produce human-like
texts, have become increasingly widespread. Such models are powering popular
virtual assistants in areas like smart health, finance, and autonomous driving.
While the parameters of these large language models are improving, concerns
persist that these models might not work equally for all subgroups in society.
Despite growing discussions of AI fairness across disciplines, there lacks
systemic metrics to assess what equity means in dialogue systems and how to
engage different populations in the assessment loop. Grounded in theories of
deliberative democracy and science and technology studies, this paper proposes
an analytical framework for unpacking the meaning of equity in human-AI
dialogues. Using this framework, we conducted an auditing study to examine how
GPT-3 responded to different sub-populations on crucial science and social
topics: climate change and the Black Lives Matter (BLM) movement. Our corpus
consists of over 20,000 rounds of dialogues between GPT-3 and 3290 individuals
who vary in gender, race and ethnicity, education level, English as a first
language, and opinions toward the issues. We found a substantively worse user
experience with GPT-3 among the opinion and the education minority
subpopulations; however, these two groups achieved the largest knowledge gain,
changing attitudes toward supporting BLM and climate change efforts after the
chat. We traced these user experience divides to conversational differences and
found that GPT-3 used more negative expressions when it responded to the
education and opinion minority groups, compared to its responses to the
majority groups. We discuss the implications of our findings for a deliberative
conversational AI system that centralizes diversity, equity, and inclusion.
- Abstract(参考訳): ディープラーニングを使って人間のようなテキストを生成する自動回帰言語モデルは、ますます広まりつつある。
このようなモデルは、スマートヘルス、ファイナンス、自動運転といった分野で人気のあるバーチャルアシスタントを動かしている。
これらの大きな言語モデルのパラメータは改善されているが、これらのモデルが社会のすべてのサブグループで等しく機能しないのではないかという懸念は残る。
規律間のAIフェアネスに関する議論が増えているにもかかわらず、対話システムにおけるエクイティと、アセスメントループにおける異なる集団の関わり方を評価するための体系的な指標が欠如している。
本稿では,人間とAIの対話において,株式の意味を解き放つための分析的枠組みを提案する。
この枠組みを用いて,GPT-3は,気候変動やBLM(Black Lives Matter)運動といった重要な科学・社会分野において,様々なサブ集団に対してどのように反応するかを監査研究した。
我々のコーパスは、ジェンダー、人種、民族、教育レベル、第一言語としての英語、問題に対する意見の異なるGPT-3と3290の2万回以上の対話で構成されています。
GPT-3のユーザ体験は,世論や教育マイノリティのサブ集団の中で著しく悪化しているが,この2つのグループは,チャット後のBLM支援や気候変動対策に対する態度を変えながら,最大の知識獲得を達成した。
我々は,これらのユーザ体験の相違点を会話の相違点として追跡し,GPT-3は,多数派と比較して,教育や世論の少数派に対して,ネガティブな表現を多く用いた。
本稿では,多様性,公平性,包摂性を集中化する会話型AIシステムについて,本研究の意義について論じる。
関連論文リスト
- A Roadmap to Pluralistic Alignment [50.61544405061207]
本稿では,言語モデルをテストベッドとして用いた多元的アライメントのロードマップを提案する。
我々は,AIシステムにおける多元性を定義・運用する3つの可能な方法を特定し,定式化する。
我々は、現在のアライメント技術は、基本的に多元的AIに限られていると論じる。
論文 参考訳(メタデータ) (2024-02-07T18:21:17Z) - The effect of diversity on group decision-making [12.452229182692967]
小集団は対話を通じて直感的なバイアスを克服し、個人の意思決定を改善することができることを示す。
大規模なサンプルと異なる運用方法によって、より認知的な多様性がより成功したグループ熟考と結びついていることが一貫して明らかになる。
論文 参考訳(メタデータ) (2024-02-02T14:15:01Z) - Navigating the Ocean of Biases: Political Bias Attribution in Language
Models via Causal Structures [58.059631072902356]
我々は、LLMの価値観を批判したり、検証したりせず、どのようにして「良い議論」を解釈し、偏見づけるかを見極めることを目的としている。
本研究では,活動依存ネットワーク(ADN)を用いてLCMの暗黙的基準を抽出する。
人-AIアライメントとバイアス緩和について,本研究の結果について考察した。
論文 参考訳(メタデータ) (2023-11-15T00:02:25Z) - Vox Populi, Vox ChatGPT: Large Language Models, Education and Democracy [0.0]
本稿では,民主主義社会における大規模言語モデル(LLM)の変革的影響について考察する。
この議論は著者の本質を強調しており、理性に特有の人間の能力に根ざしている。
我々はリスクを軽減する手段として教育に重点を置くことを提唱する。
論文 参考訳(メタデータ) (2023-11-10T17:47:46Z) - A Framework to Assess (Dis)agreement Among Diverse Rater Groups [19.33317910796263]
本研究では,異なるレーダサブグループ間の視点において,系統的な多様性を測定するための総合的不一致分析フレームワークを提案する。
分析の結果,他のものよりも多様な視点を持つ特定のレーダ群が明らかとなり,安全アノテーションを検討する上で重要な人口動態軸が示唆された。
論文 参考訳(メタデータ) (2023-11-09T00:12:21Z) - Unveiling Gender Bias in Terms of Profession Across LLMs: Analyzing and
Addressing Sociological Implications [0.0]
この研究は、AI言語モデルにおけるジェンダーバイアスに関する既存の研究を調査し、現在の知識のギャップを特定する。
この結果は,大規模言語モデルのアウトプットに存在する,ジェンダー付き単語関連,言語使用,偏見付き物語に光を当てた。
本稿では,アルゴリズムアプローチやデータ拡張手法など,LSMにおける性別バイアスを低減するための戦略を提案する。
論文 参考訳(メタデータ) (2023-07-18T11:38:45Z) - AI, write an essay for me: A large-scale comparison of human-written
versus ChatGPT-generated essays [66.36541161082856]
ChatGPTや同様の生成AIモデルは、何億人ものユーザーを惹きつけている。
本研究は,ChatGPTが生成した議論的学生エッセイと比較した。
論文 参考訳(メタデータ) (2023-04-24T12:58:28Z) - AI Chat Assistants can Improve Conversations about Divisive Topics [3.8583005413310625]
我々は、人工知能ツールを用いてオンライン会話をいかに改善できるかを示す大規模な実験の結果を示す。
我々は、参加者の会話で理解される感覚の向上を目的とした、リアルタイムなエビデンスベースのレコメンデーションを実現するために、大きな言語モデルを採用している。
これらの介入は、会話の内容の体系的変更や人々の政策姿勢の移動を伴わずに、報告された会話の質を改善し、政治的分裂を減らし、トーンを改善する。
論文 参考訳(メタデータ) (2023-02-14T06:42:09Z) - Social Influence Dialogue Systems: A Scoping Survey of the Efforts
Towards Influence Capabilities of Dialogue Systems [50.57882213439553]
社会影響対話システムは、説得、交渉、治療を行うことができる。
これらのスキルを備えた対話システムには、正式な定義やカテゴリは存在しない。
この研究は、この新興地域でのより専用の研究と議論を促すために、社会影響対話システムの包括的参照となる。
論文 参考訳(メタデータ) (2022-10-11T17:57:23Z) - Revealing Persona Biases in Dialogue Systems [64.96908171646808]
対話システムにおけるペルソナバイアスに関する最初の大規模研究について述べる。
我々は、異なる社会階級、性的指向、人種、性別のペルソナの分析を行う。
BlenderおよびDialoGPT対話システムの研究では、ペルソナの選択が生成された応答の害の程度に影響を与える可能性があることを示しています。
論文 参考訳(メタデータ) (2021-04-18T05:44:41Z) - My Teacher Thinks The World Is Flat! Interpreting Automatic Essay
Scoring Mechanism [71.34160809068996]
最近の研究では、自動スコアリングシステムが常識的な敵対的サンプルになりやすいことが示されています。
近年の解釈能力の進歩を活かし,コヒーレンスやコンテント,関連性といった特徴がスコアリングの自動化にどの程度重要であるかを見出す。
また、モデルが意味的に世界知識や常識に基づかないことから、世界のような虚偽の事実を追加することは、それを減らすよりもむしろスコアを増加させる。
論文 参考訳(メタデータ) (2020-12-27T06:19:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。