論文の概要: First-Person Fairness in Chatbots
- arxiv url: http://arxiv.org/abs/2410.19803v1
- Date: Wed, 16 Oct 2024 17:59:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-03 07:49:55.667781
- Title: First-Person Fairness in Chatbots
- Title（参考訳）: チャットボットにおける初対人フェアネス
- Authors: Tyna Eloundou, Alex Beutel, David G. Robinson, Keren Gu-Lemberg, Anna-Luisa Brakman, Pamela Mishkin, Meghan Shah, Johannes Heidecke, Lilian Weng, Adam Tauman Kalai,
- Abstract要約: ユーザに対する公平さを意味する「ファースト・パーソナライズ・フェアネス」について検討する。
これには、アイデンティティやバックグラウンドに関わらず、すべてのユーザに高品質なレスポンスを提供することが含まれる。
本稿では,一人称フェアネスの1つの側面を評価するための,スケーラブルなプライバシ保護手法を提案する。
- 参考スコア（独自算出の注目度）: 13.787745105316043
- License:
- Abstract: Chatbots like ChatGPT are used for diverse purposes, ranging from resume writing to entertainment. These real-world applications are different from the institutional uses, such as resume screening or credit scoring, which have been the focus of much of AI research on fairness. Ensuring equitable treatment for all users in these first-person contexts is critical. In this work, we study "first-person fairness," which means fairness toward the chatbot user. This includes providing high-quality responses to all users regardless of their identity or background and avoiding harmful stereotypes. We propose a scalable, privacy-preserving method for evaluating one aspect of first-person fairness across a large, heterogeneous corpus of real-world chatbot interactions. Specifically, we assess potential bias linked to users' names, which can serve as proxies for demographic attributes like gender or race, in chatbot systems such as ChatGPT, which provide mechanisms for storing and using user names. Our method leverages a second language model to privately analyze name-sensitivity in the chatbot's responses. We verify the validity of these annotations through independent human evaluation. Further, we show that post-training interventions, including RL, significantly mitigate harmful stereotypes. Our approach also yields succinct descriptions of response differences across tasks. For instance, in the "writing a story" task, chatbot responses show a tendency to create protagonists whose gender matches the likely gender inferred from the user's name. Moreover, a pattern emerges where users with female-associated names receive responses with friendlier and simpler language slightly more often than users with male-associated names. Finally, we provide the system messages required for external researchers to further investigate ChatGPT's behavior with hypothetical user profiles.
- Abstract（参考訳）: ChatGPTのようなチャットボットは、履歴書からエンターテイメントまで、さまざまな目的で使用されている。
これらの現実世界のアプリケーションは、フェアネスに関するAI研究の多くに焦点が当てられている、履歴書のスクリーニングやクレジットスコアなど、制度的な用途とは異なる。
これらのファースト・パーソン・コンテキストにおける全てのユーザーに対する公平な扱いを保証することが重要である。
本研究では,チャットボット利用者に対するフェアネスを意味する「ファースト・パーソナライズ・フェアネス」について検討する。
これには、アイデンティティやバックグラウンドに関わらず、すべてのユーザに高品質なレスポンスを提供し、有害なステレオタイプを避けることが含まれる。
実世界のチャットボットインタラクションの多種多様なコーパスにまたがる一対一の公平性を評価するための,スケーラブルでプライバシ保護手法を提案する。
具体的には、ChatGPTなどのチャットボットシステムにおいて、性別や人種などの人口統計属性のプロキシとして機能するユーザ名に関連付けられた潜在的なバイアスを評価し、ユーザ名を保存および使用するためのメカニズムを提供する。
本手法は,チャットボットの応答における名前の感度をプライベートに解析するために,第2言語モデルを利用する。
我々はこれらのアノテーションの有効性を、独立した人的評価によって検証する。
さらに,RLを含む訓練後の介入は有害なステレオタイプを著しく軽減することを示した。
提案手法は,タスク間の応答差を簡潔に記述する。
例えば、「ストーリーを書く」タスクでは、チャットボットの応答は、ユーザの名前から推測される可能性のある性別と性別が一致した主人公を作る傾向を示す。
さらに、女性関連名を持つユーザが、男性関連名を持つユーザよりも、親しみやすい、より単純な言語で応答を受け取るパターンが出現する。
最後に,外部研究者がChatGPTの振る舞いを仮説的ユーザプロファイルでさらに調査するために必要なシステムメッセージを提供する。
関連論文リスト
- Primacy Effect of ChatGPT [69.49920102917598]
本稿では,ChatGPTの優位性について検討する。
実験と分析により、より信頼性の高いChatGPTベースのソリューションを構築する上で、さらなる洞察が得られればと思っています。
論文 参考訳（メタデータ） (2023-10-20T00:37:28Z) - How Prevalent is Gender Bias in ChatGPT? -- Exploring German and English ChatGPT Responses [0.20971479389679337]
私たちは、ChatGPTが、IT以外のユーザが日々の作業のためにテキストをドラフトするのに役立つことを示しています。
システムの応答をバイアスだけでなく、構文的および文法的ミスに対して徹底的にチェックすることが極めて重要です。
論文 参考訳（メタデータ） (2023-09-21T07:54:25Z) - Adding guardrails to advanced chatbots [5.203329540700177]
2022年11月にChatGPTがローンチされ、AIの新しい時代が到来した。
さまざまな仕事のために、人間がチャットボットに取って代わられるのではないか、という懸念はすでにある。
これらのバイアスは、異なるサブポピュレーションに対して重大な害および/または不平等を引き起こす可能性がある。
論文 参考訳（メタデータ） (2023-06-13T02:23:04Z) - ChatGPT or Human? Detect and Explain. Explaining Decisions of Machine
Learning Model for Detecting Short ChatGPT-generated Text [2.0378492681344493]
機械学習モデルを効果的に訓練することにより、本来の人間と一見人間(すなわちChatGPT生成)のテキストを正確に区別できるかどうかを検討する。
我々は、ChatGPT生成テキストと人文生成テキストを区別するために訓練されたモデルの背後にある理由を理解するために、説明可能な人工知能フレームワークを使用している。
本研究は,人間生成テキストとChatGPT生成テキストを比較した2つの実験を行い,短いオンラインレビューに焦点を当てた。
論文 参考訳（メタデータ） (2023-01-30T08:06:08Z) - Understanding How People Rate Their Conversations [73.17730062864314]
我々は、人々が会話エージェントとのインタラクションをどのように評価するかをよりよく理解するために研究を行う。
我々は、評価の変動を説明する変数として、同意性と外向性に焦点を当てる。
論文 参考訳（メタデータ） (2022-06-01T00:45:32Z) - One Chatbot Per Person: Creating Personalized Chatbots based on Implicit
User Profiles [31.432585994256375]
既存のパーソナライズされたアプローチは、いくつかのテキスト記述を明示的なユーザプロファイルとして組み込もうとした。
我々は、ユーザの履歴応答から一般ユーザプロファイルを構築するために、パーソナライズされた言語モデルを訓練する。
我々は、汎用語彙から単語を生成し、ユーザのパーソナライズされた語彙から1単語をコピーする2つのデコード戦略を融合するパーソナライズされたデコーダを設計する。
論文 参考訳（メタデータ） (2021-08-20T20:33:12Z) - Revealing Persona Biases in Dialogue Systems [64.96908171646808]
対話システムにおけるペルソナバイアスに関する最初の大規模研究について述べる。
我々は、異なる社会階級、性的指向、人種、性別のペルソナの分析を行う。
BlenderおよびDialoGPT対話システムの研究では、ペルソナの選択が生成された応答の害の程度に影響を与える可能性があることを示しています。
論文 参考訳（メタデータ） (2021-04-18T05:44:41Z) - Put Chatbot into Its Interlocutor's Shoes: New Framework to Learn
Chatbot Responding with Intention [55.77218465471519]
本稿では,チャットボットに人間のような意図を持つための革新的なフレームワークを提案する。
我々のフレームワークには、ガイドロボットと人間の役割を担うインターロケータモデルが含まれていた。
本フレームワークを3つの実験的なセットアップを用いて検討し,4つの異なる指標を用いた誘導ロボットの評価を行い,柔軟性と性能の利点を実証した。
論文 参考訳（メタデータ） (2021-03-30T15:24:37Z) - Dialogue History Matters! Personalized Response Selectionin Multi-turn
Retrieval-based Chatbots [62.295373408415365]
本稿では,コンテキスト応答マッチングのためのパーソナライズドハイブリッドマッチングネットワーク(phmn)を提案する。
1) ユーザ固有の対話履歴からパーソナライズされた発話行動を付加的なマッチング情報として抽出する。
ユーザ識別による2つの大規模データセット,すなわちパーソナライズされた対話 Corpus Ubuntu (P-Ubuntu) とパーソナライズされたWeiboデータセット (P-Weibo) のモデルを評価する。
論文 参考訳（メタデータ） (2021-03-17T09:42:11Z) - Personalized Chatbot Trustworthiness Ratings [19.537492400265577]
我々は、各問題に対する個別の格付けモジュールに依存するチャットボットのためのパーソナライズされた格付け手法を構想する。
この方法は、特定の信頼問題とは独立しており、集計手順にパラメトリックである。
論文 参考訳（メタデータ） (2020-05-13T22:42:45Z) - A Neural Topical Expansion Framework for Unstructured Persona-oriented
Dialogue Generation [52.743311026230714]
Persona Exploration and Exploitation (PEE)は、事前に定義されたユーザペルソナ記述を意味論的に相関したコンテンツで拡張することができる。
PEEはペルソナ探索とペルソナ搾取という2つの主要なモジュールで構成されている。
提案手法は, 自動評価と人的評価の両面で, 最先端のベースラインを上回っている。
論文 参考訳（メタデータ） (2020-02-06T08:24:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。