論文の概要: First-Person Fairness in Chatbots

• arxiv url: http://arxiv.org/abs/2410.19803v2
• Date: Mon, 03 Mar 2025 15:13:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-04 17:04:19.528985
• Title: First-Person Fairness in Chatbots
• Title（参考訳）: チャットボットにおける初対人フェアネス
• Authors: Tyna Eloundou, Alex Beutel, David G. Robinson, Keren Gu-Lemberg, Anna-Luisa Brakman, Pamela Mishkin, Meghan Shah, Johannes Heidecke, Lilian Weng, Adam Tauman Kalai,
• Abstract要約: 第一対人公正性」を評価するためのスケーラブルな対実的アプローチを導入する。 このアプローチを適用して、数百万のインタラクションにまたがる6つの言語モデルのバイアスを評価する。 本研究は,実世界のチャットデータに基づく,初めての大規模公正度評価である。
• 参考スコア（独自算出の注目度）: 13.787745105316043
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Evaluating chatbot fairness is crucial given their rapid proliferation, yet typical chatbot tasks (e.g., resume writing, entertainment) diverge from the institutional decision-making tasks (e.g., resume screening) which have traditionally been central to discussion of algorithmic fairness. The open-ended nature and diverse use-cases of chatbots necessitate novel methods for bias assessment. This paper addresses these challenges by introducing a scalable counterfactual approach to evaluate "first-person fairness," meaning fairness toward chatbot users based on demographic characteristics. Our method employs a Language Model as a Research Assistant (LMRA) to yield quantitative measures of harmful stereotypes and qualitative analyses of demographic differences in chatbot responses. We apply this approach to assess biases in six of our language models across millions of interactions, covering sixty-six tasks in nine domains and spanning two genders and four races. Independent human annotations corroborate the LMRA-generated bias evaluations. This study represents the first large-scale fairness evaluation based on real-world chat data. We highlight that post-training reinforcement learning techniques significantly mitigate these biases. This evaluation provides a practical methodology for ongoing bias monitoring and mitigation.
• Abstract（参考訳）: チャットボットのフェアネスを評価することは、その急速な普及にともなって重要であるが、一般的なチャットボットタスク(例:書き直し、エンターテイメント)は、伝統的にアルゴリズムのフェアネスに関する議論の中心であった制度的な意思決定タスク(例:スクリーニングの再開)から切り離されている。 チャットボットのオープンエンドの性質と多様なユースケースは、バイアス評価のための新しい方法を必要とする。 本稿では,チャットボットユーザに対する公平さを,人口統計学的特徴に基づいて評価する,スケーラブルな対実的アプローチを導入することで,これらの課題に対処する。 提案手法では,言語モデルを用いて有害なステレオタイプを定量的に測定し,チャットボット応答の統計学的差異を定性的に解析する。 このアプローチを適用して、数百万のインタラクションにまたがる6つの言語モデルのバイアスを評価し、9つのドメインで6つのタスクをカバーし、2つの性別と4つのレースにまたがる。 独立な人間のアノテーションは、LMRAが生成するバイアス評価を裏付ける。 本研究は,実世界のチャットデータに基づく,初めての大規模公正度評価である。 トレーニング後の強化学習技術がこれらのバイアスを著しく軽減する点を強調した。 この評価は、進行中のバイアスモニタリングと緩和のための実践的な方法論を提供する。

関連論文リスト

• DiverseDialogue: A Methodology for Designing Chatbots with Human-Like Diversity [5.388338680646657]
  また, GPT-4o miniは, 複数の言語的特徴にまたがって, 実際の人間と系統的に異なることを示す。 本研究では,実際の人的インタラクションから派生した特徴を取り入れたユーザシミュレーションのプロンプトを自動生成する手法を提案する。 本手法は,特定の言語的特徴を対象とするように最適化され,大幅な改善が見られた。
  論文  参考訳（メタデータ） (2024-08-30T21:33:58Z)
• The Challenges of Evaluating LLM Applications: An Analysis of Automated, Human, and LLM-Based Approaches [0.0]
  本稿では,LLMに基づく評価と人間の評価との関連性について論じる。 本稿では,人間とLLMによる評価と組み合わせて活用できる包括的因子評価機構を提案する。 その結果, 因子に基づく評価は, LLMアプリケーションにおいてどの側面を改善する必要があるか, より優れた洞察をもたらすことがわかった。
  論文  参考訳（メタデータ） (2024-06-05T14:55:10Z)
• In Generative AI we Trust: Can Chatbots Effectively Verify Political Information? [39.58317527488534]
  本稿では,2つの大規模言語モデル(LLM)ベースのチャットボットであるChatGPTとBing Chatの比較分析を行い,政治的情報の正確性を検出する。 AI監査手法を使用して、新型コロナウイルス、ロシアによるウクライナに対する攻撃、ホロコースト、気候変動、LGBTQ+関連の議論の5つのトピックについて、チャットボットが真、偽、および境界線をどう評価するかを調査する。 その結果, ベースライン精度評価タスクにおけるChatGPTの性能が向上し, 72%のケースが事前学習なしで言語平均で正しく評価された。
  論文  参考訳（メタデータ） (2023-12-20T15:17:03Z)
• Real-time Addressee Estimation: Deployment of a Deep-Learning Model on the iCub Robot [52.277579221741746]
  住所推定は、社会ロボットが人間とスムーズに対話するために必要なスキルである。 人間の知覚スキルにインスパイアされたディープラーニングモデルは、iCubロボットに設計、訓練、デプロイされる。 本研究では,人間-ロボットのリアルタイムインタラクションにおいて,そのような実装の手順とモデルの性能について述べる。
  論文  参考訳（メタデータ） (2023-11-09T13:01:21Z)
• Primacy Effect of ChatGPT [69.49920102917598]
  本稿では,ChatGPTの優位性について検討する。 実験と分析により、より信頼性の高いChatGPTベースのソリューションを構築する上で、さらなる洞察が得られればと思っています。
  論文  参考訳（メタデータ） (2023-10-20T00:37:28Z)
• How Prevalent is Gender Bias in ChatGPT? -- Exploring German and English ChatGPT Responses [0.20971479389679337]
  私たちは、ChatGPTが、IT以外のユーザが日々の作業のためにテキストをドラフトするのに役立つことを示しています。 システムの応答をバイアスだけでなく、構文的および文法的ミスに対して徹底的にチェックすることが極めて重要です。
  論文  参考訳（メタデータ） (2023-09-21T07:54:25Z)
• Bias and Fairness in Chatbots: An Overview [38.21995125571103]
  現代のチャットボットはより強力で、現実世界のアプリケーションで使われてきた。 膨大なトレーニングデータ、非常に大きなモデルサイズ、解釈可能性の欠如、バイアス緩和、公正保存は困難である。
  論文  参考訳（メタデータ） (2023-09-16T02:01:18Z)
• Bias and Fairness in Large Language Models: A Survey [73.87651986156006]
  本稿では,大規模言語モデル(LLM)のバイアス評価と緩和手法に関する総合的な調査を行う。 まず、自然言語処理における社会的偏見と公平性の概念を統合し、形式化し、拡張する。 次に,3つの直感的な2つのバイアス評価法と1つの緩和法を提案し,文献を統一する。
  論文  参考訳（メタデータ） (2023-09-02T00:32:55Z)
• Adding guardrails to advanced chatbots [5.203329540700177]
  2022年11月にChatGPTがローンチされ、AIの新しい時代が到来した。 さまざまな仕事のために、人間がチャットボットに取って代わられるのではないか、という懸念はすでにある。 これらのバイアスは、異なるサブポピュレーションに対して重大な害および/または不平等を引き起こす可能性がある。
  論文  参考訳（メタデータ） (2023-06-13T02:23:04Z)
• Gender Biases in Automatic Evaluation Metrics for Image Captioning [87.15170977240643]
  画像キャプションタスクのためのモデルに基づく評価指標において、性別バイアスの体系的研究を行う。 偏りのある世代と偏りのない世代を区別できないことを含む、これらの偏りのあるメトリクスを使用することによる負の結果を実証する。 人間の判断と相関を損なうことなく、測定バイアスを緩和する簡便で効果的な方法を提案する。
  論文  参考訳（メタデータ） (2023-05-24T04:27:40Z)
• ChatGPT or Human? Detect and Explain. Explaining Decisions of Machine Learning Model for Detecting Short ChatGPT-generated Text [2.0378492681344493]
  機械学習モデルを効果的に訓練することにより、本来の人間と一見人間(すなわちChatGPT生成)のテキストを正確に区別できるかどうかを検討する。 我々は、ChatGPT生成テキストと人文生成テキストを区別するために訓練されたモデルの背後にある理由を理解するために、説明可能な人工知能フレームワークを使用している。 本研究は,人間生成テキストとChatGPT生成テキストを比較した2つの実験を行い,短いオンラインレビューに焦点を当てた。
  論文  参考訳（メタデータ） (2023-01-30T08:06:08Z)
• Social Biases in Automatic Evaluation Metrics for NLG [53.76118154594404]
  本稿では,単語埋め込みアソシエーションテスト(WEAT)と文埋め込みアソシエーションテスト(SEAT)に基づく評価手法を提案する。 我々は、画像キャプションやテキスト要約タスクにおける性別バイアスの影響を調査するために、性別対応メタ評価データセットを構築した。
  論文  参考訳（メタデータ） (2022-10-17T08:55:26Z)
• Understanding How People Rate Their Conversations [73.17730062864314]
  我々は、人々が会話エージェントとのインタラクションをどのように評価するかをよりよく理解するために研究を行う。 我々は、評価の変動を説明する変数として、同意性と外向性に焦点を当てる。
  論文  参考訳（メタデータ） (2022-06-01T00:45:32Z)
• Balancing out Bias: Achieving Fairness Through Training Reweighting [58.201275105195485]
  自然言語処理におけるバイアスは、性別や人種などの著者の特徴を学習するモデルから生じる。 既存のバイアスの緩和と測定方法は、著者の人口統計学と言語変数の相関を直接考慮していない。 本稿では,インスタンス再重み付けを用いたバイアス対策法を提案する。
  論文  参考訳（メタデータ） (2021-09-16T23:40:28Z)
• One Chatbot Per Person: Creating Personalized Chatbots based on Implicit User Profiles [31.432585994256375]
  既存のパーソナライズされたアプローチは、いくつかのテキスト記述を明示的なユーザプロファイルとして組み込もうとした。 我々は、ユーザの履歴応答から一般ユーザプロファイルを構築するために、パーソナライズされた言語モデルを訓練する。 我々は、汎用語彙から単語を生成し、ユーザのパーソナライズされた語彙から1単語をコピーする2つのデコード戦略を融合するパーソナライズされたデコーダを設計する。
  論文  参考訳（メタデータ） (2021-08-20T20:33:12Z)
• Towards Understanding and Mitigating Social Biases in Language Models [107.82654101403264]
  大規模事前訓練言語モデル(LM)は、望ましくない表現バイアスを示すのに潜在的に危険である。 テキスト生成における社会的バイアスを軽減するためのステップを提案する。 我々の経験的結果と人的評価は、重要な文脈情報を保持しながらバイアスを緩和する効果を示す。
  論文  参考訳（メタデータ） (2021-06-24T17:52:43Z)
• RedditBias: A Real-World Resource for Bias Evaluation and Debiasing of Conversational Language Models [37.98671828283487]
  テキスト表現モデルは、様々な社会的バイアスを示す傾向がある。 最近の研究は、事前訓練された言語モデルにおけるバイアスの測定と緩和に重点を置いている。 RedditBiasは、Redditによる人間の会話をベースとした初めての会話データセットだ。
  論文  参考訳（メタデータ） (2021-06-07T11:22:39Z)
• Revealing Persona Biases in Dialogue Systems [64.96908171646808]
  対話システムにおけるペルソナバイアスに関する最初の大規模研究について述べる。 我々は、異なる社会階級、性的指向、人種、性別のペルソナの分析を行う。 BlenderおよびDialoGPT対話システムの研究では、ペルソナの選択が生成された応答の害の程度に影響を与える可能性があることを示しています。
  論文  参考訳（メタデータ） (2021-04-18T05:44:41Z)
• Put Chatbot into Its Interlocutor's Shoes: New Framework to Learn Chatbot Responding with Intention [55.77218465471519]
  本稿では,チャットボットに人間のような意図を持つための革新的なフレームワークを提案する。 我々のフレームワークには、ガイドロボットと人間の役割を担うインターロケータモデルが含まれていた。 本フレームワークを3つの実験的なセットアップを用いて検討し,4つの異なる指標を用いた誘導ロボットの評価を行い,柔軟性と性能の利点を実証した。
  論文  参考訳（メタデータ） (2021-03-30T15:24:37Z)
• Dialogue History Matters! Personalized Response Selectionin Multi-turn Retrieval-based Chatbots [62.295373408415365]
  本稿では,コンテキスト応答マッチングのためのパーソナライズドハイブリッドマッチングネットワーク(phmn)を提案する。 1) ユーザ固有の対話履歴からパーソナライズされた発話行動を付加的なマッチング情報として抽出する。 ユーザ識別による2つの大規模データセット,すなわちパーソナライズされた対話 Corpus Ubuntu (P-Ubuntu) とパーソナライズされたWeiboデータセット (P-Weibo) のモデルを評価する。
  論文  参考訳（メタデータ） (2021-03-17T09:42:11Z)
• Personalized Chatbot Trustworthiness Ratings [19.537492400265577]
  我々は、各問題に対する個別の格付けモジュールに依存するチャットボットのためのパーソナライズされた格付け手法を構想する。 この方法は、特定の信頼問題とは独立しており、集計手順にパラメトリックである。
  論文  参考訳（メタデータ） (2020-05-13T22:42:45Z)
• A Neural Topical Expansion Framework for Unstructured Persona-oriented Dialogue Generation [52.743311026230714]
  Persona Exploration and Exploitation (PEE)は、事前に定義されたユーザペルソナ記述を意味論的に相関したコンテンツで拡張することができる。 PEEはペルソナ探索とペルソナ搾取という2つの主要なモジュールで構成されている。 提案手法は, 自動評価と人的評価の両面で, 最先端のベースラインを上回っている。
  論文  参考訳（メタデータ） (2020-02-06T08:24:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。