論文の概要: It is Time to Develop an Auditing Framework to Promote Value Aware Chatbots
- arxiv url: http://arxiv.org/abs/2409.01539v1
- Date: Tue, 3 Sep 2024 02:15:34 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-06 03:21:06.685713
- Title: It is Time to Develop an Auditing Framework to Promote Value Aware Chatbots
- Title（参考訳）: 価値認識型チャットボットを促進する監査フレームワークの開発
- Authors: Yanchen Wang, Lisa Singh,
- Abstract要約: 我々は、この技術の進歩のスピードは、価値に基づく監査フレームワークを動員し、開発する必要があると論じる。
GPT 3.5 と GPT 4 からの応答は,既存の法則から導出される値と一致せず,一致しない。
この論文は、技術改善のための価値ベースの戦略を推奨して締めくくります。
- 参考スコア（独自算出の注目度）: 3.539967259383779
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The launch of ChatGPT in November 2022 marked the beginning of a new era in AI, the availability of generative AI tools for everyone to use. ChatGPT and other similar chatbots boast a wide range of capabilities from answering student homework questions to creating music and art. Given the large amounts of human data chatbots are built on, it is inevitable that they will inherit human errors and biases. These biases have the potential to inflict significant harm or increase inequity on different subpopulations. Because chatbots do not have an inherent understanding of societal values, they may create new content that is contrary to established norms. Examples of concerning generated content includes child pornography, inaccurate facts, and discriminatory posts. In this position paper, we argue that the speed of advancement of this technology requires us, as computer and data scientists, to mobilize and develop a values-based auditing framework containing a community established standard set of measurements to monitor the health of different chatbots and LLMs. To support our argument, we use a simple audit template to share the results of basic audits we conduct that are focused on measuring potential bias in search engine style tasks, code generation, and story generation. We identify responses from GPT 3.5 and GPT 4 that are both consistent and not consistent with values derived from existing law. While the findings come as no surprise, they do underscore the urgency of developing a robust auditing framework for openly sharing results in a consistent way so that mitigation strategies can be developed by the academic community, government agencies, and companies when our values are not being adhered to. We conclude this paper with recommendations for value-based strategies for improving the technologies.
- Abstract（参考訳）: 2022年11月のChatGPTのローンチは、AIの新しい時代の始まりであり、誰でも使える生成AIツールが利用可能になった。
ChatGPTや他の類似のチャットボットは、学生の宿題の質問に答えるから、音楽やアートを作るまで、幅広い能力を誇っている。
大量の人間のデータチャットボットが構築されていることを考えると、人間のエラーやバイアスを継承することは避けられない。
これらのバイアスは、異なるサブポピュレーションに重大な損害を与えたり、不平等を増大させる可能性がある。
チャットボットは社会的価値を本質的に理解していないため、確立された規範に反する新しいコンテンツを作成することができる。
生成されたコンテンツの例としては、児童ポルノ、不正確な事実、差別的投稿などがある。
本稿では,コンピュータやデータ科学者として,様々なチャットボットやLDMの健康状態を監視するための,コミュニティが確立した標準測定セットを含む価値に基づく監査フレームワークの動員と開発が必要であることを論じる。
議論を支援するために、簡単な監査テンプレートを使用して、検索エンジンスタイルのタスク、コード生成、ストーリー生成の潜在的なバイアスを測定することに焦点を当てた、実施する基本的な監査結果を共有する。
GPT 3.5 と GPT 4 からの応答は,既存の法則から導出される値と一致せず,一致しない。
調査結果は驚きではないが、オープンに共有するための堅牢な監査フレームワークを開発するという緊急性を強調しており、私たちの価値観が守られていない場合、学術コミュニティや政府機関、企業によって緩和戦略を開発できるようにしています。
この論文は、技術改善のための価値ベースの戦略を推奨して締めくくります。
関連論文リスト
- Impact of the Availability of ChatGPT on Software Development: A Synthetic Difference in Differences Estimation using GitHub Data [49.1574468325115]
ChatGPTは、ソフトウェア生産効率を向上させるAIツールである。
10万人あたりのgitプッシュ数、リポジトリ数、ユニークな開発者数に対するChatGPTの影響を見積もっています。
これらの結果は、ChatGPTのようなAIツールが開発者の生産性を大幅に向上させる可能性があることを示唆している。
論文 参考訳（メタデータ） (2024-06-16T19:11:15Z) - Eagle: Ethical Dataset Given from Real Interactions [74.7319697510621]
社会的バイアス、毒性、不道徳な問題を示すChatGPTとユーザ間の実際のインタラクションから抽出されたデータセットを作成します。
我々の実験では、イーグルは、そのような倫理的課題の評価と緩和のために提案された既存のデータセットでカバーされていない相補的な側面を捉えている。
論文 参考訳（メタデータ） (2024-02-22T03:46:02Z) - Exploring ChatGPT and its Impact on Society [7.652195319352287]
ChatGPTは大きな言語モデルであり、会話の文脈で人間のような応答を生成することができる。
それは、さまざまな産業に革命をもたらす可能性があり、テクノロジーとの対話の仕方を変革する。
しかし、ChatGPTの使用は、倫理的、社会的、雇用上の問題など、いくつかの懸念を提起している。
論文 参考訳（メタデータ） (2024-02-21T16:44:35Z) - Analysis of the User Perception of Chatbots in Education Using A Partial
Least Squares Structural Equation Modeling Approach [0.0]
オプティミズム、イノベーティブネス、不快感、不安、透明性、倫理、相互作用、エンゲージメント、正確さといった主要な行動関連側面について研究した。
その結果、最適性と革新性は、知覚的使用覚(PEOU)と知覚的有用性(PU)に正の相関があることが判明した。
論文 参考訳（メタデータ） (2023-11-07T00:44:56Z) - Factuality Challenges in the Era of Large Language Models [113.3282633305118]
大規模言語モデル(LLM)は、誤った、誤った、あるいは誤解を招くコンテンツを生成する。
LLMは悪意のあるアプリケーションに利用することができる。
これは、ユーザーを欺く可能性があるという点で、社会に重大な課題をもたらす。
論文 参考訳（メタデータ） (2023-10-08T14:55:02Z) - Adding guardrails to advanced chatbots [5.203329540700177]
2022年11月にChatGPTがローンチされ、AIの新しい時代が到来した。
さまざまな仕事のために、人間がチャットボットに取って代わられるのではないか、という懸念はすでにある。
これらのバイアスは、異なるサブポピュレーションに対して重大な害および/または不平等を引き起こす可能性がある。
論文 参考訳（メタデータ） (2023-06-13T02:23:04Z) - To ChatGPT, or not to ChatGPT: That is the question! [78.407861566006]
本研究は,ChatGPT検出における最新の手法を包括的かつ現代的に評価するものである。
我々は、ChatGPTと人間からのプロンプトからなるベンチマークデータセットをキュレートし、医療、オープンQ&A、ファイナンスドメインからの多様な質問を含む。
評価の結果,既存の手法ではChatGPT生成内容を効果的に検出できないことがわかった。
論文 参考訳（メタデータ） (2023-04-04T03:04:28Z) - BiasTestGPT: Using ChatGPT for Social Bias Testing of Language Models [73.29106813131818]
テスト文は限られた手動テンプレートから生成されるか、高価なクラウドソーシングを必要とするため、現時点ではバイアステストは煩雑である。
ソーシャルグループと属性の任意のユーザ指定の組み合わせを考慮し、テスト文の制御可能な生成にChatGPTを使うことを提案する。
本稿では,HuggingFace上にホストされているオープンソースの総合的バイアステストフレームワーク(BiasTestGPT)について紹介する。
論文 参考訳（メタデータ） (2023-02-14T22:07:57Z) - Will ChatGPT get you caught? Rethinking of Plagiarism Detection [0.0]
人工知能(AI)技術の台頭と教育への影響は近年懸念が高まっている。
チャットボット、特にChatGPTを使った学術エッセイの生成は、学者の間で恐怖を呼び起こした。
この研究は、最も人気のあるAIチャットボットであるChatGPTが生み出すコンテンツの独創性を探求することを目的としている。
論文 参考訳（メタデータ） (2023-02-08T20:59:18Z) - Aligning AI With Shared Human Values [85.2824609130584]
私たちは、正義、幸福、義務、美徳、常識道徳の概念にまたがる新しいベンチマークであるETHICSデータセットを紹介します。
現在の言語モデルは、基本的な人間の倫理的判断を予測できる有望だが不完全な能力を持っている。
私たちの研究は、今日の機械倫理の進歩を示しており、人間の価値観に合わせたAIへの足掛かりを提供する。
論文 参考訳（メタデータ） (2020-08-05T17:59:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。