論文の概要: Evaluating the Social Impact of Generative AI Systems in Systems and
Society
- arxiv url: http://arxiv.org/abs/2306.05949v2
- Date: Mon, 12 Jun 2023 14:20:35 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-13 11:29:43.992942
- Title: Evaluating the Social Impact of Generative AI Systems in Systems and
Society
- Title(参考訳): システム・社会における生成型AIシステムの社会的影響評価
- Authors: Irene Solaiman, Zeerak Talat, William Agnew, Lama Ahmad, Dylan Baker,
Su Lin Blodgett, Hal Daum\'e III, Jesse Dodge, Ellie Evans, Sara Hooker,
Yacine Jernite, Alexandra Sasha Luccioni, Alberto Lusoli, Margaret Mitchell,
Jessica Newman, Marie-Therese Png, Andrew Strait, Apostol Vassilev
- Abstract要約: 我々は、任意のモダリティに対して生成AIシステムを評価するための標準的なアプローチに向かっている。
基礎技術システムにおいて、人や社会において、特定の社会的影響カテゴリと、どのようにアプローチし、どのように評価を行うかを説明する。
- 参考スコア(独自算出の注目度): 53.936980366906646
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Generative AI systems across modalities, ranging from text, image, audio, and
video, have broad social impacts, but there exists no official standard for
means of evaluating those impacts and which impacts should be evaluated. We
move toward a standard approach in evaluating a generative AI system for any
modality, in two overarching categories: what is able to be evaluated in a base
system that has no predetermined application and what is able to be evaluated
in society. We describe specific social impact categories and how to approach
and conduct evaluations in the base technical system, then in people and
society. Our framework for a base system defines seven categories of social
impact: bias, stereotypes, and representational harms; cultural values and
sensitive content; disparate performance; privacy and data protection;
financial costs; environmental costs; and data and content moderation labor
costs. Suggested methods for evaluation apply to all modalities and analyses of
the limitations of existing evaluations serve as a starting point for necessary
investment in future evaluations. We offer five overarching categories for what
is able to be evaluated in society, each with their own subcategories:
trustworthiness and autonomy; inequality, marginalization, and violence;
concentration of authority; labor and creativity; and ecosystem and
environment. Each subcategory includes recommendations for mitigating harm. We
are concurrently crafting an evaluation repository for the AI research
community to contribute existing evaluations along the given categories. This
version will be updated following a CRAFT session at ACM FAccT 2023.
- Abstract(参考訳): テキスト、画像、オーディオ、ビデオなど、さまざまなモダリティにわたる生成AIシステムは、幅広い社会的影響を持つが、これらの影響を評価するための公式な標準は存在しない。
我々は,任意のモダリティに対する生成型aiシステムを評価するための標準的アプローチに目を向ける。2つの包括的なカテゴリ: 所定のアプリケーションを持たないベースシステムで何が評価可能か,社会で何が評価可能か。
本稿では、特定の社会的影響カテゴリと、基礎技術システム、次に人間と社会における評価へのアプローチと実行方法について述べる。
ベースシステムのためのフレームワークは,社会影響の7つのカテゴリを定義している。バイアス,ステレオタイプ,表現的損害,文化的価値とセンシティブなコンテンツ,異種パフォーマンス,プライバシとデータ保護,財務コスト,環境コスト,データとコンテンツモデレーション労働コストである。
提案手法は全ての形態に適用され、既存の評価の限界の分析が将来の評価に必要な投資の出発点となる。
社会で評価できるものは5つあり、それぞれに信頼と自律性、不平等、限界化、暴力、権威の集中、労働と創造性、エコシステムと環境というカテゴリがある。
各サブカテゴリは、害を緩和するためのレコメンデーションを含んでいる。
我々は、与えられたカテゴリに沿って既存の評価に貢献するために、AI研究コミュニティのための評価リポジトリを同時に構築しています。
このバージョンは、ACM FAccT 2023のCRAFTセッションに続いて更新される。
関連論文リスト
- Levels of AGI: Operationalizing Progress on the Path to AGI [67.02053749878078]
このフレームワークは、AGIパフォーマンス、一般性、自律性のレベルを導入します。
このフレームワークが、自動運転のレベルと同等の方法で有効になることを願っています。
論文 参考訳(メタデータ) (2023-11-04T17:44:58Z) - Sociotechnical Safety Evaluation of Generative AI Systems [13.546708226350963]
生成AIシステムは、さまざまなリスクを生み出す。
生成AIシステムの安全性を確保するためには、これらのリスクを評価する必要がある。
本稿では,これらのリスクを評価するための構造的,社会学的アプローチを取り入れた3層フレームワークを提案する。
論文 参考訳(メタデータ) (2023-10-18T14:13:58Z) - Strategic Evaluation: Subjects, Evaluators, and Society [1.1606619391009658]
評価自体の設計は、評価者の持つ目標をさらに進めるものとして理解することができると論じる。
3つの相互作用エージェントを用いた評価のプロセスを表現するモデルを提案した。
評価者をその戦略として扱うことで、意思決定対象に向けられた精査を再放送することができます。
論文 参考訳(メタデータ) (2023-10-05T16:33:08Z) - Bias and Fairness in Large Language Models: A Survey [76.65471160523444]
本稿では,大規模言語モデル(LLM)のバイアス評価と緩和手法に関する総合的な調査を行う。
まず、自然言語処理における社会的偏見と公平性の概念を統合し、形式化し、拡張する。
次に,3つの直感的な2つのバイアス評価法と1つの緩和法を提案し,文献を統一する。
論文 参考訳(メタデータ) (2023-09-02T00:32:55Z) - Fairness in Contextual Resource Allocation Systems: Metrics and
Incompatibility Results [7.705334602362225]
本研究は、住宅を提供するホームレスサービスなど、基本的なニーズを満たすため、不足する資源を割り当てるシステムについて研究する。
これらの制度は、しばしば、体系的な人種、性別、その他の不正によって不当に影響を受けるコミュニティをサポートする。
本稿では,機械学習における公平度指標に触発された文脈的資源配分システムにおける公平性を評価するためのフレームワークを提案する。
論文 参考訳(メタデータ) (2022-12-04T02:30:58Z) - Social Biases in Automatic Evaluation Metrics for NLG [53.76118154594404]
本稿では,単語埋め込みアソシエーションテスト(WEAT)と文埋め込みアソシエーションテスト(SEAT)に基づく評価手法を提案する。
我々は、画像キャプションやテキスト要約タスクにおける性別バイアスの影響を調査するために、性別対応メタ評価データセットを構築した。
論文 参考訳(メタデータ) (2022-10-17T08:55:26Z) - Towards a multi-stakeholder value-based assessment framework for
algorithmic systems [76.79703106646967]
我々は、価値間の近さと緊張を可視化する価値に基づくアセスメントフレームワークを開発する。
我々は、幅広い利害関係者に評価と検討のプロセスを開放しつつ、それらの運用方法に関するガイドラインを提示する。
論文 参考訳(メタデータ) (2022-05-09T19:28:32Z) - Towards Automatic Evaluation of Dialog Systems: A Model-Free Off-Policy
Evaluation Approach [84.02388020258141]
強化学習におけるオフポリシ評価に基づく人間評価スコア推定のための新しいフレームワークであるENIGMAを提案する。
ENIGMAはいくつかの事前収集された経験データしか必要としないため、評価中にターゲットポリシーとのヒューマンインタラクションは不要である。
実験の結果,ENIGMAは人間の評価スコアと相関して既存手法よりも有意に優れていた。
論文 参考訳(メタデータ) (2021-02-20T03:29:20Z) - Enhanced well-being assessment as basis for the practical implementation
of ethical and rights-based normative principles for AI [0.0]
本稿では,自律・知能システムを対象とした健康影響評価フレームワークの実用化について述べる。
このプロセスは、AIシステムの影響を理解するための、人間中心のアルゴリズム支援アプローチを可能にする。
論文 参考訳(メタデータ) (2020-07-29T13:26:05Z) - Steps Towards Value-Aligned Systems [0.0]
AI/MLを含む)アルゴリズムによる意思決定アーティファクトは、私たちの意思決定エコシステムの確立され成長している部分です。
現在の文献は、個々のアーティファクトが社会的規範や期待にどのように違反するかの例でいっぱいです。
この議論は、社会技術システムにおける価値アライメントを評価するためのより構造化されたシステムレベルのアプローチを論じている。
論文 参考訳(メタデータ) (2020-02-10T22:47:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。