論文の概要: Evaluating the Social Impact of Generative AI Systems in Systems and Society

• arxiv url: http://arxiv.org/abs/2306.05949v2
• Date: Mon, 12 Jun 2023 14:20:35 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-13 11:29:43.992942
• Title: Evaluating the Social Impact of Generative AI Systems in Systems and Society
• Title（参考訳）: システム・社会における生成型AIシステムの社会的影響評価
• Authors: Irene Solaiman, Zeerak Talat, William Agnew, Lama Ahmad, Dylan Baker, Su Lin Blodgett, Hal Daum\'e III, Jesse Dodge, Ellie Evans, Sara Hooker, Yacine Jernite, Alexandra Sasha Luccioni, Alberto Lusoli, Margaret Mitchell, Jessica Newman, Marie-Therese Png, Andrew Strait, Apostol Vassilev
• Abstract要約: 我々は、任意のモダリティに対して生成AIシステムを評価するための標準的なアプローチに向かっている。 基礎技術システムにおいて、人や社会において、特定の社会的影響カテゴリと、どのようにアプローチし、どのように評価を行うかを説明する。
• 参考スコア（独自算出の注目度）: 53.936980366906646
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Generative AI systems across modalities, ranging from text, image, audio, and video, have broad social impacts, but there exists no official standard for means of evaluating those impacts and which impacts should be evaluated. We move toward a standard approach in evaluating a generative AI system for any modality, in two overarching categories: what is able to be evaluated in a base system that has no predetermined application and what is able to be evaluated in society. We describe specific social impact categories and how to approach and conduct evaluations in the base technical system, then in people and society. Our framework for a base system defines seven categories of social impact: bias, stereotypes, and representational harms; cultural values and sensitive content; disparate performance; privacy and data protection; financial costs; environmental costs; and data and content moderation labor costs. Suggested methods for evaluation apply to all modalities and analyses of the limitations of existing evaluations serve as a starting point for necessary investment in future evaluations. We offer five overarching categories for what is able to be evaluated in society, each with their own subcategories: trustworthiness and autonomy; inequality, marginalization, and violence; concentration of authority; labor and creativity; and ecosystem and environment. Each subcategory includes recommendations for mitigating harm. We are concurrently crafting an evaluation repository for the AI research community to contribute existing evaluations along the given categories. This version will be updated following a CRAFT session at ACM FAccT 2023.
• Abstract（参考訳）: テキスト、画像、オーディオ、ビデオなど、さまざまなモダリティにわたる生成AIシステムは、幅広い社会的影響を持つが、これらの影響を評価するための公式な標準は存在しない。 我々は,任意のモダリティに対する生成型aiシステムを評価するための標準的アプローチに目を向ける。2つの包括的なカテゴリ: 所定のアプリケーションを持たないベースシステムで何が評価可能か,社会で何が評価可能か。 本稿では、特定の社会的影響カテゴリと、基礎技術システム、次に人間と社会における評価へのアプローチと実行方法について述べる。 ベースシステムのためのフレームワークは,社会影響の7つのカテゴリを定義している。バイアス,ステレオタイプ,表現的損害,文化的価値とセンシティブなコンテンツ,異種パフォーマンス,プライバシとデータ保護,財務コスト,環境コスト,データとコンテンツモデレーション労働コストである。 提案手法は全ての形態に適用され、既存の評価の限界の分析が将来の評価に必要な投資の出発点となる。 社会で評価できるものは5つあり、それぞれに信頼と自律性、不平等、限界化、暴力、権威の集中、労働と創造性、エコシステムと環境というカテゴリがある。 各サブカテゴリは、害を緩和するためのレコメンデーションを含んでいる。 我々は、与えられたカテゴリに沿って既存の評価に貢献するために、AI研究コミュニティのための評価リポジトリを同時に構築しています。 このバージョンは、ACM FAccT 2023のCRAFTセッションに続いて更新される。

関連論文リスト

• Evaluating Generative AI Systems is a Social Science Measurement Challenge [78.35388859345056]
  我々は,GenAIシステムの能力,影響,機会,リスクに関連する概念を測定するための枠組みを提案する。 このフレームワークは、背景概念、体系化された概念、測定器、インスタンスレベルの測定そのものの4つのレベルを区別する。
  論文  参考訳（メタデータ） (2024-11-17T02:35:30Z)
• Pessimistic Evaluation [58.736490198613154]
  情報アクセスシステムの評価は,情報アクセスの伝統に沿わない実用的価値を前提としている。 我々は,最悪のケースユーティリティに着目した情報アクセスシステムの悲観的評価を提唱する。
  論文  参考訳（メタデータ） (2024-10-17T15:40:09Z)
• Evaluatology: The Science and Engineering of Evaluation [11.997673313601423]
  本稿では,評価の科学と工学を包含する評価学の分野を正式に紹介することを目的とする。 本稿では,様々な分野にまたがって適用可能な概念,用語,理論,方法論を包含して評価するための普遍的な枠組みを提案する。
  論文  参考訳（メタデータ） (2024-03-19T13:38:26Z)
• Bias and Fairness in Large Language Models: A Survey [73.87651986156006]
  本稿では,大規模言語モデル(LLM)のバイアス評価と緩和手法に関する総合的な調査を行う。 まず、自然言語処理における社会的偏見と公平性の概念を統合し、形式化し、拡張する。 次に,3つの直感的な2つのバイアス評価法と1つの緩和法を提案し,文献を統一する。
  論文  参考訳（メタデータ） (2023-09-02T00:32:55Z)
• Fairness in Contextual Resource Allocation Systems: Metrics and Incompatibility Results [7.705334602362225]
  本研究は、住宅を提供するホームレスサービスなど、基本的なニーズを満たすため、不足する資源を割り当てるシステムについて研究する。 これらの制度は、しばしば、体系的な人種、性別、その他の不正によって不当に影響を受けるコミュニティをサポートする。 本稿では,機械学習における公平度指標に触発された文脈的資源配分システムにおける公平性を評価するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-12-04T02:30:58Z)
• Towards a multi-stakeholder value-based assessment framework for algorithmic systems [76.79703106646967]
  我々は、価値間の近さと緊張を可視化する価値に基づくアセスメントフレームワークを開発する。 我々は、幅広い利害関係者に評価と検討のプロセスを開放しつつ、それらの運用方法に関するガイドラインを提示する。
  論文  参考訳（メタデータ） (2022-05-09T19:28:32Z)
• Through the Data Management Lens: Experimental Analysis and Evaluation of Fair Classification [75.49600684537117]
  データ管理研究は、データとアルゴリズムの公平性に関連するトピックに対する存在感と関心が高まっている。 我々は,その正しさ,公平性,効率性,スケーラビリティ,安定性よりも,13の公正な分類アプローチと追加の変種を幅広く分析している。 我々の分析は、異なるメトリクスとハイレベルなアプローチ特性がパフォーマンスの異なる側面に与える影響に関する新しい洞察を強調します。
  論文  参考訳（メタデータ） (2021-01-18T22:55:40Z)
• Steps Towards Value-Aligned Systems [0.0]
  AI/MLを含む)アルゴリズムによる意思決定アーティファクトは、私たちの意思決定エコシステムの確立され成長している部分です。 現在の文献は、個々のアーティファクトが社会的規範や期待にどのように違反するかの例でいっぱいです。 この議論は、社会技術システムにおける価値アライメントを評価するためのより構造化されたシステムレベルのアプローチを論じている。
  論文  参考訳（メタデータ） (2020-02-10T22:47:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。