論文の概要: Evaluating the Social Impact of Generative AI Systems in Systems and Society

• arxiv url: http://arxiv.org/abs/2306.05949v3
• Date: Thu, 27 Jun 2024 07:10:37 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-28 20:26:08.441204
• Title: Evaluating the Social Impact of Generative AI Systems in Systems and Society
• Title（参考訳）: システム・社会における生成型AIシステムの社会的影響評価
• Authors: Irene Solaiman, Zeerak Talat, William Agnew, Lama Ahmad, Dylan Baker, Su Lin Blodgett, Canyu Chen, Hal Daumé III, Jesse Dodge, Isabella Duan, Ellie Evans, Felix Friedrich, Avijit Ghosh, Usman Gohar, Sara Hooker, Yacine Jernite, Ria Kalluri, Alberto Lusoli, Alina Leidinger, Michelle Lin, Xiuzhu Lin, Sasha Luccioni, Jennifer Mickel, Margaret Mitchell, Jessica Newman, Anaelia Ovalle, Marie-Therese Png, Shubham Singh, Andrew Strait, Lukas Struppek, Arjun Subramonian,
• Abstract要約: テキスト(コードを含む)、画像、オーディオ、ビデオなどを含むモダリティにまたがる生成AIシステムは、幅広い社会的影響を持つ。 これらの影響を評価するための公式な基準や、どの影響を評価するべきかの基準はありません。 本稿では,任意のモダリティに対して基本生成型AIシステムを評価するための,標準的なアプローチに向けたガイドを提案する。
• 参考スコア（独自算出の注目度）: 43.32010533676472
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Generative AI systems across modalities, ranging from text (including code), image, audio, and video, have broad social impacts, but there is no official standard for means of evaluating those impacts or for which impacts should be evaluated. In this paper, we present a guide that moves toward a standard approach in evaluating a base generative AI system for any modality in two overarching categories: what can be evaluated in a base system independent of context and what can be evaluated in a societal context. Importantly, this refers to base systems that have no predetermined application or deployment context, including a model itself, as well as system components, such as training data. Our framework for a base system defines seven categories of social impact: bias, stereotypes, and representational harms; cultural values and sensitive content; disparate performance; privacy and data protection; financial costs; environmental costs; and data and content moderation labor costs. Suggested methods for evaluation apply to listed generative modalities and analyses of the limitations of existing evaluations serve as a starting point for necessary investment in future evaluations. We offer five overarching categories for what can be evaluated in a broader societal context, each with its own subcategories: trustworthiness and autonomy; inequality, marginalization, and violence; concentration of authority; labor and creativity; and ecosystem and environment. Each subcategory includes recommendations for mitigating harm.
• Abstract（参考訳）: テキスト(コードを含む)、画像、オーディオ、ビデオなどを含む、モダリティにまたがる生成AIシステムは、幅広い社会的影響を持つが、その影響を評価するための公式な標準や、どの影響を評価するべきかは、存在しない。 本稿では,2つの包括的カテゴリにおいて,基本生成型AIシステムを評価する上で,文脈に依存しないベースシステムで何が評価可能か,社会的文脈で何が評価可能かという,標準的なアプローチに向けたガイドを提案する。 重要なことに、これは、トレーニングデータなどのシステムコンポーネントだけでなく、モデル自体を含む、所定のアプリケーションやデプロイメントコンテキストを持たないベースシステムを指す。 基本システムの枠組みは, バイアス, ステレオタイプ, 表現的害, 文化的価値とセンシティブなコンテンツ, 異なるパフォーマンス, プライバシとデータ保護, 財政コスト, 環境コスト, データとコンテンツモデレーション労働コストの7つのカテゴリを規定する。 今後の評価に必要となる投資の出発点として,既存の評価の限界について分析した。 信頼と自律性、不平等、限界化、暴力、権威の集中、労働と創造性、生態系と環境。 各サブカテゴリは、害を緩和するためのレコメンデーションを含んでいる。

関連論文リスト

• Evaluatology: The Science and Engineering of Evaluation [11.997673313601423]
  本稿では,評価の科学と工学を包含する評価学の分野を正式に紹介することを目的とする。 本稿では,様々な分野にまたがって適用可能な概念,用語,理論,方法論を包含して評価するための普遍的な枠組みを提案する。
  論文  参考訳（メタデータ） (2024-03-19T13:38:26Z)
• Evaluating the Fairness of Discriminative Foundation Models in Computer Vision [51.176061115977774]
  本稿では,CLIP (Contrastive Language-Pretraining) などの差別基盤モデルのバイアス評価のための新しい分類法を提案する。 そして、これらのモデルにおけるバイアスを緩和するための既存の手法を分類学に関して体系的に評価する。 具体的には,ゼロショット分類,画像検索,画像キャプションなど,OpenAIのCLIPとOpenCLIPモデルをキーアプリケーションとして評価する。
  論文  参考訳（メタデータ） (2023-10-18T10:32:39Z)
• Bias and Fairness in Large Language Models: A Survey [73.87651986156006]
  本稿では,大規模言語モデル(LLM)のバイアス評価と緩和手法に関する総合的な調査を行う。 まず、自然言語処理における社会的偏見と公平性の概念を統合し、形式化し、拡張する。 次に,3つの直感的な2つのバイアス評価法と1つの緩和法を提案し,文献を統一する。
  論文  参考訳（メタデータ） (2023-09-02T00:32:55Z)
• Fairness in Contextual Resource Allocation Systems: Metrics and Incompatibility Results [7.705334602362225]
  本研究は、住宅を提供するホームレスサービスなど、基本的なニーズを満たすため、不足する資源を割り当てるシステムについて研究する。 これらの制度は、しばしば、体系的な人種、性別、その他の不正によって不当に影響を受けるコミュニティをサポートする。 本稿では,機械学習における公平度指標に触発された文脈的資源配分システムにおける公平性を評価するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-12-04T02:30:58Z)
• Causal Fairness Analysis [68.12191782657437]
  意思決定設定における公平性の問題を理解し、モデル化し、潜在的に解決するためのフレームワークを導入します。 我々のアプローチの主な洞察は、観測データに存在する格差の定量化と、基礎となる、しばしば観測されていない、因果的なメカニズムの収集を結びつけることである。 本研究は,文献中の異なる基準間の関係を整理し,説明するための最初の体系的試みであるフェアネスマップにおいて,本研究の成果を左右するものである。
  論文  参考訳（メタデータ） (2022-07-23T01:06:34Z)
• Towards a multi-stakeholder value-based assessment framework for algorithmic systems [76.79703106646967]
  我々は、価値間の近さと緊張を可視化する価値に基づくアセスメントフレームワークを開発する。 我々は、幅広い利害関係者に評価と検討のプロセスを開放しつつ、それらの運用方法に関するガイドラインを提示する。
  論文  参考訳（メタデータ） (2022-05-09T19:28:32Z)
• Evaluation of Summarization Systems across Gender, Age, and Race [0.0]
  要約評価は保護属性に敏感であることを示す。 これはシステム開発と評価に大きく偏りを生じさせ、他のグループではなく、一部のグループを対象とするモデルを構築します。
  論文  参考訳（メタデータ） (2021-10-08T21:30:20Z)
• Through the Data Management Lens: Experimental Analysis and Evaluation of Fair Classification [75.49600684537117]
  データ管理研究は、データとアルゴリズムの公平性に関連するトピックに対する存在感と関心が高まっている。 我々は,その正しさ,公平性,効率性,スケーラビリティ,安定性よりも,13の公正な分類アプローチと追加の変種を幅広く分析している。 我々の分析は、異なるメトリクスとハイレベルなアプローチ特性がパフォーマンスの異なる側面に与える影響に関する新しい洞察を強調します。
  論文  参考訳（メタデータ） (2021-01-18T22:55:40Z)
• Steps Towards Value-Aligned Systems [0.0]
  AI/MLを含む)アルゴリズムによる意思決定アーティファクトは、私たちの意思決定エコシステムの確立され成長している部分です。 現在の文献は、個々のアーティファクトが社会的規範や期待にどのように違反するかの例でいっぱいです。 この議論は、社会技術システムにおける価値アライメントを評価するためのより構造化されたシステムレベルのアプローチを論じている。
  論文  参考訳（メタデータ） (2020-02-10T22:47:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。