論文の概要: Measuring What Matters: Connecting AI Ethics Evaluations to System Attributes, Hazards, and Harms

• arxiv url: http://arxiv.org/abs/2510.10339v1
• Date: Sat, 11 Oct 2025 20:52:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-14 18:06:29.897739
• Title: Measuring What Matters: Connecting AI Ethics Evaluations to System Attributes, Hazards, and Harms
• Title（参考訳）: 重要なことを測定する:AI倫理評価をシステム属性、ハザード、ハームに結びつける
• Authors: Shalaleh Rismani, Renee Shelby, Leah Davis, Negar Rostamzadeh, AJung Moon,
• Abstract要約: 過去10年間で、AIシステムの社会的および倫理的影響を評価するための措置のエコシステムが出現した。 ほとんどの測定基準は、公正性、透明性、プライバシー、信頼という4つの原則に重点を置いており、主にモデルまたは出力システムコンポーネントを評価します。 システム要素間の相互作用を考慮に入れている測度はほとんどなく、それぞれの危害タイプに対して、限られたハザードのセットのみが考慮される。
• 参考スコア（独自算出の注目度）: 8.324216212301033
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Over the past decade, an ecosystem of measures has emerged to evaluate the social and ethical implications of AI systems, largely shaped by high-level ethics principles. These measures are developed and used in fragmented ways, without adequate attention to how they are situated in AI systems. In this paper, we examine how existing measures used in the computing literature map to AI system components, attributes, hazards, and harms. Our analysis draws on a scoping review resulting in nearly 800 measures corresponding to 11 AI ethics principles. We find that most measures focus on four principles - fairness, transparency, privacy, and trust - and primarily assess model or output system components. Few measures account for interactions across system elements, and only a narrow set of hazards is typically considered for each harm type. Many measures are disconnected from where harm is experienced and lack guidance for setting meaningful thresholds. These patterns reveal how current evaluation practices remain fragmented, measuring in pieces rather than capturing how harms emerge across systems. Framing measures with respect to system attributes, hazards, and harms can strengthen regulatory oversight, support actionable practices in industry, and ground future research in systems-level understanding.
• Abstract（参考訳）: 過去10年間で、AIシステムの社会的および倫理的含意を評価するための尺度のエコシステムが出現した。 これらの尺度は、AIシステムにどのように配置されているかに十分な注意を払わずに、断片的な方法で開発され、使用されます。 本稿では,AIシステムコンポーネント,属性,ハザード,害に対する計算文献における既存の対策について検討する。 我々の分析は、スクーピングのレビューに基づいており、その結果、11のAI倫理原則に対応する800近い尺度が得られた。 ほとんどの測定基準は、公正性、透明性、プライバシ、信頼という4つの原則に重点を置いており、主にモデルまたは出力システムコンポーネントを評価しています。 システム要素間の相互作用を考慮に入れている測度はほとんどなく、それぞれの危害タイプに対して、限られたハザードのセットのみが考慮される。 多くの手段は、害が経験される場所から切り離され、意味のあるしきい値を設定するためのガイダンスが欠如している。 これらのパターンは、現在の評価プラクティスがいかに断片化され続けており、システム全体に害が生じるかを捉えるのではなく、断片的に測定されていることを示している。 システム属性、ハザード、害に関するフレイミング対策は、規制の監督を強化し、業界における実行可能なプラクティスを支援し、システムレベルの理解における先進的な研究を支援する。

関連論文リスト

• ANNIE: Be Careful of Your Robots [48.89876809734855]
  エンボディドAIシステムに対する敵の安全攻撃に関する最初の体系的研究について述べる。 すべての安全カテゴリーで攻撃の成功率は50%を超えている。 結果は、実証済みのAIシステムにおいて、これまで未調査だったが、非常に連続的な攻撃面を露呈する。
  論文  参考訳（メタデータ） (2025-09-03T15:00:28Z)
• Safety by Measurement: A Systematic Literature Review of AI Safety Evaluation Methods [0.0]
  この文献レビューは、急速に進化するAI安全性評価の分野を集約する。 それは、どの特性を計測するか、どのように測定するか、そしてこれらの測定がフレームワークにどのように統合されるかという、3つの次元に関する体系的な分類法を提案する。
  論文  参考訳（メタデータ） (2025-05-08T16:55:07Z)
• AILuminate: Introducing v1.0 of the AI Risk and Reliability Benchmark from MLCommons [62.374792825813394]
  本稿ではAI製品リスクと信頼性を評価するための業界標準ベンチマークとして,AIluminate v1.0を紹介する。 このベンチマークは、危険、違法、または望ましくない行動を12の危険カテゴリーで引き起こすように設計されたプロンプトに対するAIシステムの抵抗を評価する。
  論文  参考訳（メタデータ） (2025-02-19T05:58:52Z)
• A Shared Standard for Valid Measurement of Generative AI Systems' Capabilities, Risks, and Impacts [38.66213773948168]
  生成AI(GenAI)システムの能力、リスク、影響の有効な測定は、これらのシステムを評価する能力の基盤となる。 本稿では,現在使用されている様々な評価手法の多くを,共通の足場に配置する上で有効な評価基準を提案する。
  論文  参考訳（メタデータ） (2024-12-02T19:50:00Z)
• Evaluating Generative AI Systems is a Social Science Measurement Challenge [78.35388859345056]
  我々は,GenAIシステムの能力,影響,機会,リスクに関連する概念を測定するための枠組みを提案する。 このフレームワークは、背景概念、体系化された概念、測定器、インスタンスレベルの測定そのものの4つのレベルを区別する。
  論文  参考訳（メタデータ） (2024-11-17T02:35:30Z)
• From Silos to Systems: Process-Oriented Hazard Analysis for AI Systems [2.226040060318401]
  システム理論プロセス分析(STPA)をAIの操作と開発プロセスの解析に応用する。 我々は、機械学習アルゴリズムに依存したシステムと、3つのケーススタディに焦点をあてる。 私たちは、AIシステムに適したいくつかの適応があるにもかかわらず、anAを実行するための重要な概念とステップが容易に適用できることに気付きました。
  論文  参考訳（メタデータ） (2024-10-29T20:43:18Z)
• SafetyAnalyst: Interpretable, Transparent, and Steerable Safety Moderation for AI Behavior [56.10557932893919]
  我々は、新しいAI安全モデレーションフレームワークであるSafetyAnalystを紹介する。 AIの振る舞いを考えると、SafetyAnalystはチェーン・オブ・シークレット・推論を使用してその潜在的な結果を分析する。 効果を28個の完全に解釈可能な重みパラメータを使って有害度スコアに集約する。
  論文  参考訳（メタデータ） (2024-10-22T03:38:37Z)
• A Conceptual Framework for Ethical Evaluation of Machine Learning Systems [12.887834116390358]
  倫理的意味は、機械学習システムの評価を設計する際に現れる。 本稿では,倫理的評価における重要なトレードオフを,潜在的な倫理的害に対する情報ゲインのバランスとして特徴付けるユーティリティ・フレームワークを提案する。 我々の分析は、倫理的な複雑さを意図的に評価し、管理する開発チームにとって重要な必要性を浮き彫りにしている。
  論文  参考訳（メタデータ） (2024-08-05T01:06:49Z)
• Overcoming Failures of Imagination in AI Infused System Development and Deployment [71.9309995623067]
  NeurIPS 2020は研究論文に「潜在的な悪用と失敗の結果」に関するインパクトステートメントを含むよう要求した。 我々は、害の枠組みは文脈に適応し、潜在的な利害関係者、システム余裕、および最も広い意味での害を評価するための実行可能なプロキシを考える必要があると論じている。
  論文  参考訳（メタデータ） (2020-11-26T18:09:52Z)
• Steps Towards Value-Aligned Systems [0.0]
  AI/MLを含む)アルゴリズムによる意思決定アーティファクトは、私たちの意思決定エコシステムの確立され成長している部分です。 現在の文献は、個々のアーティファクトが社会的規範や期待にどのように違反するかの例でいっぱいです。 この議論は、社会技術システムにおける価値アライメントを評価するためのより構造化されたシステムレベルのアプローチを論じている。
  論文  参考訳（メタデータ） (2020-02-10T22:47:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。