論文の概要: Assessing the Fairness of AI Systems: AI Practitioners' Processes, Challenges, and Needs for Support

• arxiv url: http://arxiv.org/abs/2112.05675v1
• Date: Fri, 10 Dec 2021 17:14:34 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-13 15:20:13.063604
• Title: Assessing the Fairness of AI Systems: AI Practitioners' Processes, Challenges, and Needs for Support
• Title（参考訳）: AIシステムの公正性を評価する - AI実践者のプロセス、課題、サポートの必要性
• Authors: Michael Madaio, Lisa Egede, Hariharan Subramonyam, Jennifer Wortman Vaughan, Hanna Wallach
• Abstract要約: 私たちは、実践者のプロセス、課題、サポートの必要性を特定するために、AI実践者とのインタビューとワークショップを行っています。 パフォーマンス指標を選択し、最も関連する直接的な利害関係者や人口統計グループを特定する際に、実践者が課題に直面していることに気付きました。 私たちは、直接利害関係者との関わりの欠如、疎外されたグループよりも顧客を優先するビジネスインペラティブ、大規模にAIシステムをデプロイする動機から生じる公正な作業への影響を特定します。
• 参考スコア（独自算出の注目度）: 18.148737010217953
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Various tools and practices have been developed to support practitioners in identifying, assessing, and mitigating fairness-related harms caused by AI systems. However, prior research has highlighted gaps between the intended design of these tools and practices and their use within particular contexts, including gaps caused by the role that organizational factors play in shaping fairness work. In this paper, we investigate these gaps for one such practice: disaggregated evaluations of AI systems, intended to uncover performance disparities between demographic groups. By conducting semi-structured interviews and structured workshops with thirty-three AI practitioners from ten teams at three technology companies, we identify practitioners' processes, challenges, and needs for support when designing disaggregated evaluations. We find that practitioners face challenges when choosing performance metrics, identifying the most relevant direct stakeholders and demographic groups on which to focus, and collecting datasets with which to conduct disaggregated evaluations. More generally, we identify impacts on fairness work stemming from a lack of engagement with direct stakeholders, business imperatives that prioritize customers over marginalized groups, and the drive to deploy AI systems at scale.
• Abstract（参考訳）: AIシステムによって引き起こされる公正関連害を特定し、評価し、緩和する実践者を支援するために、さまざまなツールやプラクティスが開発されている。 しかしながら、以前の研究では、これらのツールやプラクティスの意図された設計と、組織的要因が公正な作業を形成する上で果たす役割によって引き起こされるギャップを含む、特定のコンテキストにおけるそれらの使用とのギャップが強調されている。 本稿では,人口集団間のパフォーマンス格差を明らかにすることを目的とした,AIシステムの非集約評価を行う。 3つのテクノロジ企業で10チームから33人のai実践者と半構造化インタビューや構造化ワークショップを実施して,評価の分散設計における実践者のプロセスや課題,サポートの必要性を特定した。 パフォーマンス指標の選択、最も関連する直接的な利害関係者や人口集団の特定、非集約的な評価を行うデータセットの収集において、実践者は課題に直面している。 より一般的には、直接利害関係者との関わりの欠如、疎外されたグループよりも顧客を優先するビジネスインペラティブ、大規模にAIシステムをデプロイする動機から生じる公平さの作業への影響を特定します。

関連論文リスト

• Preliminary Insights on Industry Practices for Addressing Fairness Debt [4.546982900370235]
  本研究は,ソフトウェア業界のAIシステムにおいて,ソフトウェアプロフェッショナルがバイアスを特定し,対処する方法について検討する。 本稿では,公正性負債に関する最初の証拠を提示し,AIシステムにおける公平性に関連する問題を管理するための構造化ガイドラインの開発基盤を提供する。
  論文  参考訳（メタデータ） (2024-09-04T04:18:42Z)
• Fairness in AI-Driven Recruitment: Challenges, Metrics, Methods, and Future Directions [0.0]
  ビッグデータと機械学習は、従来の採用プロセスに急激な変革をもたらした。 AIベースの採用の頻度を考えると、人間の偏見がこれらのシステムによって決定される可能性があるという懸念が高まっている。 本稿では、AIによる採用におけるバイアスの種類を議論することで、この新興分野の包括的概要を提供する。
  論文  参考訳（メタデータ） (2024-05-30T05:25:14Z)
• The Impossibility of Fair LLMs [59.424918263776284]
  大規模言語モデル(LLM)の時代において、公正なAIの必要性はますます明確になっている。 我々は、機械学習研究者が公正性を評価するために使った技術フレームワークについてレビューする。 我々は、特定のユースケースにおける公平性を達成するためのより現実的な目標のためのガイドラインを策定する。
  論文  参考訳（メタデータ） (2024-05-28T04:36:15Z)
• Investigating Practices and Opportunities for Cross-functional Collaboration around AI Fairness in Industry Practice [10.979734542685447]
  新たな研究機関は、AI設計と開発における公平性の問題に対処する上で、非効果的なクロスファンクショナルコラボレーションが大きな障壁であることを示している。 我々は17社からさまざまな役割を担った23人の業界実践者を対象に,一連のインタビューとデザインワークショップを開催した。 実践者は、役割間のAIフェアネスに関する理解、文脈化、評価の摩擦を克服するために、ブリッジ作業に従事していることがわかった。
  論文  参考訳（メタデータ） (2023-06-10T23:42:26Z)
• Perspectives on Large Language Models for Relevance Judgment [56.935731584323996]
  大型言語モデル(LLM)は、関連判断を支援することができると主張している。 自動判定が検索システムの評価に確実に利用できるかどうかは不明である。
  論文  参考訳（メタデータ） (2023-04-13T13:08:38Z)
• Causal Fairness Analysis [68.12191782657437]
  意思決定設定における公平性の問題を理解し、モデル化し、潜在的に解決するためのフレームワークを導入します。 我々のアプローチの主な洞察は、観測データに存在する格差の定量化と、基礎となる、しばしば観測されていない、因果的なメカニズムの収集を結びつけることである。 本研究は,文献中の異なる基準間の関係を整理し,説明するための最初の体系的試みであるフェアネスマップにおいて,本研究の成果を左右するものである。
  論文  参考訳（メタデータ） (2022-07-23T01:06:34Z)
• Measuring Fairness Under Unawareness of Sensitive Attributes: A Quantification-Based Approach [131.20444904674494]
  センシティブな属性の無意識下でのグループフェアネスを測定する問題に取り組む。 定量化手法は, フェアネスと無意識の問題に対処するのに特に適していることを示す。
  論文  参考訳（メタデータ） (2021-09-17T13:45:46Z)
• Designing Disaggregated Evaluations of AI Systems: Choices, Considerations, and Tradeoffs [42.401239658653914]
  分散評価の設計に関わる選択肢、考慮事項、トレードオフについてより深く理解することで、研究者、実践者、一般の人々が、特定のグループに対してAIシステムがいかにパフォーマンスを低下させるかを理解することができます。
  論文  参考訳（メタデータ） (2021-03-10T14:26:14Z)
• Leveraging Expert Consistency to Improve Algorithmic Decision Support [62.61153549123407]
  建設のギャップを狭めるために観測結果と組み合わせることができる情報源として,歴史専門家による意思決定の利用について検討する。 本研究では,データ内の各ケースが1人の専門家によって評価された場合に,専門家の一貫性を間接的に推定する影響関数に基づく手法を提案する。 本研究は, 児童福祉領域における臨床現場でのシミュレーションと実世界データを用いて, 提案手法が構成ギャップを狭めることに成功していることを示す。
  論文  参考訳（メタデータ） (2021-01-24T05:40:29Z)
• Artificial Intelligence for IT Operations (AIOPS) Workshop White Paper [50.25428141435537]
  AIOps(Artificial Intelligence for IT Operations)は、マシンラーニング、ビッグデータ、ストリーミング分析、IT運用管理の交差点で発生する、新たな学際分野である。 AIOPSワークショップの主な目的は、アカデミアと産業界の両方の研究者が集まり、この分野での経験、成果、作業について発表することです。
  論文  参考訳（メタデータ） (2021-01-15T10:43:10Z)
• No computation without representation: Avoiding data and algorithm biases through diversity [11.12971845021808]
  学術的および専門的なコンピューティング分野における多様性の欠如と、データセットで発生するバイアスのタイプと幅の関連性を引き合いに出す。 これらの教訓を利用して、コンピューティングコミュニティが多様性を高めるための具体的なステップを提供するレコメンデーションを開発する。
  論文  参考訳（メタデータ） (2020-02-26T23:07:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。