論文の概要: Who Audits the Auditors? Recommendations from a field scan of the algorithmic auditing ecosystem

• arxiv url: http://arxiv.org/abs/2310.02521v1
• Date: Wed, 4 Oct 2023 01:40:03 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-05 16:49:45.864469
• Title: Who Audits the Auditors? Recommendations from a field scan of the algorithmic auditing ecosystem
• Title（参考訳）: 誰が監査官を監査するの? アルゴリズム監査エコシステムのフィールドスキャンからの提言
• Authors: Sasha Costanza-Chock, Emma Harvey, Inioluwa Deborah Raji, Martha Czernuszenko, Joy Buolamwini
• Abstract要約: AI監査エコシステムの最初の包括的なフィールドスキャンを提供する。 私たちは、新たなベストプラクティスと、一般的になりつつある方法やツールを特定します。 これらの監査の質と影響を改善するための政策勧告を概説する。
• 参考スコア（独自算出の注目度）: 0.971392598996499
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: AI audits are an increasingly popular mechanism for algorithmic accountability; however, they remain poorly defined. Without a clear understanding of audit practices, let alone widely used standards or regulatory guidance, claims that an AI product or system has been audited, whether by first-, second-, or third-party auditors, are difficult to verify and may exacerbate, rather than mitigate, bias and harm. To address this knowledge gap, we provide the first comprehensive field scan of the AI audit ecosystem. We share a catalog of individuals (N=438) and organizations (N=189) who engage in algorithmic audits or whose work is directly relevant to algorithmic audits; conduct an anonymous survey of the group (N=152); and interview industry leaders (N=10). We identify emerging best practices as well as methods and tools that are becoming commonplace, and enumerate common barriers to leveraging algorithmic audits as effective accountability mechanisms. We outline policy recommendations to improve the quality and impact of these audits, and highlight proposals with wide support from algorithmic auditors as well as areas of debate. Our recommendations have implications for lawmakers, regulators, internal company policymakers, and standards-setting bodies, as well as for auditors. They are: 1) require the owners and operators of AI systems to engage in independent algorithmic audits against clearly defined standards; 2) notify individuals when they are subject to algorithmic decision-making systems; 3) mandate disclosure of key components of audit findings for peer review; 4) consider real-world harm in the audit process, including through standardized harm incident reporting and response mechanisms; 5) directly involve the stakeholders most likely to be harmed by AI systems in the algorithmic audit process; and 6) formalize evaluation and, potentially, accreditation of algorithmic auditors.
• Abstract（参考訳）: AI監査は、アルゴリズムによる説明責任のメカニズムとしてますます人気が高まっている。 監査の慣行を明確に理解せず、広く使われている標準や規制のガイダンスは言うまでもなく、ai製品やシステムは、第一、第二、第三の監査人によって監査されており、検証が困難であり、バイアスや危害を和らげるのではなく、悪化する可能性があると主張している。 この知識ギャップに対処するため、私たちはAI監査エコシステムの最初の包括的なフィールドスキャンを提供します。 我々は、アルゴリズム監査に従事している個人(N=438)と組織(N=189)のカタログを共有し、アルゴリズム監査に直接関連する作業を行い、グループ(N=152)を匿名で調査し、業界リーダー(N=10)にインタビューする。 我々は、新たなベストプラクティスや一般的な方法やツールを特定し、効果的な説明責任メカニズムとしてアルゴリズム監査を活用するための共通の障壁を列挙します。 我々は,これらの監査の質と影響を改善するための政策勧告を概説し,アルゴリズム監査官の幅広い支援と議論領域の紹介を行う。 私たちの勧告は、監査人だけでなく、議員、規制当局、社内政策立案者、基準設定機関にも影響します。 その通りです 1)AIシステムの所有者及び運用者は、明確に定義された基準に対する独立したアルゴリズム監査を行う必要がある。 2 アルゴリズム決定システムに該当する場合は、個人に通知すること。 3 査読のための監査所見の重要成分の開示を義務付けること。 4) 監査プロセスにおける実世界の害を、標準化された被害報告及び対応機構を通じて考慮すること。 5)アルゴリズム監査プロセスにおいてAIシステムによって害を受ける可能性が最も高い利害関係者に直接関与すること。 6) 評価を形式化し、潜在的にアルゴリズム監査人の認定を行う。

関連論文リスト

• From Transparency to Accountability and Back: A Discussion of Access and Evidence in AI Auditing [1.196505602609637]
  監査は、デプロイ前のリスクアセスメント、進行中の監視、コンプライアンステストなど、さまざまな形式で実施することができる。 AI監査には、その実装を複雑にする多くの運用上の課題がある。 我々は、監査は自然な仮説テストとして、並列仮説テストと法的手続きを引き出すことができると論じ、このフレーミングは、監査実施に関する明確かつ解釈可能なガイダンスを提供すると論じる。
  論文  参考訳（メタデータ） (2024-10-07T06:15:46Z)
• A Game-Theoretic Analysis of Auditing Differentially Private Algorithms with Epistemically Disparate Herd [16.10098472773814]
  本研究は,Stackelbergゲームアプローチを用いたアルゴリズム開発者に対する群集監査の効果について検討する。 透明性と説明責任を高めることで、Hed auditはプライバシ保護アルゴリズムの責任ある開発に寄与する。
  論文  参考訳（メタデータ） (2024-04-24T20:34:27Z)
• Auditing Work: Exploring the New York City algorithmic bias audit regime [0.4580134784455941]
  地方法144条 (LL 144) は、独立監査官が実施する年次バイアス監査を実施するために、雇用の自動化された雇用決定ツール(AEDT)を使用する雇用者を義務付けている。 本稿では,LL 144の他国におけるアルゴリズム監査の試みについて述べる。
  論文  参考訳（メタデータ） (2024-02-12T22:37:15Z)
• The Decisive Power of Indecision: Low-Variance Risk-Limiting Audits and Election Contestation via Marginal Mark Recording [51.82772358241505]
  リスクリミット監査(リスクリミット監査、RLA)は、大規模な選挙の結果を検証する技術である。 我々は、効率を改善し、統計力の進歩を提供する監査の新たなファミリーを定めている。 新しい監査は、複数の可能なマーク解釈を宣言できるように、キャストボイトレコードの標準概念を再考することで実現される。
  論文  参考訳（メタデータ） (2024-02-09T16:23:54Z)
• A Framework for Assurance Audits of Algorithmic Systems [2.2342503377379725]
  本稿では,運用可能なコンプライアンスおよび保証外部監査フレームワークとして,基準監査を提案する。 AI監査も同様に、AI組織が人間の価値を害し、維持する方法でアルゴリズムを管理する能力について、ステークホルダーに保証を提供するべきだ、と私たちは主張する。 我々は、より成熟した金融監査産業の実践をAI監査に適用する上でのメリット、固有の制限、実装上の課題について、批判的な議論をすることで締めくくります。
  論文  参考訳（メタデータ） (2024-01-26T14:38:54Z)
• The right to audit and power asymmetries in algorithm auditing [68.8204255655161]
  IC2S2 2021でSandvig氏が言及した課題と漸近について詳しく説明する。 また、Sandvigがカバーしていない非対称性の議論にも貢献する。 本稿では,これらの非対称性がアルゴリズム監査研究に与える影響について論じる。
  論文  参考訳（メタデータ） (2023-02-16T13:57:41Z)
• Tight Auditing of Differentially Private Machine Learning [77.38590306275877]
  プライベート機械学習では、既存の監査メカニズムは厳格である。 彼らは不確実な最悪の仮定の下でのみ厳密な見積もりを行う。 我々は、自然(逆向きではない)データセットの厳密なプライバシー推定を得られる改善された監査スキームを設計する。
  論文  参考訳（メタデータ） (2023-02-15T21:40:33Z)
• Having your Privacy Cake and Eating it Too: Platform-supported Auditing of Social Media Algorithms for Public Interest [70.02478301291264]
  ソーシャルメディアプラットフォームは、情報や機会へのアクセスをキュレートするので、公衆の言論を形成する上で重要な役割を果たす。 これまでの研究では、これらのアルゴリズムが偏見や差別的な結果をもたらすことを示すためにブラックボックス法が用いられてきた。 本稿では,提案法の目標を満たすプラットフォーム支援型監査手法を提案する。
  論文  参考訳（メタデータ） (2022-07-18T17:32:35Z)
• Algorithmic Fairness and Vertical Equity: Income Fairness with IRS Tax Audit Models [73.24381010980606]
  本研究は、IRSによる税務監査選択を通知するシステムの文脈におけるアルゴリズムフェアネスの問題について検討する。 監査を選択するための柔軟な機械学習手法が、垂直エクイティにどのように影響するかを示す。 この結果は,公共セクター全体でのアルゴリズムツールの設計に影響を及ぼす。
  論文  参考訳（メタデータ） (2022-06-20T16:27:06Z)
• Outsider Oversight: Designing a Third Party Audit Ecosystem for AI Governance [3.8997087223115634]
  我々は、現在のAIの状況におけるサードパーティの監視の課題について論じる。 このような監査の制度設計はモノリシックとは程遠い。 我々は,監査のみへの転換が,実際のアルゴリズム的説明責任を達成する可能性は低いと結論づける。
  論文  参考訳（メタデータ） (2022-06-09T19:18:47Z)
• Towards a multi-stakeholder value-based assessment framework for algorithmic systems [76.79703106646967]
  我々は、価値間の近さと緊張を可視化する価値に基づくアセスメントフレームワークを開発する。 我々は、幅広い利害関係者に評価と検討のプロセスを開放しつつ、それらの運用方法に関するガイドラインを提示する。
  論文  参考訳（メタデータ） (2022-05-09T19:28:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。