論文の概要: Auditing Work: Exploring the New York City algorithmic bias audit regime

• arxiv url: http://arxiv.org/abs/2402.08101v1
• Date: Mon, 12 Feb 2024 22:37:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-02-14 17:20:19.741508
• Title: Auditing Work: Exploring the New York City algorithmic bias audit regime
• Title（参考訳）: オーディティング・ワーク:ニューヨーク市のアルゴリズムによる偏見監査体制を探る
• Authors: Lara Groves, Jacob Metcalf, Alayna Kennedy, Briana Vecchione, and Andrew Strait
• Abstract要約: 地方法144条 (LL 144) は、独立監査官が実施する年次バイアス監査を実施するために、雇用の自動化された雇用決定ツール(AEDT)を使用する雇用者を義務付けている。 本稿では,LL 144の他国におけるアルゴリズム監査の試みについて述べる。
• 参考スコア（独自算出の注目度）: 0.4580134784455941
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: In July 2023, New York City (NYC) initiated the first algorithm auditing system for commercial machine-learning systems. Local Law 144 (LL 144) mandates NYC-based employers using automated employment decision-making tools (AEDTs) in hiring to undergo annual bias audits conducted by an independent auditor. This paper examines lessons from LL 144 for other national algorithm auditing attempts. Through qualitative interviews with 16 experts and practitioners within the regime, we find that LL 144 has not effectively established an auditing regime. The law fails to clearly define key aspects, such as AEDTs and independent auditors, leading auditors, AEDT vendors, and companies using AEDTs to define the law's practical implementation in ways that failed to protect job applicants. Contributing factors include the law's flawed transparency-driven theory of change, industry lobbying narrowing the definition of AEDTs, practical and cultural challenges faced by auditors in accessing data, and wide disagreement over what constitutes a legitimate auditor, resulting in four distinct 'auditor roles.' We conclude with four recommendations for policymakers seeking to create similar bias auditing regimes, emphasizing clearer definitions, metrics, and increased accountability. By exploring LL 144 through the lens of auditors, our paper advances the evidence base around audit as an accountability mechanism, providing guidance for policymakers seeking to create similar regimes.
• Abstract（参考訳）: 2023年7月、ニューヨーク市は商用機械学習システムのための最初のアルゴリズム監査システムを開始した。 地方法144条(LL 144)は、独立監査官が実施する年次バイアス監査を実施するために、雇用の自動化された雇用決定ツール(AEDT)を使用する雇用者を義務付けている。 本稿では,LL 144の他のアルゴリズム監査の試みについて述べる。 16人の専門家と実践者による質的インタビューを通じて、ll 144は事実上監査体制を確立していないことが判明した。 この法律は、AEDTや独立監査人、指導的監査人、AEDTベンダー、およびAEDTを使用して、求職者を保護するのに失敗した方法で法の実践的実装を定義する企業など、重要な側面を明確に定義することができない。 コントリビューション要因には、法律の欠陥のある透明性駆動的変化理論、業界ロビー活動によるAEDTの定義の狭化、データへのアクセスにおける監査者が直面する実践的・文化的課題、正当な監査人を構成するものに対する広範な意見の相違などがあり、4つの異なる「監査役」が生じる。 我々は、政策立案者が同様のバイアス監査体制を作り、明確な定義、指標、説明責任の向上を強調する4つの勧告で締めくくった。 監査役のレンズを通してLL 144を探索することにより、監査に関するエビデンスベースを説明責任メカニズムとして前進させ、政策立案者が同様の体制を創り出すためのガイダンスを提供する。

関連論文リスト

• Support Evaluation for the TREC 2024 RAG Track: Comparing Human versus LLM Judges [53.12387628636912]
  RAG評価において重要な要素は、引用された文書の情報が回答をサポートするかどうかである。 TREC 2024 RAG Trackの36項目について,45件の参加者を大規模に比較検討した。 以上の結果から,手動によるオフスクラッチ評価の56%では,ヒトとGPT-4oの予測が完全に一致していることが示唆された。
  論文  参考訳（メタデータ） (2025-04-21T16:20:43Z)
• A Law Reasoning Benchmark for LLM with Tree-Organized Structures including Factum Probandum, Evidence and Experiences [76.73731245899454]
  本稿では,階層的なファクトラム,証拠,暗黙的な経験に富む透明な法理推論スキーマを提案する。 このスキーマにインスパイアされた課題は、テキストのケース記述を取り込み、最終決定を正当化する階層構造を出力する。 このベンチマークは、Intelligent Courtにおける透明で説明可能なAI支援法推論の道を開く」。
  論文  参考訳（メタデータ） (2025-03-02T10:26:54Z)
• What we learned while automating bias detection in AI hiring systems for compliance with NYC Local Law 144 [0.0]
  ニューヨーク市の地方法144条は、雇用者に対して、雇用プロセスに使用される自動雇用決定ツール(AEDT)の独立したバイアス監査を実施するよう求めている。 この法律は、コンプライアンスを確保するためにAI開発者と実装者が実行しなければならないバイアステストの最小セットを概説している。 我々は、この法律に基づいて実施された監査を収集、分析し、ベストプラクティスを特定し、雇用主のコンプライアンスを合理化するためのソフトウェアツールを開発した。
  論文  参考訳（メタデータ） (2024-12-13T14:14:26Z)
• Usefulness of LLMs as an Author Checklist Assistant for Scientific Papers: NeurIPS'24 Experiment [59.09144776166979]
  大規模言語モデル(LLM)は、科学的ピアレビューを支援する上で有望だが議論の余地のあるツールである。 本研究は,論文提出を提出基準に適合させるツールとして,会議環境におけるLCMの有用性を評価する。
  論文  参考訳（メタデータ） (2024-11-05T18:58:00Z)
• From Transparency to Accountability and Back: A Discussion of Access and Evidence in AI Auditing [1.196505602609637]
  監査は、デプロイ前のリスクアセスメント、進行中の監視、コンプライアンステストなど、さまざまな形式で実施することができる。 AI監査には、その実装を複雑にする多くの運用上の課題がある。 我々は、監査は自然な仮説テストとして、並列仮説テストと法的手続きを引き出すことができると論じ、このフレーミングは、監査実施に関する明確かつ解釈可能なガイダンスを提供すると論じる。
  論文  参考訳（メタデータ） (2024-10-07T06:15:46Z)
• RegNLP in Action: Facilitating Compliance Through Automated Information Retrieval and Answer Generation [51.998738311700095]
  その長さ、複雑さ、頻繁な更新を特徴とする規制文書は解釈が難しい。 RegNLPは、規制規則と義務のアクセスと解釈を簡素化することを目的とした、多分野のサブフィールドである。 ObliQAデータセットには、Abu Dhabi Global Markets (ADGM) からの27,869の質問が含まれている。
  論文  参考訳（メタデータ） (2024-09-09T14:44:19Z)
• Analysis of the ICML 2023 Ranking Data: Can Authors' Opinions of Their Own Papers Assist Peer Review in Machine Learning? [52.00419656272129]
  我々は2023年の国際機械学習会議(ICML)で実験を行った。 我々はそれぞれ2,592件の応募書を含む1,342件のランク付けを受けた。 著者によるランキングを用いて生のレビュースコアを校正するイソトニックメカニズムに注目した。
  論文  参考訳（メタデータ） (2024-08-24T01:51:23Z)
• Null Compliance: NYC Local Law 144 and the Challenges of Algorithm Accountability [0.7684035229968342]
  2023年7月、ニューヨーク市は、商用のアルゴリズムシステムのバイアス監査を義務付ける世界で最初の司法管轄区域となった。 LL 144は、AEDTをレースとジェンダーの偏見のために毎年個別に監査することを要求している。 本研究では,学生調査員155人がLL 144に対する雇用主のコンプライアンスと求職希望者のユーザ体験を391名記録した。
  論文  参考訳（メタデータ） (2024-06-03T15:01:20Z)
• A Game-Theoretic Analysis of Auditing Differentially Private Algorithms with Epistemically Disparate Herd [16.10098472773814]
  本研究は,Stackelbergゲームアプローチを用いたアルゴリズム開発者に対する群集監査の効果について検討する。 透明性と説明責任を高めることで、Hed auditはプライバシ保護アルゴリズムの責任ある開発に寄与する。
  論文  参考訳（メタデータ） (2024-04-24T20:34:27Z)
• The Decisive Power of Indecision: Low-Variance Risk-Limiting Audits and Election Contestation via Marginal Mark Recording [51.82772358241505]
  リスクリミット監査(リスクリミット監査、RLA)は、大規模な選挙の結果を検証する技術である。 我々は、効率を改善し、統計力の進歩を提供する監査の新たなファミリーを定めている。 新しい監査は、複数の可能なマーク解釈を宣言できるように、キャストボイトレコードの標準概念を再考することで実現される。
  論文  参考訳（メタデータ） (2024-02-09T16:23:54Z)
• A Framework for Assurance Audits of Algorithmic Systems [2.2342503377379725]
  本稿では,運用可能なコンプライアンスおよび保証外部監査フレームワークとして,基準監査を提案する。 AI監査も同様に、AI組織が人間の価値を害し、維持する方法でアルゴリズムを管理する能力について、ステークホルダーに保証を提供するべきだ、と私たちは主張する。 我々は、より成熟した金融監査産業の実践をAI監査に適用する上でのメリット、固有の制限、実装上の課題について、批判的な議論をすることで締めくくります。
  論文  参考訳（メタデータ） (2024-01-26T14:38:54Z)
• Who Audits the Auditors? Recommendations from a field scan of the algorithmic auditing ecosystem [0.971392598996499]
  AI監査エコシステムの最初の包括的なフィールドスキャンを提供する。 私たちは、新たなベストプラクティスと、一般的になりつつある方法やツールを特定します。 これらの監査の質と影響を改善するための政策勧告を概説する。
  論文  参考訳（メタデータ） (2023-10-04T01:40:03Z)
• Multi-Scenario Empirical Assessment of Agile Governance Theory: A Technical Report [55.2480439325792]
  アジャイルガバナンス理論(AGT)は、ビジネスユニットやチーム間での責任の組織的連鎖の潜在的なモデルとして登場した。 本研究は,AGTが実際にどのように反映されているかを評価することを目的とする。
  論文  参考訳（メタデータ） (2023-07-03T18:50:36Z)
• Algorithmic Fairness and Vertical Equity: Income Fairness with IRS Tax Audit Models [73.24381010980606]
  本研究は、IRSによる税務監査選択を通知するシステムの文脈におけるアルゴリズムフェアネスの問題について検討する。 監査を選択するための柔軟な機械学習手法が、垂直エクイティにどのように影響するかを示す。 この結果は,公共セクター全体でのアルゴリズムツールの設計に影響を及ぼす。
  論文  参考訳（メタデータ） (2022-06-20T16:27:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。