論文の概要: Algorithm Validation as a Policy Audit: Evidence from Race-blind Charging

• arxiv url: http://arxiv.org/abs/2609.13174v1
• Date: Mon, 27 Jul 2026 17:40:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.517224
• Title: Algorithm Validation as a Policy Audit: Evidence from Race-blind Charging
• Title（参考訳）: 政策監査としてのアルゴリズム検証 : レースブラインド充電による証拠
• Abstract要約: カリフォルニア州は全ての検察官に対し、選択された人種関係のプロキシが修正された事例文書をレビューすることで「追跡盲検」の判断を下すよう要求した。 我々は、このリアクションを自動化するために開発したオープンソースのLLMベースのアルゴリズムであるbc2を検証する。 我々は、bc2が州の要求を忠実に実施するかどうか、その要求が忠実に実施されたとしても、人種選択決定の目標を前進させるかどうかを評価する。
• 参考スコア（独自算出の注目度）: 0.14226444561347
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: California recently required all prosecutors in the state to conduct a "race-blind charging" decision by reviewing case documents in which selected race-related proxies have been redacted. We validate bc2, an open-source, LLM-based algorithm that we developed to automate this redaction and that was used to facilitate race-blind review in more than 119,000 real-world cases in 2025. We evaluate two distinct questions: whether bc2 faithfully implements the state's requirements and whether those requirements, even when faithfully implemented, advance the goal of race-blind decision-making. To do so, we draw on a corpus of nearly 5,000 real-world police reports that we assembled from jurisdictions across the United States. Under a stringent document-level measure, we find that the latest version of bc2 faithfully implements the legal mandate on 96.7% of narratives in our sample. This performance represents a substantial improvement over earlier versions of bc2 and exceeds that of leading open-source redaction methods. Our validation also shows that California's mandate misses key proxies for race, including location information. Redacting these additional proxies beyond those covered by the state mandate, as bc2 does, eliminates 43.1% of the predictive signal that remains after compliance with the mandate. These findings show that validation can do more than assess technical compliance: it can also improve algorithms and help policymakers achieve underlying policy goals.
• Abstract（参考訳）: カリフォルニア州は最近、人種関係のプロキシが修正されたケース文書をレビューすることで、州内のすべての検察官に「追跡盲検」の判断をするよう要求した。 我々は、このリアクションを自動化するために開発したオープンソースのLLMベースのアルゴリズムであるbc2を検証する。 我々は、bc2が州の要求を忠実に実施しているかどうかと、その要求が忠実に実施されているとしても、人種選択による意思決定の目標を推し進めているかどうかという2つの異なる疑問を評価する。 そのために私たちは、米国中の司法機関から集めた、5000近い現実世界の警察報告のコーパスを取り上げました。 厳密な文書レベルの尺度では、bc2の最新バージョンは、我々のサンプルの96.7%の物語に対して、法的義務を忠実に実施している。 この性能は、bc2の以前のバージョンよりも大幅に改善され、主要なオープンソースのリアクションメソッドよりも優れていた。 私たちの検証では、カリフォルニア州の委任状が、位置情報を含む人種の主要なプロキシを見逃していることも示しています。 bc2がそうであるように、これらの追加のプロキシを州委任統治によってカバーされているものを超えて再実行すると、委任統治に従えば残る予測信号の43.1%が除去される。 これらの結果は、検証が技術的コンプライアンスを評価する以上のことができることを示している。アルゴリズムを改善し、政策立案者が根底にある政策目標を達成するのを助けることもできる。

関連論文リスト

• To Redact, or not to Redact? A Local LLM Approach to Deliberative Process Privilege Classification [0.2979301924660567]
  我々は、FOIA Exemption 5の熟考プロセス特権のための自動感度分類を行うための先行研究に基づいて構築する。 我々は、小型でローカルなモデルで、コンシューマグレードのハードウェアにデプロイ可能な感度分類を行う。 評定として予測される文には、意見の表現を示す動詞がもっと多く含まれていることが分かる。
  論文  参考訳（メタデータ） (2026-05-11T08:55:09Z)
• Preventing the Collapse of Peer Review Requires Verification-First AI [49.995126139461085]
  我々は、真理結合、すなわち、過度に科学的真理をトラックする場所のスコアの厳密さを提案する。 プロキシ・ソブリン評価に向けた相転移を駆動する2つの力の形式化を行う。
  論文  参考訳（メタデータ） (2026-01-23T17:17:32Z)
• Hard2Verify: A Step-Level Verification Benchmark for Open-Ended Frontier Math [80.46254366870447]
  私たちは500時間以上の人的労力で生成された段階レベルの検証ベンチマークであるHard2Verifyを紹介します。 我々は29人の生成的批評家とプロセス報酬モデルを評価し、いくつかの点を超えて、オープンソースの検証者がクローズドソースモデルを評価することを実証した。
  論文  参考訳（メタデータ） (2025-10-15T16:50:54Z)
• AIMSCheck: Leveraging LLMs for AI-Assisted Review of Modern Slavery Statements Across Jurisdictions [1.3858903828439308]
  英国とカナダから新たにアノテートされたデータセットであるAIMS.ukとAIMS.caを紹介する。 次に、コンプライアンス検証のためのエンドツーエンドフレームワークであるAIMSCheckを紹介する。 我々の実験は、オーストラリアにおけるデータセットで訓練されたモデルが、イギリスとカナダの司法管轄区域でよく一般化されていることを示している。
  論文  参考訳（メタデータ） (2025-06-02T13:40:59Z)
• Proxy Discrimination After Students for Fair Admissions [0.0]
  記事は、人種やその他の保護されたクラスや分類を代行する変数の使用を規制するためのテストを開発する。 裁判所やアルゴリズム構築者が変数のパワーについてより深く学ぶため、議会は時間をかけて許容されるプロキシパワーに上限を組み込むことができることを示唆している。
  論文  参考訳（メタデータ） (2025-01-07T17:13:24Z)
• A Method for Detecting Legal Article Competition for Korean Criminal Law Using a Case-augmented Mention Graph [3.015770349327888]
  本稿では,ある法律内で競合する記事を特定することを目的とした,法律記事競合検出(LACD)と呼ばれる新たな法的AIタスクを提案する。 新たな検索手法であるCAM-Re2は、既存の関連手法より優れ、偽陽性が20.8%、偽陰性が8.3%減少する。
  論文  参考訳（メタデータ） (2024-12-16T13:59:10Z)
• The Decisive Power of Indecision: Low-Variance Risk-Limiting Audits and Election Contestation via Marginal Mark Recording [51.82772358241505]
  リスクリミット監査(リスクリミット監査、RLA)は、大規模な選挙の結果を検証する技術である。 我々は、効率を改善し、統計力の進歩を提供する監査の新たなファミリーを定めている。 新しい監査は、複数の可能なマーク解釈を宣言できるように、キャストボイトレコードの標準概念を再考することで実現される。
  論文  参考訳（メタデータ） (2024-02-09T16:23:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。