論文の概要: Access Denied: Meaningful Data Access for Quantitative Algorithm Audits
- arxiv url: http://arxiv.org/abs/2502.00428v1
- Date: Sat, 01 Feb 2025 13:33:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-05 15:00:43.101937
- Title: Access Denied: Meaningful Data Access for Quantitative Algorithm Audits
- Title(参考訳): Access Denied: 定量的アルゴリズム監査のための意味のあるデータアクセス
- Authors: Juliette Zaccour, Reuben Binns, Luc Rocher,
- Abstract要約: 第三者監査はしばしばアクセス制限によって妨げられ、監査人は制限された低品質のデータに頼らざるを得ない。
本研究は,リシディズムと医療カバレッジ予測のための2つの現実的なケーススタディの監査シミュレーションを行う。
データの最小化と匿名化のプラクティスは、個々のレベルのデータのエラー率を強く向上させ、信頼性の低い評価につながることが分かっています。
- 参考スコア(独自算出の注目度): 4.182284365432724
- License:
- Abstract: Independent algorithm audits hold the promise of bringing accountability to automated decision-making. However, third-party audits are often hindered by access restrictions, forcing auditors to rely on limited, low-quality data. To study how these limitations impact research integrity, we conduct audit simulations on two realistic case studies for recidivism and healthcare coverage prediction. We examine the accuracy of estimating group parity metrics across three levels of access: (a) aggregated statistics, (b) individual-level data with model outputs, and (c) individual-level data without model outputs. Despite selecting one of the simplest tasks for algorithmic auditing, we find that data minimization and anonymization practices can strongly increase error rates on individual-level data, leading to unreliable assessments. We discuss implications for independent auditors, as well as potential avenues for HCI researchers and regulators to improve data access and enable both reliable and holistic evaluations.
- Abstract(参考訳): 独立アルゴリズム監査は、自動意思決定に説明責任をもたらすという約束を持っている。
しかし、サードパーティの監査はアクセス制限によってしばしば妨げられ、監査人は限られた低品質のデータに頼らざるを得ない。
これらの制限が研究の整合性にどのように影響するかを研究するために、リシディズムと医療カバレッジ予測のための2つの現実的なケーススタディの監査シミュレーションを行う。
アクセスの3段階にわたるグループパリティ指標の推定精度について検討する。
(a)集計統計
(b)モデル出力による個人レベルのデータ、及び
(c)モデル出力のない個人レベルのデータ。
アルゴリズム監査において最も簡単なタスクの1つを選択するが、データの最小化と匿名化のプラクティスは個々のレベルのデータのエラー率を強く増加させ、信頼性の低い評価につながる。
我々は、独立した監査者への影響と、HCI研究者や規制当局がデータアクセスを改善し、信頼性と総合的な評価を両立させる可能性について論じる。
関連論文リスト
- Anomaly Detection in Double-entry Bookkeeping Data by Federated Learning System with Non-model Sharing Approach [3.827294988616478]
異常検出は財務監査において不可欠であり、効果的な検出には複数の組織から大量のデータを取得する必要があることが多い。
本研究では,モデル学習を単一のコミュニケーションラウンドに合理化するために,データコラボレーション(DC)分析を用いた新しいフレームワークを提案する。
この結果は,人工知能による監査の大幅な進歩を示し,高セキュリティ領域におけるFL手法の可能性を強調した。
論文 参考訳(メタデータ) (2025-01-22T08:53:12Z) - Towards Explainable Automated Data Quality Enhancement without Domain Knowledge [0.0]
我々は,任意のデータセットにおけるデータ品質問題を自動的に評価し,修正するための包括的フレームワークを提案する。
私たちの主な目的は、欠如、冗長性、不整合という3つの基本的な欠陥に対処することです。
統計的手法と機械学習アルゴリズムを統合するハイブリッドアプローチを採用する。
論文 参考訳(メタデータ) (2024-09-16T10:08:05Z) - The Data Minimization Principle in Machine Learning [61.17813282782266]
データ最小化は、収集、処理、保持されるデータの量を減らすことを目的としている。
様々な国際データ保護規制によって支持されている。
しかし、厳密な定式化が欠如しているため、その実践的な実装は依然として課題である。
論文 参考訳(メタデータ) (2024-05-29T19:40:27Z) - Lazy Data Practices Harm Fairness Research [49.02318458244464]
本稿では,公正な機械学習データセットを包括的に分析し,不反射的手法がアルゴリズム的公正度発見の到達度と信頼性をいかに妨げているかを示す。
本分析では,(1)データと評価における特定の保護属性の表現のテクスブフラック,(2)データ前処理におけるマイノリティの広汎なテキストbf,(3)フェアネス研究の一般化を脅かすテキストbfopaqueデータ処理の3つの分野について検討した。
この研究は、公正なMLにおけるデータプラクティスの批判的な再評価の必要性を強調し、データセットのソーシングと使用の両方を改善するための指針を提供する。
論文 参考訳(メタデータ) (2024-04-26T09:51:24Z) - Auditing and Generating Synthetic Data with Controllable Trust Trade-offs [54.262044436203965]
合成データセットとAIモデルを包括的に評価する総合監査フレームワークを導入する。
バイアスや差別の防止、ソースデータへの忠実性の確保、実用性、堅牢性、プライバシ保護などに焦点を当てている。
多様なユースケースにまたがる様々な生成モデルを監査することにより,フレームワークの有効性を実証する。
論文 参考訳(メタデータ) (2023-04-21T09:03:18Z) - CEDAR: Communication Efficient Distributed Analysis for Regressions [9.50726756006467]
患者レベルのデータを共有することなく、複数のEHRデータベース上での分散学習への関心が高まっている。
本稿では,局所的な最適推定値を集約する通信効率のよい新しい手法を提案する。
本稿では,統計的推測法と差分プライバシーに関する理論的検討を行い,シミュレーションおよび実データ解析におけるその性能評価を行う。
論文 参考訳(メタデータ) (2022-07-01T09:53:44Z) - Uncertainty Minimization for Personalized Federated Semi-Supervised
Learning [15.123493340717303]
我々は,データ関連クライアント(ヘルパーエージェント)からのラベリング支援を部分的にラベル付けまたは未ラベルのクライアントが求めることのできる,新しい半教師付き学習パラダイムを提案する。
実験により,提案手法は部分ラベル付きデータを用いた他の関連する研究よりも優れた性能と安定な収束が得られることが示された。
論文 参考訳(メタデータ) (2022-05-05T04:41:27Z) - Multi-view Contrastive Self-Supervised Learning of Accounting Data
Representations for Downstream Audit Tasks [1.9659095632676094]
国際監査基準では、財務諸表の根底にある会計取引を直接評価する必要がある。
ディープラーニングにインスパイアされた監査技術は、大量のジャーナルエントリデータを監査する分野に現れている。
本研究では,監査タスク不変な会計データ表現の学習を目的とした,自己指導型自己学習フレームワークを提案する。
論文 参考訳(メタデータ) (2021-09-23T08:16:31Z) - Learning to Limit Data Collection via Scaling Laws: Data Minimization
Compliance in Practice [62.44110411199835]
我々は機械学習法における文献に基づいて、データとシステム性能を結びつけるデータ解釈に基づく収集を制限するフレームワークを提案する。
我々は、性能曲線微分に基づくデータ最小化基準を定式化し、有効かつ解釈可能な分数法法技術を提供する。
論文 参考訳(メタデータ) (2021-07-16T19:59:01Z) - Causal Feature Selection for Algorithmic Fairness [61.767399505764736]
データ管理の統合コンポーネントにおける公平性について検討する。
本稿では,データセットの公平性を保証する特徴のサブコレクションを同定する手法を提案する。
論文 参考訳(メタデータ) (2020-06-10T20:20:10Z) - Operationalizing the Legal Principle of Data Minimization for
Personalization [64.0027026050706]
データ最小化原理の同質な解釈が欠如していることを認識し、パーソナライゼーションの文脈に適用可能な2つの運用定義を探索する。
データ最小化によるパフォーマンス低下はそれほど大きくないかもしれないが、異なるユーザに影響を与える可能性がある。
論文 参考訳(メタデータ) (2020-05-28T00:43:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。