論文の概要: Black-Box Access is Insufficient for Rigorous AI Audits
- arxiv url: http://arxiv.org/abs/2401.14446v1
- Date: Thu, 25 Jan 2024 18:58:05 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-29 16:46:21.562631
- Title: Black-Box Access is Insufficient for Rigorous AI Audits
- Title(参考訳): 厳格なAI監査にはブラックボックスアクセスが不十分
- Authors: Stephen Casper, Carson Ezell, Charlotte Siegmann, Noam Kolt, Taylor
Lynn Curtis, Benjamin Bucknall, Andreas Haupt, Kevin Wei, J\'er\'emy
Scheurer, Marius Hobbhahn, Lee Sharkey, Satyapriya Krishna, Marvin Von Hagen,
Silas Alberti, Alan Chan, Qinyi Sun, Michael Gerovitch, David Bau, Max
Tegmark, David Krueger, Dylan Hadfield-Menell
- Abstract要約: ブラックボックス監査の限界と、ホワイトボックスとアウトサイドボックス監査の利点について論じる。
また、これらの監査を最小限のセキュリティリスクで実施するための技術的、物理的、法的保護についても論じる。
- 参考スコア(独自算出の注目度): 26.32783273995606
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: External audits of AI systems are increasingly recognized as a key mechanism
for AI governance. The effectiveness of an audit, however, depends on the
degree of system access granted to auditors. Recent audits of state-of-the-art
AI systems have primarily relied on black-box access, in which auditors can
only query the system and observe its outputs. However, white-box access to the
system's inner workings (e.g., weights, activations, gradients) allows an
auditor to perform stronger attacks, more thoroughly interpret models, and
conduct fine-tuning. Meanwhile, outside-the-box access to its training and
deployment information (e.g., methodology, code, documentation,
hyperparameters, data, deployment details, findings from internal evaluations)
allows for auditors to scrutinize the development process and design more
targeted evaluations. In this paper, we examine the limitations of black-box
audits and the advantages of white- and outside-the-box audits. We also discuss
technical, physical, and legal safeguards for performing these audits with
minimal security risks. Given that different forms of access can lead to very
different levels of evaluation, we conclude that (1) transparency regarding the
access and methods used by auditors is necessary to properly interpret audit
results, and (2) white- and outside-the-box access allow for substantially more
scrutiny than black-box access alone.
- Abstract(参考訳): AIシステムの外部監査は、AIガバナンスの重要なメカニズムとして、ますます認識されている。
しかし、監査の有効性は監査者に与えられるシステムアクセスの程度に依存する。
最近の最先端のAIシステムの監査は、主にブラックボックスアクセスに依存しており、監査官はシステムに問い合わせて出力を観察することしかできない。
しかしながら、システムの内部動作(重み、アクティベーション、勾配など)へのホワイトボックスアクセスにより、監査役はより強力な攻撃を行い、より徹底的なモデル解釈を行い、微調整を行うことができる。
一方、外部からのトレーニングやデプロイメント情報(方法論、コード、ドキュメント、ハイパーパラメータ、データ、デプロイメントの詳細、内部評価からの知見など)へのアクセスによって、監査役は開発プロセスを精査し、よりターゲットとした評価を設計できるようになる。
本稿では,ブラックボックス監査の限界と,ホワイトボックス監査の利点について検討する。
また,これらの監査を行うための技術的,物理的,法的保護策について,最小限のセキュリティリスクで議論する。
異なるアクセス形態が全く異なる評価に繋がる可能性があることを考慮し、(1)監査人によるアクセスとメソッドに関する透明性は監査結果を適切に解釈するために必要であり、(2)ホワイト・ザ・ボックス・アクセスはブラックボックス・アクセス単独よりもかなり精査できると結論づける。
関連論文リスト
- A Framework for Assurance Audits of Algorithmic Systems [2.367447006657134]
ますます多くの規制が、AIシステムの透明性と説明責任を達成するための実施メカニズムとして、AI監査の概念を提案している。
さまざまな形のAI監査に関するいくつかの規範にもかかわらず、コンプライアンスと保証の目的のための監査は現在、プラクティス、手順、標準についてほとんど合意されていない。
本稿では,運用可能なコンプライアンスおよび保証外部監査フレームワークとして,基準監査を提案する。
論文 参考訳(メタデータ) (2024-01-26T14:38:54Z) - AI auditing: The Broken Bus on the Road to AI Accountability [1.9758196889515185]
「AI監査」エコシステムは泥だらけで不正確で、様々な概念を掘り下げて、実践に関わるステークホルダーをマップアウトするのは困難です。
まず、規制当局、法律事務所、市民社会、ジャーナリズム、アカデミック、コンサルティング機関による現在のAI監査の実践を分類する。
私たちは、AI監査研究のごく一部だけが、望ましい説明責任の結果に変換されていることに気付きました。
論文 参考訳(メタデータ) (2024-01-25T19:00:29Z) - Who Audits the Auditors? Recommendations from a field scan of the
algorithmic auditing ecosystem [0.971392598996499]
AI監査エコシステムの最初の包括的なフィールドスキャンを提供する。
私たちは、新たなベストプラクティスと、一般的になりつつある方法やツールを特定します。
これらの監査の質と影響を改善するための政策勧告を概説する。
論文 参考訳(メタデータ) (2023-10-04T01:40:03Z) - Tight Auditing of Differentially Private Machine Learning [77.38590306275877]
プライベート機械学習では、既存の監査メカニズムは厳格である。
彼らは不確実な最悪の仮定の下でのみ厳密な見積もりを行う。
我々は、自然(逆向きではない)データセットの厳密なプライバシー推定を得られる改善された監査スキームを設計する。
論文 参考訳(メタデータ) (2023-02-15T21:40:33Z) - FAT Forensics: A Python Toolbox for Implementing and Deploying Fairness,
Accountability and Transparency Algorithms in Predictive Systems [69.24490096929709]
FAT ForensicsというオープンソースのPythonパッケージを開発しました。
予測アルゴリズムの重要な公平性、説明可能性、透明性を検査することができる。
私たちのツールボックスは、予測パイプラインのすべての要素を評価することができます。
論文 参考訳(メタデータ) (2022-09-08T13:25:02Z) - Having your Privacy Cake and Eating it Too: Platform-supported Auditing
of Social Media Algorithms for Public Interest [70.02478301291264]
ソーシャルメディアプラットフォームは、情報や機会へのアクセスをキュレートするので、公衆の言論を形成する上で重要な役割を果たす。
これまでの研究では、これらのアルゴリズムが偏見や差別的な結果をもたらすことを示すためにブラックボックス法が用いられてきた。
本稿では,提案法の目標を満たすプラットフォーム支援型監査手法を提案する。
論文 参考訳(メタデータ) (2022-07-18T17:32:35Z) - Algorithmic Fairness and Vertical Equity: Income Fairness with IRS Tax
Audit Models [73.24381010980606]
本研究は、IRSによる税務監査選択を通知するシステムの文脈におけるアルゴリズムフェアネスの問題について検討する。
監査を選択するための柔軟な機械学習手法が、垂直エクイティにどのように影響するかを示す。
この結果は,公共セクター全体でのアルゴリズムツールの設計に影響を及ぼす。
論文 参考訳(メタデータ) (2022-06-20T16:27:06Z) - Unfooling Perturbation-Based Post Hoc Explainers [12.599362066650842]
最近の研究は、摂動に基づくポストホックの説明を逆さまに騙すことが実証されている。
この発見は監査人、規制当局、その他のセンチネルに悪影響を及ぼす。
本研究では,この問題を厳格に定式化し,摂動型説明器に対する敵攻撃に対する防御策を考案する。
論文 参考訳(メタデータ) (2022-05-29T21:28:12Z) - Algorithmic audits of algorithms, and the law [3.9103337761169943]
対象アルゴリズムのユーザ側とのインタラクションによって実施される外部監査に注目した。
これらの監査が行われる法的な枠組みは、主にそれらを開発する研究者にとって曖昧である。
本稿では,アルゴリズム監査の進展する分野を構築するために,現在実施されている監査と法との関係を概説する。
論文 参考訳(メタデータ) (2022-02-15T14:20:53Z) - Dos and Don'ts of Machine Learning in Computer Security [74.1816306998445]
大きな可能性にもかかわらず、セキュリティにおける機械学習は、パフォーマンスを損なう微妙な落とし穴を引き起こす傾向がある。
我々は,学習ベースのセキュリティシステムの設計,実装,評価において共通の落とし穴を特定する。
我々は,落とし穴の回避や軽減を支援するために,研究者を支援するための実用的な勧告を提案する。
論文 参考訳(メタデータ) (2020-10-19T13:09:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。