論文の概要: From Transparency to Accountability and Back: A Discussion of Access and Evidence in AI Auditing
- arxiv url: http://arxiv.org/abs/2410.04772v1
- Date: Mon, 7 Oct 2024 06:15:46 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-02 02:07:46.517607
- Title: From Transparency to Accountability and Back: A Discussion of Access and Evidence in AI Auditing
- Title（参考訳）: 透明性から説明責任へ:AI監査におけるアクセスとエビデンスに関する考察
- Authors: Sarah H. Cen, Rohan Alur,
- Abstract要約: 監査は、デプロイ前のリスクアセスメント、進行中の監視、コンプライアンステストなど、さまざまな形式で実施することができる。
AI監査には、その実装を複雑にする多くの運用上の課題がある。
我々は、監査は自然な仮説テストとして、並列仮説テストと法的手続きを引き出すことができると論じ、このフレーミングは、監査実施に関する明確かつ解釈可能なガイダンスを提供すると論じる。
- 参考スコア（独自算出の注目度）: 1.196505602609637
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Artificial intelligence (AI) is increasingly intervening in our lives, raising widespread concern about its unintended and undeclared side effects. These developments have brought attention to the problem of AI auditing: the systematic evaluation and analysis of an AI system, its development, and its behavior relative to a set of predetermined criteria. Auditing can take many forms, including pre-deployment risk assessments, ongoing monitoring, and compliance testing. It plays a critical role in providing assurances to various AI stakeholders, from developers to end users. Audits may, for instance, be used to verify that an algorithm complies with the law, is consistent with industry standards, and meets the developer's claimed specifications. However, there are many operational challenges to AI auditing that complicate its implementation. In this work, we examine a key operational issue in AI auditing: what type of access to an AI system is needed to perform a meaningful audit? Addressing this question has direct policy relevance, as it can inform AI audit guidelines and requirements. We begin by discussing the factors that auditors balance when determining the appropriate type of access, and unpack the benefits and drawbacks of four types of access. We conclude that, at minimum, black-box access -- providing query access to a model without exposing its internal implementation -- should be granted to auditors, as it balances concerns related to trade secrets, data privacy, audit standardization, and audit efficiency. We then suggest a framework for determining how much further access (in addition to black-box access) to grant auditors. We show that auditing can be cast as a natural hypothesis test, draw parallels hypothesis testing and legal procedure, and argue that this framing provides clear and interpretable guidance on audit implementation.
- Abstract（参考訳）: 人工知能(AI)は私たちの生活にますます介入しており、意図しない、宣言されていない副作用について広く懸念されている。
これらの開発は、AIシステムの体系的評価と分析、その開発、および所定の基準のセットに対するその挙動という、AI監査の問題に注意を向けている。
監査には、デプロイ前のリスクアセスメント、進行中の監視、コンプライアンステストなど、さまざまな形式が必要になる。
開発者からエンドユーザまで、さまざまなAI利害関係者に保証を提供する上で、これは重要な役割を果たす。
例えば、監査人は、アルゴリズムが法律に準拠し、業界標準と整合し、開発者の要求する仕様に適合していることを確認するために使用することができる。
しかし、その実装を複雑にするAI監査には、多くの運用上の課題がある。
本研究では,AI監査における重要な運用上の問題として,意味のある監査を行う上で,AIシステムへのどのようなアクセスが必要なのかを検討する。
この問題に対処するには、AI監査ガイドラインと要件を通知できるため、直接的な政策関連性がある。
まず、適切なアクセスの種類を決定する際に監査人がバランスをとる要因について議論し、4種類のアクセスの利点と欠点を解き放つことから始めます。
我々は、最低でもブラックボックスアクセス -- 内部実装を公開せずにモデルへのクエリアクセスを提供する -- は、営業秘密、データプライバシ、監査標準化、監査効率に関する懸念のバランスをとるため、監査者に与えられるべきであると結論付けている。
次に、監査人を許可するための(ブラックボックスアクセスに加えて)どの程度のアクセスを行うかを決定するためのフレームワークを提案する。
我々は, 監査を自然な仮説テストとして, 並列仮説テストと法的な手順で行うことを示し, このフレーミングは, 監査実施に関する明確かつ解釈可能なガイダンスを提供すると主張している。
関連論文リスト
- Assessing the Auditability of AI-integrating Systems: A Framework and Learning Analytics Case Study [0.0]
監査の有効性は,監査システムの監査可能性に左右される。
本稿では,AI統合システムの監査性を評価するためのフレームワークを提案する。
論文 参考訳（メタデータ） (2024-10-29T13:43:21Z) - Using AI Alignment Theory to understand the potential pitfalls of regulatory frameworks [55.2480439325792]
本稿では、欧州連合の人工知能法(EU AI法)を批判的に検討する。
人工知能における技術的アライメントの潜在的な落とし穴に焦点を当てたアライメント理論(AT)研究からの洞察を利用する。
これらの概念をEU AI Actに適用すると、潜在的な脆弱性と規制を改善するための領域が明らかになる。
論文 参考訳（メタデータ） (2024-10-10T17:38:38Z) - Open Problems in Technical AI Governance [93.89102632003996]
テクニカルAIガバナンス(Technical AI Governance)は、AIの効果的なガバナンスを支援するための技術分析とツールである。
本論文は、AIガバナンスへの貢献を目指す技術研究者や研究資金提供者のためのリソースとして意図されている。
論文 参考訳（メタデータ） (2024-07-20T21:13:56Z) - Testing autonomous vehicles and AI: perspectives and challenges from cybersecurity, transparency, robustness and fairness [53.91018508439669]
この研究は、人工知能を自律走行車(AV)に統合する複雑さを探求する
AIコンポーネントがもたらした課題と、テスト手順への影響を調べます。
本稿は、重要な課題を特定し、AV技術におけるAIの研究・開発に向けた今後の方向性を提案する。
論文 参考訳（メタデータ） (2024-02-21T08:29:42Z) - A Framework for Assurance Audits of Algorithmic Systems [2.2342503377379725]
本稿では,運用可能なコンプライアンスおよび保証外部監査フレームワークとして,基準監査を提案する。
AI監査も同様に、AI組織が人間の価値を害し、維持する方法でアルゴリズムを管理する能力について、ステークホルダーに保証を提供するべきだ、と私たちは主張する。
我々は、より成熟した金融監査産業の実践をAI監査に適用する上でのメリット、固有の制限、実装上の課題について、批判的な議論をすることで締めくくります。
論文 参考訳（メタデータ） (2024-01-26T14:38:54Z) - AI auditing: The Broken Bus on the Road to AI Accountability [1.9758196889515185]
「AI監査」エコシステムは泥だらけで不正確で、様々な概念を掘り下げて、実践に関わるステークホルダーをマップアウトするのは困難です。
まず、規制当局、法律事務所、市民社会、ジャーナリズム、アカデミック、コンサルティング機関による現在のAI監査の実践を分類する。
私たちは、AI監査研究のごく一部だけが、望ましい説明責任の結果に変換されていることに気付きました。
論文 参考訳（メタデータ） (2024-01-25T19:00:29Z) - Black-Box Access is Insufficient for Rigorous AI Audits [25.983796391987298]
ブラックボックス監査の限界と、ホワイトボックスとアウトサイドボックス監査の利点について論じる。
また、これらの監査を最小限のセキュリティリスクで実施するための技術的、物理的、法的保護についても論じる。
論文 参考訳（メタデータ） (2024-01-25T18:58:05Z) - Who Audits the Auditors? Recommendations from a field scan of the
algorithmic auditing ecosystem [0.971392598996499]
AI監査エコシステムの最初の包括的なフィールドスキャンを提供する。
私たちは、新たなベストプラクティスと、一般的になりつつある方法やツールを特定します。
これらの監査の質と影響を改善するための政策勧告を概説する。
論文 参考訳（メタデータ） (2023-10-04T01:40:03Z) - Having your Privacy Cake and Eating it Too: Platform-supported Auditing
of Social Media Algorithms for Public Interest [70.02478301291264]
ソーシャルメディアプラットフォームは、情報や機会へのアクセスをキュレートするので、公衆の言論を形成する上で重要な役割を果たす。
これまでの研究では、これらのアルゴリズムが偏見や差別的な結果をもたらすことを示すためにブラックボックス法が用いられてきた。
本稿では,提案法の目標を満たすプラットフォーム支援型監査手法を提案する。
論文 参考訳（メタデータ） (2022-07-18T17:32:35Z) - Algorithmic Fairness and Vertical Equity: Income Fairness with IRS Tax
Audit Models [73.24381010980606]
本研究は、IRSによる税務監査選択を通知するシステムの文脈におけるアルゴリズムフェアネスの問題について検討する。
監査を選択するための柔軟な機械学習手法が、垂直エクイティにどのように影響するかを示す。
この結果は,公共セクター全体でのアルゴリズムツールの設計に影響を及ぼす。
論文 参考訳（メタデータ） (2022-06-20T16:27:06Z) - Towards a multi-stakeholder value-based assessment framework for
algorithmic systems [76.79703106646967]
我々は、価値間の近さと緊張を可視化する価値に基づくアセスメントフレームワークを開発する。
我々は、幅広い利害関係者に評価と検討のプロセスを開放しつつ、それらの運用方法に関するガイドラインを提示する。
論文 参考訳（メタデータ） (2022-05-09T19:28:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。