論文の概要: A Blueprint for Auditing Generative AI
- arxiv url: http://arxiv.org/abs/2407.05338v1
- Date: Sun, 7 Jul 2024 11:56:54 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-09 20:07:19.768006
- Title: A Blueprint for Auditing Generative AI
- Title(参考訳): 生成AIを監査するための青写真
- Authors: Jakob Mokander, Justin Curl, Mihir Kshirsagar,
- Abstract要約: 生成AIシステムは創発的な能力を示し、幅広い下流タスクに適応できる。
既存の監査手順は、生成的AIシステムによって引き起こされるガバナンスの課題に対処できない。
本稿では、生成AIシステムの設計と普及を行う技術提供者のガバナンス監査、事前学習後の生成AIシステムのモデル監査、生成AIシステムに基づくアプリケーションのアプリケーション監査という3層的なアプローチを提案する。
- 参考スコア(独自算出の注目度): 0.9999629695552196
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The widespread use of generative AI systems is coupled with significant ethical and social challenges. As a result, policymakers, academic researchers, and social advocacy groups have all called for such systems to be audited. However, existing auditing procedures fail to address the governance challenges posed by generative AI systems, which display emergent capabilities and are adaptable to a wide range of downstream tasks. In this chapter, we address that gap by outlining a novel blueprint for how to audit such systems. Specifically, we propose a three-layered approach, whereby governance audits (of technology providers that design and disseminate generative AI systems), model audits (of generative AI systems after pre-training but prior to their release), and application audits (of applications based on top of generative AI systems) complement and inform each other. We show how audits on these three levels, when conducted in a structured and coordinated manner, can be a feasible and effective mechanism for identifying and managing some of the ethical and social risks posed by generative AI systems. That said, it is important to remain realistic about what auditing can reasonably be expected to achieve. For this reason, the chapter also discusses the limitations not only of our three-layered approach but also of the prospect of auditing generative AI systems at all. Ultimately, this chapter seeks to expand the methodological toolkit available to technology providers and policymakers who wish to analyse and evaluate generative AI systems from technical, ethical, and legal perspectives.
- Abstract(参考訳): 生成的AIシステムの普及は、重大な倫理的、社会的課題と結びついている。
その結果、政策立案者、学術研究者、社会擁護団体はすべて、こうした制度の監査を要求している。
しかし、既存の監査手順は、創発的な能力を示し、幅広い下流タスクに適応する、生成的AIシステムによって引き起こされるガバナンス上の課題に対処できない。
本章では,このようなシステムの監査方法に関する新たな青写真について概説し,そのギャップに対処する。
具体的には、ガバナンス監査(生成AIシステムの設計と普及を行う技術提供者)、モデル監査(事前トレーニング後の生成AIシステム)、アプリケーション監査(生成AIシステムに基づくアプリケーション)が相互に補完し、通知する3層的なアプローチを提案する。
これら3つのレベルに対する監査は、構造化され協調された方法で実施される場合、生成的AIシステムによって引き起こされる倫理的・社会的リスクの特定と管理において、実現可能かつ効果的なメカニズムであることを示す。
とは言っても、監査が合理的に達成できることについては、現実的に続けることが重要です。
この理由から、この章では、我々の3層アプローチだけでなく、生成AIシステムの監査の可能性についても論じている。
この章は最終的に、技術提供者や政策立案者に利用可能な方法論的ツールキットを拡張し、技術的、倫理的、法的観点から生成AIシステムを分析し評価することを目指している。
関連論文リスト
- Assessing the Auditability of AI-integrating Systems: A Framework and Learning Analytics Case Study [0.0]
監査の有効性は,監査システムの監査可能性に左右される。
本稿では,AI統合システムの監査性を評価するためのフレームワークを提案する。
論文 参考訳(メタデータ) (2024-10-29T13:43:21Z) - Using AI Alignment Theory to understand the potential pitfalls of regulatory frameworks [55.2480439325792]
本稿では、欧州連合の人工知能法(EU AI法)を批判的に検討する。
人工知能における技術的アライメントの潜在的な落とし穴に焦点を当てたアライメント理論(AT)研究からの洞察を利用する。
これらの概念をEU AI Actに適用すると、潜在的な脆弱性と規制を改善するための領域が明らかになる。
論文 参考訳(メタデータ) (2024-10-10T17:38:38Z) - Open Problems in Technical AI Governance [93.89102632003996]
テクニカルAIガバナンス(Technical AI Governance)は、AIの効果的なガバナンスを支援するための技術分析とツールである。
本論文は、AIガバナンスへの貢献を目指す技術研究者や研究資金提供者のためのリソースとして意図されている。
論文 参考訳(メタデータ) (2024-07-20T21:13:56Z) - Auditing of AI: Legal, Ethical and Technical Approaches [0.0]
AI監査は、研究と実践の急速に成長している分野である。
AI監査に対する異なるアプローチには、さまざまな余裕と制約がある。
AIガバナンスメカニズムとしての監査の進化における次のステップは、これらの利用可能なアプローチのインターリンクであるべきです。
論文 参考訳(メタデータ) (2024-07-07T12:49:58Z) - Towards Guaranteed Safe AI: A Framework for Ensuring Robust and Reliable AI Systems [88.80306881112313]
我々は、AI安全性に対する一連のアプローチを紹介し、定義する。
これらのアプローチの中核的な特徴は、高保証の定量的安全性保証を備えたAIシステムを作ることである。
これら3つのコアコンポーネントをそれぞれ作成するためのアプローチを概説し、主な技術的課題を説明し、それらに対する潜在的なソリューションをいくつか提案します。
論文 参考訳(メタデータ) (2024-05-10T17:38:32Z) - Advancing AI Audits for Enhanced AI Governance [1.875782323187985]
このポリシーレコメンデーションは、AIサービスやシステムの監査に関する問題を要約する。
健全なAIガバナンスに寄与するAI監査を促進するための3つの推奨事項を提示している。
論文 参考訳(メタデータ) (2023-11-26T16:18:17Z) - Predictable Artificial Intelligence [77.1127726638209]
本稿では予測可能なAIのアイデアと課題を紹介する。
それは、現在および将来のAIエコシステムの重要な妥当性指標を予測できる方法を探る。
予測可能性を達成することは、AIエコシステムの信頼、責任、コントロール、アライメント、安全性を促進するために不可欠である、と私たちは主張する。
論文 参考訳(メタデータ) (2023-10-09T21:36:21Z) - Auditing large language models: a three-layered approach [0.0]
大規模言語モデル(LLM)は人工知能(AI)研究における大きな進歩を表している。
LLMはまた、重大な倫理的・社会的課題と結びついている。
これまでの研究は、監査を有望なガバナンスメカニズムとして取り上げてきた。
論文 参考訳(メタデータ) (2023-02-16T18:55:21Z) - Outsider Oversight: Designing a Third Party Audit Ecosystem for AI
Governance [3.8997087223115634]
我々は、現在のAIの状況におけるサードパーティの監視の課題について論じる。
このような監査の制度設計はモノリシックとは程遠い。
我々は,監査のみへの転換が,実際のアルゴリズム的説明責任を達成する可能性は低いと結論づける。
論文 参考訳(メタデータ) (2022-06-09T19:18:47Z) - An interdisciplinary conceptual study of Artificial Intelligence (AI)
for helping benefit-risk assessment practices: Towards a comprehensive
qualification matrix of AI programs and devices (pre-print 2020) [55.41644538483948]
本稿では,インテリジェンスの概念に対処するさまざまな分野の既存の概念を包括的に分析する。
目的は、AIシステムを評価するための共有概念や相違点を特定することである。
論文 参考訳(メタデータ) (2021-05-07T12:01:31Z) - Toward Trustworthy AI Development: Mechanisms for Supporting Verifiable
Claims [59.64274607533249]
AI開発者は、責任を負うことのできる検証可能な主張をする必要がある。
このレポートは、さまざまな利害関係者がAIシステムに関するクレームの妥当性を改善するための様々なステップを示唆している。
我々は、この目的のための10のメカニズム、すなわち、組織、ソフトウェア、ハードウェアを分析し、それらのメカニズムの実装、探索、改善を目的とした推奨を行う。
論文 参考訳(メタデータ) (2020-04-15T17:15:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。