論文の概要: Assessing the Auditability of AI-integrating Systems: A Framework and Learning Analytics Case Study

• arxiv url: http://arxiv.org/abs/2411.08906v1
• Date: Tue, 29 Oct 2024 13:43:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-17 09:02:13.489022
• Title: Assessing the Auditability of AI-integrating Systems: A Framework and Learning Analytics Case Study
• Title（参考訳）: AI統合システムの聴取可能性を評価する:フレームワークと学習分析ケーススタディ
• Authors: Linda Fernsel, Yannick Kalff, Katharina Simbeck,
• Abstract要約: 監査の有効性は,監査システムの監査可能性に左右される。 本稿では,AI統合システムの監査性を評価するためのフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Audits contribute to the trustworthiness of Learning Analytics (LA) systems that integrate Artificial Intelligence (AI) and may be legally required in the future. We argue that the efficacy of an audit depends on the auditability of the audited system. Therefore, systems need to be designed with auditability in mind. We present a framework for assessing the auditability of AI-integrating systems that consists of three parts: (1) Verifiable claims about the validity, utility and ethics of the system, (2) Evidence on subjects (data, models or the system) in different types (documentation, raw sources and logs) to back or refute claims, (3) Evidence must be accessible to auditors via technical means (APIs, monitoring tools, explainable AI, etc.). We apply the framework to assess the auditability of Moodle's dropout prediction system and a prototype AI-based LA. We find that Moodle's auditability is limited by incomplete documentation, insufficient monitoring capabilities and a lack of available test data. The framework supports assessing the auditability of AI-based LA systems in use and improves the design of auditable systems and thus of audits.
• Abstract（参考訳）: 監査は、人工知能(AI)を統合する学習分析(LA)システムの信頼性に寄与し、将来的には法的に必要となる可能性がある。 監査の有効性は,監査システムの監査可能性に左右される。 したがって、システムは監査性を考慮して設計する必要がある。 本稿では,(1)システムの妥当性,実用性,倫理に関する検証済みクレーム,(2)異なるタイプの被験者(データ,モデル,システム)に対する証拠(文書,原資料,ログ),(3)技術的手段(API,監視ツール,説明可能なAIなど)を通じて監査者にアクセスしなくてはならない,という3つの部分からなるAI統合システムの監査可能性を評価する枠組みを提案する。 我々は,Moodleのドロップアウト予測システムとプロトタイプAIベースのLAの監査性を評価するために,このフレームワークを適用した。 Moodleの監査性は、不完全なドキュメント、不十分な監視機能、利用可能なテストデータの欠如によって制限されていることが分かりました。 このフレームワークは、AIベースのLAシステムの監査可能性の評価をサポートし、監査可能なシステムの設計を改善し、監査を行う。

関連論文リスト

• Using AI Alignment Theory to understand the potential pitfalls of regulatory frameworks [55.2480439325792]
  本稿では、欧州連合の人工知能法(EU AI法)を批判的に検討する。 人工知能における技術的アライメントの潜在的な落とし穴に焦点を当てたアライメント理論(AT)研究からの洞察を利用する。 これらの概念をEU AI Actに適用すると、潜在的な脆弱性と規制を改善するための領域が明らかになる。
  論文  参考訳（メタデータ） (2024-10-10T17:38:38Z)
• From Transparency to Accountability and Back: A Discussion of Access and Evidence in AI Auditing [1.196505602609637]
  監査は、デプロイ前のリスクアセスメント、進行中の監視、コンプライアンステストなど、さまざまな形式で実施することができる。 AI監査には、その実装を複雑にする多くの運用上の課題がある。 我々は、監査は自然な仮説テストとして、並列仮説テストと法的手続きを引き出すことができると論じ、このフレーミングは、監査実施に関する明確かつ解釈可能なガイダンスを提供すると論じる。
  論文  参考訳（メタデータ） (2024-10-07T06:15:46Z)
• Auditing of AI: Legal, Ethical and Technical Approaches [0.0]
  AI監査は、研究と実践の急速に成長している分野である。 AI監査に対する異なるアプローチには、さまざまな余裕と制約がある。 AIガバナンスメカニズムとしての監査の進化における次のステップは、これらの利用可能なアプローチのインターリンクであるべきです。
  論文  参考訳（メタデータ） (2024-07-07T12:49:58Z)
• A Blueprint for Auditing Generative AI [0.9999629695552196]
  生成AIシステムは創発的な能力を示し、幅広い下流タスクに適応できる。 既存の監査手順は、生成的AIシステムによって引き起こされるガバナンスの課題に対処できない。 本稿では、生成AIシステムの設計と普及を行う技術提供者のガバナンス監査、事前学習後の生成AIシステムのモデル監査、生成AIシステムに基づくアプリケーションのアプリケーション監査という3層的なアプローチを提案する。
  論文  参考訳（メタデータ） (2024-07-07T11:56:54Z)
• Addressing the Regulatory Gap: Moving Towards an EU AI Audit Ecosystem Beyond the AIA by Including Civil Society [4.9873153106566575]
  欧州議会は、プラットフォームとAI製品を規制するためのデジタルサービス法(DSA)と人工知能法(AIA)を提案した。 我々は、サードパーティの監査がどちらの法律にもどの程度含まれているか、また、モデルやデータへのアクセス範囲についてレビューする。 我々は、人工知能法が研究者や市民社会のデータへのアクセスを提供していないという規制のギャップを特定します。
  論文  参考訳（メタデータ） (2024-02-26T11:32:42Z)
• Testing autonomous vehicles and AI: perspectives and challenges from cybersecurity, transparency, robustness and fairness [53.91018508439669]
  この研究は、人工知能を自律走行車(AV)に統合する複雑さを探求する AIコンポーネントがもたらした課題と、テスト手順への影響を調べます。 本稿は、重要な課題を特定し、AV技術におけるAIの研究・開発に向けた今後の方向性を提案する。
  論文  参考訳（メタデータ） (2024-02-21T08:29:42Z)
• Who Audits the Auditors? Recommendations from a field scan of the algorithmic auditing ecosystem [0.971392598996499]
  AI監査エコシステムの最初の包括的なフィールドスキャンを提供する。 私たちは、新たなベストプラクティスと、一般的になりつつある方法やツールを特定します。 これらの監査の質と影響を改善するための政策勧告を概説する。
  論文  参考訳（メタデータ） (2023-10-04T01:40:03Z)
• An interdisciplinary conceptual study of Artificial Intelligence (AI) for helping benefit-risk assessment practices: Towards a comprehensive qualification matrix of AI programs and devices (pre-print 2020) [55.41644538483948]
  本稿では,インテリジェンスの概念に対処するさまざまな分野の既存の概念を包括的に分析する。 目的は、AIシステムを評価するための共有概念や相違点を特定することである。
  論文  参考訳（メタデータ） (2021-05-07T12:01:31Z)
• Trustworthy AI [75.99046162669997]
  入力データの小さな敵対的変化への脆さ、決定の説明能力、トレーニングデータのバイアスに対処する能力は、最も顕著な制限である。 我々は,AIシステムに対するユーザおよび公的な信頼を高める上での6つの重要な問題に対処するために,信頼に値するAIに関するチュートリアルを提案する。
  論文  参考訳（メタデータ） (2020-11-02T20:04:18Z)
• Towards an Interface Description Template for AI-enabled Systems [77.34726150561087]
  再利用(Reuse)は、システムアーキテクチャを既存のコンポーネントでインスタンス化しようとする、一般的なシステムアーキテクチャのアプローチである。 現在、コンポーネントが当初目的としていたものと異なるシステムで運用する可搬性を評価するために必要な情報の選択をガイドするフレームワークは存在しない。 我々は、AI対応コンポーネントの主情報をキャプチャするインターフェイス記述テンプレートの確立に向けて、現在進行中の作業について述べる。
  論文  参考訳（メタデータ） (2020-07-13T20:30:26Z)
• Toward Trustworthy AI Development: Mechanisms for Supporting Verifiable Claims [59.64274607533249]
  AI開発者は、責任を負うことのできる検証可能な主張をする必要がある。 このレポートは、さまざまな利害関係者がAIシステムに関するクレームの妥当性を改善するための様々なステップを示唆している。 我々は、この目的のための10のメカニズム、すなわち、組織、ソフトウェア、ハードウェアを分析し、それらのメカニズムの実装、探索、改善を目的とした推奨を行う。
  論文  参考訳（メタデータ） (2020-04-15T17:15:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。