論文の概要: Multisource AI Scorecard Table for System Evaluation

• arxiv url: http://arxiv.org/abs/2102.03985v1
• Date: Mon, 8 Feb 2021 03:37:40 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-10 11:37:45.645102
• Title: Multisource AI Scorecard Table for System Evaluation
• Title（参考訳）: システム評価のためのマルチソースAIスコアカードテーブル
• Authors: Erik Blasch, James Sung, Tao Nguyen
• Abstract要約: 本稿では、AI/機械学習(ML)システムの開発者およびユーザに対して標準チェックリストを提供するマルチソースAIスコアカードテーブル(MAST)について述べる。 本稿では,インテリジェンス・コミュニティ・ディレクティブ(ICD)203で概説されている分析的トレードクラフト標準が,AIシステムの性能を評価するためのフレームワークを提供する方法について考察する。
• 参考スコア（独自算出の注目度）: 3.74397577716445
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: The paper describes a Multisource AI Scorecard Table (MAST) that provides the developer and user of an artificial intelligence (AI)/machine learning (ML) system with a standard checklist focused on the principles of good analysis adopted by the intelligence community (IC) to help promote the development of more understandable systems and engender trust in AI outputs. Such a scorecard enables a transparent, consistent, and meaningful understanding of AI tools applied for commercial and government use. A standard is built on compliance and agreement through policy, which requires buy-in from the stakeholders. While consistency for testing might only exist across a standard data set, the community requires discussion on verification and validation approaches which can lead to interpretability, explainability, and proper use. The paper explores how the analytic tradecraft standards outlined in Intelligence Community Directive (ICD) 203 can provide a framework for assessing the performance of an AI system supporting various operational needs. These include sourcing, uncertainty, consistency, accuracy, and visualization. Three use cases are presented as notional examples that support security for comparative analysis.
• Abstract（参考訳）: この論文では、人工知能(AI)/機械学習(ML)システムの開発者とユーザに、AIコミュニティ(IC)が採用した優れた分析の原則に焦点を当てた標準チェックリストを提供するマルチソースAIスコアカードテーブル(MAST)について説明します。 このようなスコアカードは、商業および政府の使用に適用されるAIツールの透明で一貫性のある意味のある理解を可能にします。 標準はポリシーを通じてコンプライアンスと合意に基づいて構築されます。 テストの一貫性は標準的なデータセットにのみ存在するかもしれないが、コミュニティは、解釈可能性、説明可能性、適切な使用につながる検証と検証のアプローチについて議論する必要がある。 本稿では、インテリジェンスコミュニティディレクティブ(ICD)203で概説された分析トレードクラフト標準が、さまざまな運用ニーズをサポートするAIシステムのパフォーマンスを評価するためのフレームワークを提供する方法について検討する。 これには、ソーシング、不確実性、一貫性、正確性、可視化などが含まれる。 3つのユースケースは、比較分析のセキュリティをサポートする表記例として提示される。

関連論文リスト

• Can We Trust AI Agents? An Experimental Study Towards Trustworthy LLM-Based Multi-Agent Systems for AI Ethics [10.084913433923566]
  本研究では,信頼度向上技術が倫理的AI出力生成に与える影響について検討する。 我々はLLM-BMASのプロトタイプを設計し、エージェントは現実世界の倫理的AI問題に関する構造化された議論を行う。 議論では、バイアス検出、透明性、説明責任、ユーザの同意、コンプライアンス、公正性評価、EU AI Actコンプライアンスといった用語が明らかにされている。
  論文  参考訳（メタデータ） (2024-10-25T20:17:59Z)
• Engineering Trustworthy AI: A Developer Guide for Empirical Risk Minimization [53.80919781981027]
  信頼できるAIのための重要な要件は、経験的リスク最小化のコンポーネントの設計選択に変換できる。 私たちは、AIの信頼性の新たな標準を満たすAIシステムを構築するための実用的なガイダンスを提供したいと思っています。
  論文  参考訳（メタデータ） (2024-10-25T07:53:32Z)
• AI Cards: Towards an Applied Framework for Machine-Readable AI and Risk Documentation Inspired by the EU AI Act [2.1897070577406734]
  その重要性にもかかわらず、AI法に沿ったAIとリスクドキュメントの作成を支援するための標準やガイドラインが欠如している。 提案するAIカードは,AIシステムの意図した使用を表現するための,新しい総合的なフレームワークである。
  論文  参考訳（メタデータ） (2024-06-26T09:51:49Z)
• Testing autonomous vehicles and AI: perspectives and challenges from cybersecurity, transparency, robustness and fairness [53.91018508439669]
  この研究は、人工知能を自律走行車(AV)に統合する複雑さを探求する AIコンポーネントがもたらした課題と、テスト手順への影響を調べます。 本稿は、重要な課題を特定し、AV技術におけるAIの研究・開発に向けた今後の方向性を提案する。
  論文  参考訳（メタデータ） (2024-02-21T08:29:42Z)
• PADTHAI-MM: A Principled Approach for Designing Trustable, Human-centered AI systems using the MAST Methodology [5.38932801848643]
  チェックリスト評価システムであるMultisource AI Scorecard Table (MAST)は、AI対応意思決定支援システムの設計と評価におけるこのギャップに対処する。 我々は,MAST手法を用いた信頼性の高い人間中心型AIシステムを設計するための原則的アプローチを提案する。 我々は,MAST誘導設計により信頼感が向上し,MAST基準が性能,プロセス,目的情報と結びつくことを示す。
  論文  参考訳（メタデータ） (2024-01-24T23:15:44Z)
• Towards Responsible AI in Banking: Addressing Bias for Fair Decision-Making [69.44075077934914]
  責任AI(Responsible AI)は、企業文化の発展におけるバイアスに対処する重要な性質を強調している。 この論文は、バイアスを理解すること、バイアスを緩和すること、バイアスを説明することの3つの基本的な柱に基づいて構成されている。 オープンソースの原則に従って、アクセス可能なPythonパッケージとして、Bias On DemandとFairViewをリリースしました。
  論文  参考訳（メタデータ） (2024-01-13T14:07:09Z)
• Towards a Responsible AI Metrics Catalogue: A Collection of Metrics for AI Accountability [28.67753149592534]
  本研究は,包括的メトリクスカタログへの取り組みを導入することで,説明責任のギャップを埋めるものである。 我々のカタログは、手続き的整合性を支えるプロセスメトリクス、必要なツールやフレームワークを提供するリソースメトリクス、AIシステムのアウトプットを反映する製品メトリクスを記述しています。
  論文  参考訳（メタデータ） (2023-11-22T04:43:16Z)
• Guideline for Trustworthy Artificial Intelligence -- AI Assessment Catalog [0.0]
  AIアプリケーションとそれに基づくビジネスモデルが、高品質な標準に従って開発されている場合にのみ、その潜在能力を最大限に発揮できることは明らかです。 AIアプリケーションの信頼性の問題は非常に重要であり、多くの主要な出版物の主題となっている。 このAIアセスメントカタログは、まさにこの点に対応しており、2つのターゲットグループを対象としている。
  論文  参考訳（メタデータ） (2023-06-20T08:07:18Z)
• A Study of Situational Reasoning for Traffic Understanding [63.45021731775964]
  トラフィック領域における状況推論のための3つの新しいテキストベースのタスクを考案する。 先行作業における言語推論タスクにまたがる一般化能力を示す知識強化手法を4つ採用する。 本稿では,データ分割におけるモデル性能の詳細な解析を行い,モデル予測を分類的に検討する。
  論文  参考訳（メタデータ） (2023-06-05T01:01:12Z)
• An interdisciplinary conceptual study of Artificial Intelligence (AI) for helping benefit-risk assessment practices: Towards a comprehensive qualification matrix of AI programs and devices (pre-print 2020) [55.41644538483948]
  本稿では,インテリジェンスの概念に対処するさまざまな分野の既存の概念を包括的に分析する。 目的は、AIシステムを評価するための共有概念や相違点を特定することである。
  論文  参考訳（メタデータ） (2021-05-07T12:01:31Z)
• Trustworthy AI [75.99046162669997]
  入力データの小さな敵対的変化への脆さ、決定の説明能力、トレーニングデータのバイアスに対処する能力は、最も顕著な制限である。 我々は,AIシステムに対するユーザおよび公的な信頼を高める上での6つの重要な問題に対処するために,信頼に値するAIに関するチュートリアルを提案する。
  論文  参考訳（メタデータ） (2020-11-02T20:04:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。