論文の概要: Multisource AI Scorecard Table for System Evaluation

• arxiv url: http://arxiv.org/abs/2102.03985v1
• Date: Mon, 8 Feb 2021 03:37:40 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-10 11:37:45.645102
• Title: Multisource AI Scorecard Table for System Evaluation
• Title（参考訳）: システム評価のためのマルチソースAIスコアカードテーブル
• Authors: Erik Blasch, James Sung, Tao Nguyen
• Abstract要約: 本稿では、AI/機械学習(ML)システムの開発者およびユーザに対して標準チェックリストを提供するマルチソースAIスコアカードテーブル(MAST)について述べる。 本稿では,インテリジェンス・コミュニティ・ディレクティブ(ICD)203で概説されている分析的トレードクラフト標準が,AIシステムの性能を評価するためのフレームワークを提供する方法について考察する。
• 参考スコア（独自算出の注目度）: 3.74397577716445
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: The paper describes a Multisource AI Scorecard Table (MAST) that provides the developer and user of an artificial intelligence (AI)/machine learning (ML) system with a standard checklist focused on the principles of good analysis adopted by the intelligence community (IC) to help promote the development of more understandable systems and engender trust in AI outputs. Such a scorecard enables a transparent, consistent, and meaningful understanding of AI tools applied for commercial and government use. A standard is built on compliance and agreement through policy, which requires buy-in from the stakeholders. While consistency for testing might only exist across a standard data set, the community requires discussion on verification and validation approaches which can lead to interpretability, explainability, and proper use. The paper explores how the analytic tradecraft standards outlined in Intelligence Community Directive (ICD) 203 can provide a framework for assessing the performance of an AI system supporting various operational needs. These include sourcing, uncertainty, consistency, accuracy, and visualization. Three use cases are presented as notional examples that support security for comparative analysis.
• Abstract（参考訳）: この論文では、人工知能(AI)/機械学習(ML)システムの開発者とユーザに、AIコミュニティ(IC)が採用した優れた分析の原則に焦点を当てた標準チェックリストを提供するマルチソースAIスコアカードテーブル(MAST)について説明します。 このようなスコアカードは、商業および政府の使用に適用されるAIツールの透明で一貫性のある意味のある理解を可能にします。 標準はポリシーを通じてコンプライアンスと合意に基づいて構築されます。 テストの一貫性は標準的なデータセットにのみ存在するかもしれないが、コミュニティは、解釈可能性、説明可能性、適切な使用につながる検証と検証のアプローチについて議論する必要がある。 本稿では、インテリジェンスコミュニティディレクティブ(ICD)203で概説された分析トレードクラフト標準が、さまざまな運用ニーズをサポートするAIシステムのパフォーマンスを評価するためのフレームワークを提供する方法について検討する。 これには、ソーシング、不確実性、一貫性、正確性、可視化などが含まれる。 3つのユースケースは、比較分析のセキュリティをサポートする表記例として提示される。

関連論文リスト

• Bridging the Communication Gap: Evaluating AI Labeling Practices for Trustworthy AI Development [41.64451715899638]
  EUエネルギラベルのようなフレームワークにインスパイアされたハイレベルなAIラベルは、AIモデルの特性をより透明にするために提案されている。 本研究は,4つの重要な研究課題に沿った質的なインタビューを通じて,AIラベリングを評価する。
  論文  参考訳（メタデータ） (2025-01-21T06:00:14Z)
• Engineering Trustworthy AI: A Developer Guide for Empirical Risk Minimization [53.80919781981027]
  信頼できるAIのための重要な要件は、経験的リスク最小化のコンポーネントの設計選択に変換できる。 私たちは、AIの信頼性の新たな標準を満たすAIシステムを構築するための実用的なガイダンスを提供したいと思っています。
  論文  参考訳（メタデータ） (2024-10-25T07:53:32Z)
• AI Cards: Towards an Applied Framework for Machine-Readable AI and Risk Documentation Inspired by the EU AI Act [2.1897070577406734]
  その重要性にもかかわらず、AI法に沿ったAIとリスクドキュメントの作成を支援するための標準やガイドラインが欠如している。 提案するAIカードは,AIシステムの意図した使用を表現するための,新しい総合的なフレームワークである。
  論文  参考訳（メタデータ） (2024-06-26T09:51:49Z)
• Testing autonomous vehicles and AI: perspectives and challenges from cybersecurity, transparency, robustness and fairness [53.91018508439669]
  この研究は、人工知能を自律走行車(AV)に統合する複雑さを探求する AIコンポーネントがもたらした課題と、テスト手順への影響を調べます。 本稿は、重要な課題を特定し、AV技術におけるAIの研究・開発に向けた今後の方向性を提案する。
  論文  参考訳（メタデータ） (2024-02-21T08:29:42Z)
• PADTHAI-MM: Principles-based Approach for Designing Trustworthy, Human-centered AI using MAST Methodology [5.215782336985273]
  マルチソースAIスコアカードテーブル(Multisource AI Scorecard Table, MAST)は、AI対応意思決定支援システムを評価するための、体系的かつトレードクラフト中心のアプローチを提供することによって、ギャップを埋めるように設計されている。 我々は,信頼に値する,人間中心のAIを設計するためのテキスト原則に基づくアプローチという,反復的な設計フレームワークを導入する。 我々はこの枠組みを防衛情報タスク報告支援(READIT)の開発において実証する。
  論文  参考訳（メタデータ） (2024-01-24T23:15:44Z)
• Towards a Responsible AI Metrics Catalogue: A Collection of Metrics for AI Accountability [28.67753149592534]
  本研究は,包括的メトリクスカタログへの取り組みを導入することで,説明責任のギャップを埋めるものである。 我々のカタログは、手続き的整合性を支えるプロセスメトリクス、必要なツールやフレームワークを提供するリソースメトリクス、AIシステムのアウトプットを反映する製品メトリクスを記述しています。
  論文  参考訳（メタデータ） (2023-11-22T04:43:16Z)
• Explainable Authorship Identification in Cultural Heritage Applications: Analysis of a New Perspective [48.031678295495574]
  既存の汎用eXplainable Artificial Intelligence(XAI)技術のAIへの応用について検討する。 特に,3種類のAIdタスクにおける3種類のXAIテクニックの相対的メリットを評価した。 我々の分析によると、これらの技術は、説明可能なオーサシップの特定に向けて重要な第一歩を踏み出すが、まだ多くの作業が続けられている。
  論文  参考訳（メタデータ） (2023-11-03T20:51:15Z)
• Towards Verifiable Generation: A Benchmark for Knowledge-aware Language Model Attribution [48.86322922826514]
  本稿では,知識認識型言語モデル属性(KaLMA)の新たな課題について述べる。 まず、属性のソースを構造化されていないテキストから知識グラフ(KG)に拡張し、そのリッチな構造は属性のパフォーマンスと作業シナリオの両方に役立ちます。 第2に,不完全な知識リポジトリを考慮した「意識的非能力」の設定を提案する。 第3に,テキスト品質,引用品質,引用アライメントを含む総合的な自動評価指標を提案する。
  論文  参考訳（メタデータ） (2023-10-09T11:45:59Z)
• Guideline for Trustworthy Artificial Intelligence -- AI Assessment Catalog [0.0]
  AIアプリケーションとそれに基づくビジネスモデルが、高品質な標準に従って開発されている場合にのみ、その潜在能力を最大限に発揮できることは明らかです。 AIアプリケーションの信頼性の問題は非常に重要であり、多くの主要な出版物の主題となっている。 このAIアセスメントカタログは、まさにこの点に対応しており、2つのターゲットグループを対象としている。
  論文  参考訳（メタデータ） (2023-06-20T08:07:18Z)
• A Study of Situational Reasoning for Traffic Understanding [63.45021731775964]
  トラフィック領域における状況推論のための3つの新しいテキストベースのタスクを考案する。 先行作業における言語推論タスクにまたがる一般化能力を示す知識強化手法を4つ採用する。 本稿では,データ分割におけるモデル性能の詳細な解析を行い,モデル予測を分類的に検討する。
  論文  参考訳（メタデータ） (2023-06-05T01:01:12Z)
• An interdisciplinary conceptual study of Artificial Intelligence (AI) for helping benefit-risk assessment practices: Towards a comprehensive qualification matrix of AI programs and devices (pre-print 2020) [55.41644538483948]
  本稿では,インテリジェンスの概念に対処するさまざまな分野の既存の概念を包括的に分析する。 目的は、AIシステムを評価するための共有概念や相違点を特定することである。
  論文  参考訳（メタデータ） (2021-05-07T12:01:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。