論文の概要: Statistical Perspectives on Reliability of Artificial Intelligence
Systems
- arxiv url: http://arxiv.org/abs/2111.05391v1
- Date: Tue, 9 Nov 2021 20:00:14 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-11 14:56:09.754267
- Title: Statistical Perspectives on Reliability of Artificial Intelligence
Systems
- Title(参考訳): 人工知能システムの信頼性に関する統計的展望
- Authors: Yili Hong and Jiayi Lian and Li Xu and Jie Min and Yueyao Wang and
Laura J. Freeman and Xinwei Deng
- Abstract要約: AIシステムの信頼性に関する統計的視点を提供する。
本稿では,AI信頼性研究のためのSMART統計フレームワークを提案する。
我々は、AI信頼性のモデリングと分析における最近の発展について論じる。
- 参考スコア(独自算出の注目度): 6.284088451820049
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Artificial intelligence (AI) systems have become increasingly popular in many
areas. Nevertheless, AI technologies are still in their developing stages, and
many issues need to be addressed. Among those, the reliability of AI systems
needs to be demonstrated so that the AI systems can be used with confidence by
the general public. In this paper, we provide statistical perspectives on the
reliability of AI systems. Different from other considerations, the reliability
of AI systems focuses on the time dimension. That is, the system can perform
its designed functionality for the intended period. We introduce a so-called
SMART statistical framework for AI reliability research, which includes five
components: Structure of the system, Metrics of reliability, Analysis of
failure causes, Reliability assessment, and Test planning. We review
traditional methods in reliability data analysis and software reliability, and
discuss how those existing methods can be transformed for reliability modeling
and assessment of AI systems. We also describe recent developments in modeling
and analysis of AI reliability and outline statistical research challenges in
this area, including out-of-distribution detection, the effect of the training
set, adversarial attacks, model accuracy, and uncertainty quantification, and
discuss how those topics can be related to AI reliability, with illustrative
examples. Finally, we discuss data collection and test planning for AI
reliability assessment and how to improve system designs for higher AI
reliability. The paper closes with some concluding remarks.
- Abstract(参考訳): 人工知能(AI)システムは、多くの地域で人気が高まっている。
それでも、ai技術はまだ開発段階にあり、多くの問題に対処する必要がある。
これらのうち、AIシステムの信頼性を実証し、AIシステムが一般大衆の信頼を得て利用できるようにする必要がある。
本稿では,AIシステムの信頼性に関する統計的視点を提供する。
他の考慮事項と異なり、AIシステムの信頼性は時間次元に焦点を当てている。
つまり、システムは意図した期間にその設計機能を実行することができる。
システムの構造、信頼性のメトリクス、障害原因の分析、信頼性評価、テスト計画の5つのコンポーネントを含む、AI信頼性研究のためのいわゆるSMART統計フレームワークを紹介します。
信頼性データ分析とソフトウェア信頼性における従来の手法を概観し、AIシステムの信頼性モデリングと評価のためにこれらの既存手法をどのように変換できるかを論じる。
また,ai信頼性のモデル化と分析における最近の進歩を概説するとともに,分散検出,トレーニングセットの効果,敵対的攻撃,モデル精度,不確実性定量化など,この分野における統計的研究課題を概説するとともに,これらのトピックがai信頼性とどのように関連するかを例示的に論じる。
最後に,ai信頼性評価のためのデータ収集とテスト計画と,ai信頼性向上のためのシステム設計の改善方法について述べる。
その論文はいくつかの結論で締めくくっている。
関連論文リスト
- Building Safe and Reliable AI systems for Safety Critical Tasks with
Vision-Language Processing [1.2183405753834557]
現在のAIアルゴリズムでは、障害検出の一般的な原因を特定できない。
予測の質を定量化するためには、追加のテクニックが必要である。
この論文は、分類、画像キャプション、視覚質問応答といったタスクのための視覚言語データ処理に焦点を当てる。
論文 参考訳(メタデータ) (2023-08-06T18:05:59Z) - A Holistic Assessment of the Reliability of Machine Learning Systems [30.638615396429536]
本稿では,機械学習(ML)システムの信頼性に関する総合評価手法を提案する。
本フレームワークは, 分散精度, 分散シフト堅牢性, 対向ロバスト性, キャリブレーション, 分布外検出の5つの重要な特性を評価する。
異なるアルゴリズムアプローチの性能に関する洞察を提供するため、我々は最先端技術を特定し分類する。
論文 参考訳(メタデータ) (2023-07-20T05:00:13Z) - AI Maintenance: A Robustness Perspective [91.28724422822003]
我々は、AIライフサイクルにおけるロバストネスの課題を強調し、自動車のメンテナンスに類似させることで、AIのメンテナンスを動機付ける。
本稿では,ロバストネスリスクの検出と軽減を目的としたAIモデル検査フレームワークを提案する。
我々のAIメンテナンスの提案は、AIライフサイクル全体を通して堅牢性評価、状態追跡、リスクスキャン、モデル硬化、規制を促進する。
論文 参考訳(メタデータ) (2023-01-08T15:02:38Z) - Interpretable Self-Aware Neural Networks for Robust Trajectory
Prediction [50.79827516897913]
本稿では,意味概念間で不確実性を分散する軌道予測のための解釈可能なパラダイムを提案する。
実世界の自動運転データに対する我々のアプローチを検証し、最先端のベースラインよりも優れた性能を示す。
論文 参考訳(メタデータ) (2022-11-16T06:28:20Z) - Multi Agent System for Machine Learning Under Uncertainty in Cyber
Physical Manufacturing System [78.60415450507706]
近年の予測機械学習の進歩は、製造における様々なユースケースに応用されている。
ほとんどの研究は、それに関連する不確実性に対処することなく予測精度を最大化することに焦点を当てた。
本稿では,機械学習における不確実性の原因を特定し,不確実性下での機械学習システムの成功基準を確立する。
論文 参考訳(メタデータ) (2021-07-28T10:28:05Z) - An interdisciplinary conceptual study of Artificial Intelligence (AI)
for helping benefit-risk assessment practices: Towards a comprehensive
qualification matrix of AI programs and devices (pre-print 2020) [55.41644538483948]
本稿では,インテリジェンスの概念に対処するさまざまな分野の既存の概念を包括的に分析する。
目的は、AIシステムを評価するための共有概念や相違点を特定することである。
論文 参考訳(メタデータ) (2021-05-07T12:01:31Z) - Reliability Analysis of Artificial Intelligence Systems Using Recurrent
Events Data from Autonomous Vehicles [2.7515565752659645]
我々は、自動運転車におけるAIシステムの信頼性の表現として、リカレントな切り離しイベントを使用している。
イベント・プロセスを記述するために,モノトニック・スプラインに基づく新しい非パラメトリック・モデルを提案する。
論文 参考訳(メタデータ) (2021-02-02T20:25:23Z) - Trustworthy AI [75.99046162669997]
入力データの小さな敵対的変化への脆さ、決定の説明能力、トレーニングデータのバイアスに対処する能力は、最も顕著な制限である。
我々は,AIシステムに対するユーザおよび公的な信頼を高める上での6つの重要な問題に対処するために,信頼に値するAIに関するチュートリアルを提案する。
論文 参考訳(メタデータ) (2020-11-02T20:04:18Z) - Trustworthy AI Inference Systems: An Industry Research View [58.000323504158054]
我々は、信頼できるAI推論システムの設計、展開、運用にアプローチするための業界調査ビューを提供する。
信頼された実行環境を用いたAIシステムの機会と課題を強調します。
我々は,産業,アカデミック,政府研究者のグローバルな集団的注意を必要とする,さらなる発展の分野を概説する。
論文 参考訳(メタデータ) (2020-08-10T23:05:55Z) - AAAI FSS-19: Human-Centered AI: Trustworthiness of AI Models and Data
Proceedings [8.445274192818825]
予測モデルは不確実性を認識し、信頼できる予測をもたらすことが不可欠である。
このシンポジウムの焦点は、データ品質と技術的堅牢性と安全性を改善するAIシステムであった。
広く定義された領域からの提出はまた、説明可能なモデル、人間の信頼、AIの倫理的側面といった要求に対処するアプローチについても論じた。
論文 参考訳(メタデータ) (2020-01-15T15:30:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。