論文の概要: Statistical Perspectives on Reliability of Artificial Intelligence
Systems
- arxiv url: http://arxiv.org/abs/2111.05391v1
- Date: Tue, 9 Nov 2021 20:00:14 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-11 14:56:09.754267
- Title: Statistical Perspectives on Reliability of Artificial Intelligence
Systems
- Title(参考訳): 人工知能システムの信頼性に関する統計的展望
- Authors: Yili Hong and Jiayi Lian and Li Xu and Jie Min and Yueyao Wang and
Laura J. Freeman and Xinwei Deng
- Abstract要約: AIシステムの信頼性に関する統計的視点を提供する。
本稿では,AI信頼性研究のためのSMART統計フレームワークを提案する。
我々は、AI信頼性のモデリングと分析における最近の発展について論じる。
- 参考スコア(独自算出の注目度): 6.284088451820049
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Artificial intelligence (AI) systems have become increasingly popular in many
areas. Nevertheless, AI technologies are still in their developing stages, and
many issues need to be addressed. Among those, the reliability of AI systems
needs to be demonstrated so that the AI systems can be used with confidence by
the general public. In this paper, we provide statistical perspectives on the
reliability of AI systems. Different from other considerations, the reliability
of AI systems focuses on the time dimension. That is, the system can perform
its designed functionality for the intended period. We introduce a so-called
SMART statistical framework for AI reliability research, which includes five
components: Structure of the system, Metrics of reliability, Analysis of
failure causes, Reliability assessment, and Test planning. We review
traditional methods in reliability data analysis and software reliability, and
discuss how those existing methods can be transformed for reliability modeling
and assessment of AI systems. We also describe recent developments in modeling
and analysis of AI reliability and outline statistical research challenges in
this area, including out-of-distribution detection, the effect of the training
set, adversarial attacks, model accuracy, and uncertainty quantification, and
discuss how those topics can be related to AI reliability, with illustrative
examples. Finally, we discuss data collection and test planning for AI
reliability assessment and how to improve system designs for higher AI
reliability. The paper closes with some concluding remarks.
- Abstract(参考訳): 人工知能(AI)システムは、多くの地域で人気が高まっている。
それでも、ai技術はまだ開発段階にあり、多くの問題に対処する必要がある。
これらのうち、AIシステムの信頼性を実証し、AIシステムが一般大衆の信頼を得て利用できるようにする必要がある。
本稿では,AIシステムの信頼性に関する統計的視点を提供する。
他の考慮事項と異なり、AIシステムの信頼性は時間次元に焦点を当てている。
つまり、システムは意図した期間にその設計機能を実行することができる。
システムの構造、信頼性のメトリクス、障害原因の分析、信頼性評価、テスト計画の5つのコンポーネントを含む、AI信頼性研究のためのいわゆるSMART統計フレームワークを紹介します。
信頼性データ分析とソフトウェア信頼性における従来の手法を概観し、AIシステムの信頼性モデリングと評価のためにこれらの既存手法をどのように変換できるかを論じる。
また,ai信頼性のモデル化と分析における最近の進歩を概説するとともに,分散検出,トレーニングセットの効果,敵対的攻撃,モデル精度,不確実性定量化など,この分野における統計的研究課題を概説するとともに,これらのトピックがai信頼性とどのように関連するかを例示的に論じる。
最後に,ai信頼性評価のためのデータ収集とテスト計画と,ai信頼性向上のためのシステム設計の改善方法について述べる。
その論文はいくつかの結論で締めくくっている。
関連論文リスト
- Engineering Trustworthy AI: A Developer Guide for Empirical Risk Minimization [53.80919781981027]
信頼できるAIのための重要な要件は、経験的リスク最小化のコンポーネントの設計選択に変換できる。
私たちは、AIの信頼性の新たな標準を満たすAIシステムを構築するための実用的なガイダンスを提供したいと思っています。
論文 参考訳(メタデータ) (2024-10-25T07:53:32Z) - A Survey on Failure Analysis and Fault Injection in AI Systems [28.30817443151044]
AIシステムの複雑さは脆弱性を露呈し、レジリエンスと信頼性を確保するために、障害分析(FA)と障害注入(FI)の堅牢な方法を必要とする。
この研究は、AIシステムの6層にわたる既存のFAとFIのアプローチを詳細に調査することで、このギャップを埋める。
この結果から,AIシステム障害の分類,既存のFIツールの能力評価,実世界とシミュレーション失敗の相違点が明らかになった。
論文 参考訳(メタデータ) (2024-06-28T00:32:03Z) - Towards Guaranteed Safe AI: A Framework for Ensuring Robust and Reliable AI Systems [88.80306881112313]
我々は、AI安全性に対する一連のアプローチを紹介し、定義する。
これらのアプローチの中核的な特徴は、高保証の定量的安全性保証を備えたAIシステムを作ることである。
これら3つのコアコンポーネントをそれぞれ作成するためのアプローチを概説し、主な技術的課題を説明し、それらに対する潜在的なソリューションをいくつか提案します。
論文 参考訳(メタデータ) (2024-05-10T17:38:32Z) - Testing autonomous vehicles and AI: perspectives and challenges from cybersecurity, transparency, robustness and fairness [53.91018508439669]
この研究は、人工知能を自律走行車(AV)に統合する複雑さを探求する
AIコンポーネントがもたらした課題と、テスト手順への影響を調べます。
本稿は、重要な課題を特定し、AV技術におけるAIの研究・開発に向けた今後の方向性を提案する。
論文 参考訳(メタデータ) (2024-02-21T08:29:42Z) - A Holistic Assessment of the Reliability of Machine Learning Systems [30.638615396429536]
本稿では,機械学習(ML)システムの信頼性に関する総合評価手法を提案する。
本フレームワークは, 分散精度, 分散シフト堅牢性, 対向ロバスト性, キャリブレーション, 分布外検出の5つの重要な特性を評価する。
異なるアルゴリズムアプローチの性能に関する洞察を提供するため、我々は最先端技術を特定し分類する。
論文 参考訳(メタデータ) (2023-07-20T05:00:13Z) - AI Maintenance: A Robustness Perspective [91.28724422822003]
我々は、AIライフサイクルにおけるロバストネスの課題を強調し、自動車のメンテナンスに類似させることで、AIのメンテナンスを動機付ける。
本稿では,ロバストネスリスクの検出と軽減を目的としたAIモデル検査フレームワークを提案する。
我々のAIメンテナンスの提案は、AIライフサイクル全体を通して堅牢性評価、状態追跡、リスクスキャン、モデル硬化、規制を促進する。
論文 参考訳(メタデータ) (2023-01-08T15:02:38Z) - Multi Agent System for Machine Learning Under Uncertainty in Cyber
Physical Manufacturing System [78.60415450507706]
近年の予測機械学習の進歩は、製造における様々なユースケースに応用されている。
ほとんどの研究は、それに関連する不確実性に対処することなく予測精度を最大化することに焦点を当てた。
本稿では,機械学習における不確実性の原因を特定し,不確実性下での機械学習システムの成功基準を確立する。
論文 参考訳(メタデータ) (2021-07-28T10:28:05Z) - Reliability Analysis of Artificial Intelligence Systems Using Recurrent
Events Data from Autonomous Vehicles [2.7515565752659645]
我々は、自動運転車におけるAIシステムの信頼性の表現として、リカレントな切り離しイベントを使用している。
イベント・プロセスを記述するために,モノトニック・スプラインに基づく新しい非パラメトリック・モデルを提案する。
論文 参考訳(メタデータ) (2021-02-02T20:25:23Z) - Trustworthy AI [75.99046162669997]
入力データの小さな敵対的変化への脆さ、決定の説明能力、トレーニングデータのバイアスに対処する能力は、最も顕著な制限である。
我々は,AIシステムに対するユーザおよび公的な信頼を高める上での6つの重要な問題に対処するために,信頼に値するAIに関するチュートリアルを提案する。
論文 参考訳(メタデータ) (2020-11-02T20:04:18Z) - AAAI FSS-19: Human-Centered AI: Trustworthiness of AI Models and Data
Proceedings [8.445274192818825]
予測モデルは不確実性を認識し、信頼できる予測をもたらすことが不可欠である。
このシンポジウムの焦点は、データ品質と技術的堅牢性と安全性を改善するAIシステムであった。
広く定義された領域からの提出はまた、説明可能なモデル、人間の信頼、AIの倫理的側面といった要求に対処するアプローチについても論じた。
論文 参考訳(メタデータ) (2020-01-15T15:30:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。