論文の概要: Estimating the Brittleness of AI: Safety Integrity Levels and the Need
for Testing Out-Of-Distribution Performance
- arxiv url: http://arxiv.org/abs/2009.00802v1
- Date: Wed, 2 Sep 2020 03:33:40 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-22 18:18:37.042919
- Title: Estimating the Brittleness of AI: Safety Integrity Levels and the Need
for Testing Out-Of-Distribution Performance
- Title(参考訳): aiの脆さを推定する:安全性レベルと分散性能テストの必要性
- Authors: Andrew J. Lohn
- Abstract要約: AI(Test, Evaluation, Verification, and Validation for Artificial Intelligence)は、AI研究者が生み出した経済的、社会的報酬を制限することを脅かす課題である。
本稿では,いずれもDeep Neural Networksを定めていないことを論じる。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Test, Evaluation, Verification, and Validation (TEVV) for Artificial
Intelligence (AI) is a challenge that threatens to limit the economic and
societal rewards that AI researchers have devoted themselves to producing. A
central task of TEVV for AI is estimating brittleness, where brittleness
implies that the system functions well within some bounds and poorly outside of
those bounds. This paper argues that neither of those criteria are certain of
Deep Neural Networks. First, highly touted AI successes (eg. image
classification and speech recognition) are orders of magnitude more
failure-prone than are typically certified in critical systems even within
design bounds (perfectly in-distribution sampling). Second, performance falls
off only gradually as inputs become further Out-Of-Distribution (OOD). Enhanced
emphasis is needed on designing systems that are resilient despite
failure-prone AI components as well as on evaluating and improving OOD
performance in order to get AI to where it can clear the challenging hurdles of
TEVV and certification.
- Abstract(参考訳): 人工知能(AI)のテスト、評価、検証、検証(TEVV)は、AI研究者が生産に費やした経済的および社会的報酬を制限することを脅かす課題である。
AIのためのTEVVの中心的なタスクは、脆さを推定することであり、脆さはシステムがいくつかの境界の範囲内でうまく機能し、それらの境界の範囲外であることを意味する。
本稿では、これらの基準はいずれもDeep Neural Networksの一部ではないと論じる。
第一に、高度に有望なAI成功(画像分類や音声認識など)は、設計境界の範囲内でも一般的に認定される重要なシステムよりも、桁違いに失敗する傾向にある。
第2に、入力がさらにアウトオブディストリビューション(ood)になると、パフォーマンスは徐々に低下する。
TEVVと認証の困難なハードルをクリアするためには、障害が発生しやすいAIコンポーネントにもかかわらずレジリエントなシステムの設計と、OODのパフォーマンスの評価と改善に重点を置く必要がある。
関連論文リスト
- A Case for Competent AI Systems $-$ A Concept Note [0.3626013617212666]
このノートは、AIシステム内の能力の概念を探求し、システムが提供しようとしているものを表現している。
この能力の達成は、実装とテストの欠陥によって妨げられる可能性がある。
タスクを効果的に実行するAIシステムの能力を明らかにする上で、中心的な課題が発生する。
論文 参考訳(メタデータ) (2023-11-28T09:21:03Z) - Exploration with Principles for Diverse AI Supervision [88.61687950039662]
次世代の予測を用いた大規模トランスフォーマーのトレーニングは、AIの画期的な進歩を生み出した。
この生成AIアプローチは印象的な結果をもたらしたが、人間の監督に大きく依存している。
この人間の監視への強い依存は、AIイノベーションの進歩に重大なハードルをもたらす。
本稿では,高品質なトレーニングデータを自律的に生成することを目的とした,探索型AI(EAI)という新しいパラダイムを提案する。
論文 参考訳(メタデータ) (2023-10-13T07:03:39Z) - A New Perspective on Evaluation Methods for Explainable Artificial
Intelligence (XAI) [0.0]
我々は、リソースの可用性、ドメインの特徴、リスクの考慮を組み込んだ、曖昧な方法でアプローチするのが最善である、と論じる。
この研究は、AIのための要求工学の分野を前進させることを目的としている。
論文 参考訳(メタデータ) (2023-07-26T15:15:44Z) - Guideline for Trustworthy Artificial Intelligence -- AI Assessment
Catalog [0.0]
AIアプリケーションとそれに基づくビジネスモデルが、高品質な標準に従って開発されている場合にのみ、その潜在能力を最大限に発揮できることは明らかです。
AIアプリケーションの信頼性の問題は非常に重要であり、多くの主要な出版物の主題となっている。
このAIアセスメントカタログは、まさにこの点に対応しており、2つのターゲットグループを対象としている。
論文 参考訳(メタデータ) (2023-06-20T08:07:18Z) - Fairness in AI and Its Long-Term Implications on Society [68.8204255655161]
AIフェアネスを詳しく見て、AIフェアネスの欠如が、時間の経過とともにバイアスの深化につながるかを分析します。
偏りのあるモデルが特定のグループに対してよりネガティブな現実的な結果をもたらすかについて議論する。
問題が続くと、他のリスクとの相互作用によって強化され、社会不安という形で社会に深刻な影響を及ぼす可能性がある。
論文 参考訳(メタデータ) (2023-04-16T11:22:59Z) - AI Maintenance: A Robustness Perspective [91.28724422822003]
我々は、AIライフサイクルにおけるロバストネスの課題を強調し、自動車のメンテナンスに類似させることで、AIのメンテナンスを動機付ける。
本稿では,ロバストネスリスクの検出と軽減を目的としたAIモデル検査フレームワークを提案する。
我々のAIメンテナンスの提案は、AIライフサイクル全体を通して堅牢性評価、状態追跡、リスクスキャン、モデル硬化、規制を促進する。
論文 参考訳(メタデータ) (2023-01-08T15:02:38Z) - The Role of AI in Drug Discovery: Challenges, Opportunities, and
Strategies [97.5153823429076]
この分野でのAIのメリット、課題、欠点についてレビューする。
データ拡張、説明可能なAIの使用、従来の実験手法とAIの統合についても論じている。
論文 参考訳(メタデータ) (2022-12-08T23:23:39Z) - Never trust, always verify : a roadmap for Trustworthy AI? [12.031113181911627]
我々はAIベースのシステムのコンテキストにおける信頼を検証し、AIシステムが信頼に値するものとなることの意味を理解する。
我々は、AIに対する信頼(resp. zero-trust)モデルを提案し、AIシステムの信頼性を保証するために満足すべき特性のセットを提案する。
論文 参考訳(メタデータ) (2022-06-23T21:13:10Z) - Certifiable Artificial Intelligence Through Data Fusion [7.103626867766158]
本稿では,人工知能(AI)システムの採用,フィールド化,保守に関する課題をレビューし,提案する。
画像データ融合により、精度対距離を考慮したAI物体認識精度を支援する。
論文 参考訳(メタデータ) (2021-11-03T03:34:19Z) - An interdisciplinary conceptual study of Artificial Intelligence (AI)
for helping benefit-risk assessment practices: Towards a comprehensive
qualification matrix of AI programs and devices (pre-print 2020) [55.41644538483948]
本稿では,インテリジェンスの概念に対処するさまざまな分野の既存の概念を包括的に分析する。
目的は、AIシステムを評価するための共有概念や相違点を特定することである。
論文 参考訳(メタデータ) (2021-05-07T12:01:31Z) - Trustworthy AI [75.99046162669997]
入力データの小さな敵対的変化への脆さ、決定の説明能力、トレーニングデータのバイアスに対処する能力は、最も顕著な制限である。
我々は,AIシステムに対するユーザおよび公的な信頼を高める上での6つの重要な問題に対処するために,信頼に値するAIに関するチュートリアルを提案する。
論文 参考訳(メタデータ) (2020-11-02T20:04:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。