論文の概要: A Survey on Failure Analysis and Fault Injection in AI Systems
- arxiv url: http://arxiv.org/abs/2407.00125v1
- Date: Fri, 28 Jun 2024 00:32:03 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-04 06:20:13.827689
- Title: A Survey on Failure Analysis and Fault Injection in AI Systems
- Title（参考訳）: AIシステムにおける故障解析と故障注入に関する調査
- Authors: Guangba Yu, Gou Tan, Haojia Huang, Zhenyu Zhang, Pengfei Chen, Roberto Natella, Zibin Zheng,
- Abstract要約: AIシステムの複雑さは脆弱性を露呈し、レジリエンスと信頼性を確保するために、障害分析(FA)と障害注入(FI)の堅牢な方法を必要とする。
この研究は、AIシステムの6層にわたる既存のFAとFIのアプローチを詳細に調査することで、このギャップを埋める。
この結果から,AIシステム障害の分類,既存のFIツールの能力評価,実世界とシミュレーション失敗の相違点が明らかになった。
- 参考スコア（独自算出の注目度）: 28.30817443151044
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The rapid advancement of Artificial Intelligence (AI) has led to its integration into various areas, especially with Large Language Models (LLMs) significantly enhancing capabilities in Artificial Intelligence Generated Content (AIGC). However, the complexity of AI systems has also exposed their vulnerabilities, necessitating robust methods for failure analysis (FA) and fault injection (FI) to ensure resilience and reliability. Despite the importance of these techniques, there lacks a comprehensive review of FA and FI methodologies in AI systems. This study fills this gap by presenting a detailed survey of existing FA and FI approaches across six layers of AI systems. We systematically analyze 160 papers and repositories to answer three research questions including (1) what are the prevalent failures in AI systems, (2) what types of faults can current FI tools simulate, (3) what gaps exist between the simulated faults and real-world failures. Our findings reveal a taxonomy of AI system failures, assess the capabilities of existing FI tools, and highlight discrepancies between real-world and simulated failures. Moreover, this survey contributes to the field by providing a framework for fault diagnosis, evaluating the state-of-the-art in FI, and identifying areas for improvement in FI techniques to enhance the resilience of AI systems.
- Abstract（参考訳）: 人工知能(AI)の急速な進歩は、人工知能生成コンテンツ(AIGC)の能力を大幅に強化する大規模言語モデル(LLM)など、様々な分野への統合につながっている。
しかし、AIシステムの複雑さもその脆弱性を露呈し、レジリエンスと信頼性を確保するために、障害分析(FA)と障害注入(FI)の堅牢な方法を必要としている。
これらの技術の重要性にもかかわらず、AIシステムにおけるFAおよびFI方法論の包括的なレビューは欠落している。
この研究は、AIシステムの6層にわたる既存のFAとFIのアプローチを詳細に調査することで、このギャップを埋める。
我々は,(1)AIシステムでよく見られる障害とは何か,(2)現在のFIツールがシミュレートできる障害の種類は何か,(3)シミュレーションされた障害と実世界の障害の間にはどのようなギャップがあるのか,という3つの研究課題に答えるために,160の論文とリポジトリを体系的に分析した。
この結果から,AIシステム障害の分類,既存のFIツールの能力評価,実世界とシミュレーション失敗の相違点が明らかになった。
さらに、この調査は、故障診断のためのフレームワークを提供し、FIの最先端を評価し、AIシステムのレジリエンスを高めるためのFI技術を改善するための領域を特定することで、この分野に貢献する。
関連論文リスト
- AI-Compass: A Comprehensive and Effective Multi-module Testing Tool for AI Systems [26.605694684145313]
本研究では,AIシステムを包括的かつ効果的に評価するテストツール,ツールを設計,実装する。
このツールは、敵の堅牢性、モデル解釈可能性、およびニューロン分析を広範囲に評価する。
私たちの研究は、ランドスケープをテストするAIシステムの一般的なソリューションに光を当てています。
論文 参考訳（メタデータ） (2024-11-09T11:15:17Z) - From Silos to Systems: Process-Oriented Hazard Analysis for AI Systems [2.226040060318401]
システム理論プロセス分析(STPA)をAIの操作と開発プロセスの解析に応用する。
我々は、機械学習アルゴリズムに依存したシステムと、3つのケーススタディに焦点をあてる。
私たちは、AIシステムに適したいくつかの適応があるにもかかわらず、anAを実行するための重要な概念とステップが容易に適用できることに気付きました。
論文 参考訳（メタデータ） (2024-10-29T20:43:18Z) - Do great minds think alike? Investigating Human-AI Complementarity in Question Answering with CAIMIRA [43.116608441891096]
人間は知識に基づく帰納的、概念的推論においてAIシステムより優れています。
GPT-4やLLaMAのような最先端のLLMは、ターゲット情報検索において優れた性能を示す。
論文 参考訳（メタデータ） (2024-10-09T03:53:26Z) - EAIRiskBench: Towards Evaluating Physical Risk Awareness for Task Planning of Foundation Model-based Embodied AI Agents [47.69642609574771]
EAI(Embodied AI)は、高度なAIモデルを現実世界のインタラクションのための物理的なエンティティに統合する。
高レベルのタスク計画のためのEAIエージェントの"脳"としてのファンデーションモデルは、有望な結果を示している。
しかし、これらのエージェントの物理的環境への展開は、重大な安全性上の課題を呈している。
EAIRiskBenchは、EAIシナリオにおける自動物理的リスクアセスメントのための新しいフレームワークである。
論文 参考訳（メタデータ） (2024-08-08T13:19:37Z) - Testing autonomous vehicles and AI: perspectives and challenges from cybersecurity, transparency, robustness and fairness [53.91018508439669]
この研究は、人工知能を自律走行車(AV)に統合する複雑さを探求する
AIコンポーネントがもたらした課題と、テスト手順への影響を調べます。
本稿は、重要な課題を特定し、AV技術におけるAIの研究・開発に向けた今後の方向性を提案する。
論文 参考訳（メタデータ） (2024-02-21T08:29:42Z) - Analyzing Adversarial Inputs in Deep Reinforcement Learning [53.3760591018817]
本稿では, 正当性検証のレンズを用いて, 逆入力の特性を包括的に解析する。
このような摂動に対する感受性に基づいてモデルを分類するために、新しい計量である逆数率(Adversarial Rate)を導入する。
本分析は, 直交入力が所定のDRLシステムの安全性にどのように影響するかを実証的に示す。
論文 参考訳（メタデータ） (2024-02-07T21:58:40Z) - Progressing from Anomaly Detection to Automated Log Labeling and
Pioneering Root Cause Analysis [53.24804865821692]
本研究では、ログ異常の分類を導入し、ラベル付けの課題を軽減するために、自動ラベリングについて検討する。
この研究は、根本原因分析が異常検出に続く未来を予見し、異常の根本原因を解明する。
論文 参考訳（メタデータ） (2023-12-22T15:04:20Z) - Interpretable and Robust AI in EEG Systems: A Survey [13.911001648611832]
本稿では, 逆伝播, 摂動, 本質的に解釈可能な方法の3つのタイプに分類し, 解釈可能性の分類法を提案する。
我々は、頑健性メカニズムをノイズとアーティファクト、人間の多様性、データ取得不安定性、敵攻撃の4つのクラスに分類する。
論文 参考訳（メタデータ） (2023-04-21T05:51:39Z) - An Exploratory Study of AI System Risk Assessment from the Lens of Data
Distribution and Uncertainty [4.99372598361924]
ディープラーニング(DL)が推進力となり、多くのドメインやアプリケーションで広く採用されている。
本稿では,データ分布と不確実性角の両方からAIシステムのリスク評価を早期に検討する。
論文 参考訳（メタデータ） (2022-12-13T03:34:25Z) - Statistical Perspectives on Reliability of Artificial Intelligence
Systems [6.284088451820049]
AIシステムの信頼性に関する統計的視点を提供する。
本稿では,AI信頼性研究のためのSMART統計フレームワークを提案する。
我々は、AI信頼性のモデリングと分析における最近の発展について論じる。
論文 参考訳（メタデータ） (2021-11-09T20:00:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。