論文の概要: Reliability Engineering for AI Systems: Challenges, Methods, and Directions
- arxiv url: http://arxiv.org/abs/2609.35316v1
- Date: Mon, 28 Sep 2026 14:48:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-02 06:31:32.117825
- Title: Reliability Engineering for AI Systems: Challenges, Methods, and Directions
- Title（参考訳）: AIシステムの信頼性エンジニアリング - 課題、方法、方向性
- Abstract要約: AIの信頼性は、AIシステムが所定の期間と所定の運用条件下で、その意図した機能を実行するかどうかを懸念する。
平均ベンチマークの精度は能力を測定する。
本稿では,障害定義や運用封筒からFMEA,テストの高速化,フィールド監視,信頼性向上に至るまで,確立された信頼性工学的手法をAIシステムに適用する。
- 参考スコア（独自算出の注目度）: 10.807821567985235
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: AI reliability concerns whether an AI system performs its intended function dependably over a stated period and under stated operating conditions, with stated evidence. As these systems become more autonomous, that function includes more than a correct output. Retrieval, memory, tool use, permissions, human oversight, and interactions among systems must operate consistently and safely, and, for generative systems, so must the reasoning process that produces the output. Average benchmark accuracy measures capability; it does not quantify this broader reliability claim. This paper adapts established reliability engineering methods, from failure definitions and operational envelopes to FMEA, accelerated testing, field monitoring, and reliability growth, to AI systems. A four-level diagnostic framework classifies failures as component, operational-loop, agentic-conduct, or network and governance failures. Test, evaluation, verification, and validation (TEVV), sequential monitoring, and FRACAS create and refresh evidence. SMART provides statistical guidance for measurement, analysis, assessment, and test planning; the NIST AI Risk Management Framework provides organizational guidance for governance, evaluation, monitoring, and mitigation. Three cases illustrate the program: adversarial testing of a convolutional neural network, perception-error propagation, and autonomous-vehicle disengagements. Established reliability engineering provides a usable foundation; new measurements and safety guardrails are still needed as these systems are self-evolving.
- Abstract（参考訳）: AIの信頼性は、AIシステムが所定期間と所定の運用条件下で、意図した機能を実行するかどうかを、証拠とともに懸念する。
これらのシステムがより自律的になるにつれて、その機能には正しい出力以上のものが含まれる。
検索、メモリ、ツールの使用、許可、人間の監視、システム間の相互作用は一貫して安全に動作しなければなりません。
平均ベンチマークの精度は能力を測定する。
本稿では,障害定義や運用封筒からFMEA,テストの高速化,フィールド監視,信頼性向上に至るまで,確立された信頼性工学的手法をAIシステムに適用する。
4段階の診断フレームワークは、障害をコンポーネント、運用ループ、エージェント・コンダクタンス、ネットワークおよびガバナンスの障害に分類する。
テスト、評価、検証、検証(TEVV)、シーケンシャルモニタリング、FRACASは証拠を作成して更新する。
NIST AI Risk Management Frameworkは、ガバナンス、評価、監視、緩和のための組織的ガイダンスを提供する。
3つのケースでは、畳み込みニューラルネットワークの対角テスト、認識エラー伝播、自律車解離のプログラムが説明されている。
新しい測定と安全ガードレールは、これらのシステムが自己進化しているため、依然として必要である。
関連論文リスト
- Towards Trustworthy Embodied Intelligence: A Systems Framework and Graded Trustworthiness Levels [53.63220028820581]
身体的知性は、学習した知覚と意思決定をリアルタイムの計算、制御、物理的相互作用と統合する。
我々は,信頼に値するインテリジェンスを,特定のタスクを確実に実行するための持続能力として定義する。
論文 参考訳（メタデータ） (2026-07-28T17:50:44Z) - Engineering Trustworthy Agentic AI for Critical Systems [1.8015174793525714]
この研究は、安全と制約満足度、堅牢性と信頼性、透明性と解釈可能性、説明責任と監査可能性、プライバシーとセキュリティの5つの横断的な側面で組織された信頼性モデルを採用している。
この基盤の上に構築されたエージェントシステムアーキテクチャ、脅威、具体的な信頼メカニズム、および定量的なメトリクスは、エージェントシステムの開発と評価において直接適用するために調査される。
これらの原則は、電力システム、自動運転車/ロボティクス/UAV、高性能コンピューティング、通信ネットワークの4つの制約のあるエンジニアリングドメインで検証される。
論文 参考訳（メタデータ） (2026-07-20T22:28:16Z) - Towards trustworthy agentic AI: a comprehensive survey of safety, robustness, privacy, and system security [57.35851886874902]
エージェントAIシステムは、複雑なタスクを自律的に実行するが、その多段階の軌道には、信頼性に挑戦する新たな障害モードが導入されている。
この調査では、リスクの高いデプロイメントに不可欠な2つのコアディメンションを通じて、信頼できるエージェントAIを精査する。
各次元について、重要な概念を明確にし、エージェントワークフローに沿ってリスクが発生する場所を特定し、ステージ目標の緩和戦略を要約する。
論文 参考訳（メタデータ） (2026-05-17T10:26:37Z) - A Self-Healing Framework for Reliable LLM-Based Autonomous Agents [0.0]
本稿では,LSMベースのソフトウェアエージェントのための信頼性を考慮した自己修復フレームワークを提案する。
提案フレームワークはマルチエージェントのワークフロー環境に実装され,実世界のタスクシナリオを用いて評価される。
論文 参考訳（メタデータ） (2026-05-07T13:10:41Z) - Automated Self-Testing as a Quality Gate: Evidence-Driven Release Management for LLM Applications [51.56484100374058]
我々は,エビデンスに基づくリリース決定を伴う品質ゲートを導入する自動自己テストフレームワークを提案する。
内部展開型多エージェント対話型AIシステムの縦型ケーススタディにより,本フレームワークの評価を行った。
論文 参考訳（メタデータ） (2026-03-13T20:44:15Z) - Detecting Object Tracking Failure via Sequential Hypothesis Testing [80.7891291021747]
ビデオにおけるリアルタイムのオンラインオブジェクト追跡は、コンピュータビジョンにおける中核的なタスクである。
本稿では,物体追跡を逐次的仮説テストとして解釈することを提案する。
本研究では,地中追跡情報と内部追跡情報の両方を活用することにより,教師なしと教師なしの両方の変種を提案する。
論文 参考訳（メタデータ） (2026-02-13T14:57:15Z) - From Failure Modes to Reliability Awareness in Generative and Agentic AI System [0.20391237204597365]
この章は、階層化された障害モードから、生成的およびエージェント的AIシステムにおける信頼性の認識までのパスをトレースすることで、技術的分析と組織的準備を橋渡しする。
まず,ハードウェアやパワーファウンデーションから適応学習,エージェント推論に至るまで,脆弱性を識別する構造化フレームワークである11層障害スタックを紹介した。
この診断レンズを補完するため,我々は,AIスタック全体の信頼性リスクを個人や組織がいかに認識するかを定量化する,成熟度指向のフレームワークである認識マッピングの概念を開発した。
論文 参考訳（メタデータ） (2025-10-24T19:12:07Z) - Recursively Feasible Probabilistic Safe Online Learning with Control Barrier Functions [60.26921219698514]
CBFをベースとした安全クリティカルコントローラのモデル不確実性を考慮した再構成を提案する。
次に、結果の安全制御器のポイントワイズ実現可能性条件を示す。
これらの条件を利用して、イベントトリガーによるオンラインデータ収集戦略を考案する。
論文 参考訳（メタデータ） (2022-08-23T05:02:09Z) - Statistical Perspectives on Reliability of Artificial Intelligence
Systems [6.284088451820049]
AIシステムの信頼性に関する統計的視点を提供する。
本稿では,AI信頼性研究のためのSMART統計フレームワークを提案する。
我々は、AI信頼性のモデリングと分析における最近の発展について論じる。
論文 参考訳（メタデータ） (2021-11-09T20:00:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。