論文の概要: Look Before You Leap! Designing a Human-Centered AI System for Change Risk Assessment

• arxiv url: http://arxiv.org/abs/2108.07951v1
• Date: Wed, 18 Aug 2021 02:41:48 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-19 14:52:22.381989
• Title: Look Before You Leap! Designing a Human-Centered AI System for Change Risk Assessment
• Title（参考訳）: Look Before You Leap! 変革リスク評価のための人間中心型AIシステムの設計
• Authors: Binay Gupta, Anirban Chatterjee, Harika Matha, Kunal Banerjee, Lalitdutt Parsai, Vijay Agneeswaran
• Abstract要約: 変更管理は、運用にデプロイされる変更を体系的に管理し、レビューする、運用における有望なサブフィールドである。 日常的に多数の変更を手動でレビューし、それらに関連するリスクを評価することは事実上不可能である。 この問題に対処する商用ソリューションはいくつかありますが、これらのソリューションには、ドメインの知識と、ドメインの専門家からの継続的なフィードバックをリスク評価プロセスに組み込む能力がありません。
• 参考スコア（独自算出の注目度）: 0.5741525024018875
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reducing the number of failures in a production system is one of the most challenging problems in technology driven industries, such as, the online retail industry. To address this challenge, change management has emerged as a promising sub-field in operations that manages and reviews the changes to be deployed in production in a systematic manner. However, it is practically impossible to manually review a large number of changes on a daily basis and assess the risk associated with them. This warrants the development of an automated system to assess the risk associated with a large number of changes. There are a few commercial solutions available to address this problem but those solutions lack the ability to incorporate domain knowledge and continuous feedback from domain experts into the risk assessment process. As part of this work, we aim to bridge the gap between model-driven risk assessment of change requests and the assessment of domain experts by building a continuous feedback loop into the risk assessment process. Here we present our work to build an end-to-end machine learning system along with the discussion of some of practical challenges we faced related to extreme skewness in class distribution, concept drift, estimation of the uncertainty associated with the model's prediction and the overall scalability of the system.
• Abstract（参考訳）: 生産システムにおける障害の数を減らすことは、オンライン小売業のような技術駆動産業において、最も難しい問題の一つです。 この課題に対処するため、変革管理は、運用に展開する変更を体系的に管理およびレビューする、有望な運用サブフィールドとして浮上した。 しかし、日常的に大量の変更を手動でレビューし、それらに関連するリスクを評価することは事実上不可能である。 これにより、多数の変更に伴うリスクを評価する自動化システムの開発が保証される。 この問題に対処する商用ソリューションはいくつかありますが、これらのソリューションには、ドメインの専門家からのドメイン知識と継続的なフィードバックをリスク評価プロセスに組み込む能力がありません。 本研究の一環として,リスク評価プロセスに継続的フィードバックループを構築することで,変更要求のモデル駆動型リスク評価とドメイン専門家の評価のギャップを埋めることを目的としている。 本稿では,エンド・ツー・エンドの機械学習システムを構築するための取り組みについて,クラス分布の極端な歪み,概念ドリフト,モデル予測に関連する不確実性の推定,システムの全体的な拡張性といった課題について論じた。

関連論文リスト

• Risks of uncertainty propagation in Al-augmented security pipelines [5.692289204193087]
  AI技術の使用は、ソフトウェアベースのシステムのセキュアな開発に浸透している。 パイプライン内のエラーの伝播を考慮すると、AIが拡張したシステムの不確実性を推定する以前の研究はない。 本研究では,不確かさの伝播を把握し,不確かさを定量化するためのシミュレータを開発し,2つのケーススタディで誤りの伝播シミュレーションを評価する。
  論文  参考訳（メタデータ） (2024-07-14T19:02:20Z)
• Mapping LLM Security Landscapes: A Comprehensive Stakeholder Risk Assessment Proposal [0.0]
  本稿では,従来のシステムにおけるリスク評価手法のようなツールを用いたリスク評価プロセスを提案する。 我々は、潜在的な脅威要因を特定し、脆弱性要因に対して依存するシステムコンポーネントをマッピングするためのシナリオ分析を行う。 3つの主要株主グループに対する脅威もマップ化しています。
  論文  参考訳（メタデータ） (2024-03-20T05:17:22Z)
• Security Challenges in Autonomous Systems Design [1.864621482724548]
  人間のコントロールから独立すると、このようなシステムのサイバーセキュリティはさらに重要になる。 人間のコントロールから独立すると、このようなシステムのサイバーセキュリティはさらに重要になる。 本稿では,技術の現状を徹底的に議論し,新たなセキュリティ課題を特定し,研究の方向性を提案する。
  論文  参考訳（メタデータ） (2023-11-05T09:17:39Z)
• A Counterfactual Safety Margin Perspective on the Scoring of Autonomous Vehicles' Riskiness [52.27309191283943]
  本稿では,異なるAVの行動のリスクを評価するためのデータ駆動型フレームワークを提案する。 本稿では,衝突を引き起こす可能性のある名目行動から最小限の偏差を示す,対実的安全マージンの概念を提案する。
  論文  参考訳（メタデータ） (2023-08-02T09:48:08Z)
• Leveraging Traceability to Integrate Safety Analysis Artifacts into the Software Development Process [51.42800587382228]
  安全保証ケース(SAC)は、システムの進化中に維持することが困難である。 本稿では,ソフトウェアトレーサビリティを活用して,関連するシステムアーチファクトを安全解析モデルに接続する手法を提案する。 安全ステークホルダーがシステム変更が安全性に与える影響を分析するのに役立つように、システム変更の合理性を設計する。
  論文  参考訳（メタデータ） (2023-07-14T16:03:27Z)
• Model evaluation for extreme risks [46.53170857607407]
  AI開発のさらなる進歩は、攻撃的なサイバー能力や強力な操作スキルのような極端なリスクを引き起こす能力につながる可能性がある。 モデル評価が極端なリスクに対処するために重要である理由を説明します。
  論文  参考訳（メタデータ） (2023-05-24T16:38:43Z)
• Quantitative AI Risk Assessments: Opportunities and Challenges [9.262092738841979]
  AIベースのシステムは、組織、個人、社会に価値を提供するために、ますます活用されている。 リスクは、提案された規制、訴訟、および一般的な社会的懸念につながった。 本稿では,定量的AIリスクアセスメントの概念について考察する。
  論文  参考訳（メタデータ） (2022-09-13T21:47:25Z)
• Risk-Driven Design of Perception Systems [47.787943101699966]
  システム全体の安全性を低下させるエラーを最小限に抑えるために,認識システムを設計することが重要である。 完全積分閉ループシステムの性能に及ぼす知覚誤差の影響を考慮に入れた認識システム設計のためのリスク駆動型アプローチを開発する。 本研究では,現実的な視界に基づく航空機による応用・回避技術の評価を行い,リスク駆動設計がベースラインシステム上での衝突リスクを37%低減することを示す。
  論文  参考訳（メタデータ） (2022-05-21T21:14:56Z)
• Inverse Online Learning: Understanding Non-Stationary and Reactionary Policies [79.60322329952453]
  エージェントが意思決定を行う方法の解釈可能な表現を開発する方法を示す。 一連の軌跡に基づく意思決定プロセスを理解することにより,このオンライン学習問題に対して,政策推論問題を逆問題とみなした。 本稿では、エージェントがそれらを更新するプロセスと並行して、その影響を遡及的に推定する実用的なアルゴリズムを提案する。 UNOSの臓器提供受諾決定の分析に応用することで、我々のアプローチは意思決定プロセスを管理する要因や時間とともにどのように変化するかに、貴重な洞察をもたらすことができることを実証する。
  論文  参考訳（メタデータ） (2022-03-14T17:40:42Z)
• An Uncertainty-based Human-in-the-loop System for Industrial Tool Wear Analysis [68.8204255655161]
  人間のループシステムにおけるモンテカルロのドロップアウトに基づく不確実性対策により,システムの透明性と性能が向上することを示す。 シミュレーション研究により、不確実性に基づく「ループ内人間システム」は、様々なレベルの人間の関与に対する性能を高めることが示されている。
  論文  参考訳（メタデータ） (2020-07-14T15:47:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。