論文の概要: From Hazard Identification to Controller Design: Proactive and LLM-Supported Safety Engineering for ML-Powered Systems
- arxiv url: http://arxiv.org/abs/2502.07974v1
- Date: Tue, 11 Feb 2025 21:37:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-13 18:10:00.784828
- Title: From Hazard Identification to Controller Design: Proactive and LLM-Supported Safety Engineering for ML-Powered Systems
- Title（参考訳）: 危険識別からコントローラ設計へ:ML駆動システムのための積極的およびLCM対応安全工学
- Authors: Yining Hong, Christopher S. Timperley, Christian Kästner,
- Abstract要約: 機械学習(ML)コンポーネントはますますソフトウェア製品に統合されている。
これらのリスクにもかかわらず、実践者は危険を予知し軽減するための積極的なアプローチを採用することはめったにない。
本稿では,MLを利用したソフトウェア製品の開発にハザード分析を統合することを提唱する。
- 参考スコア（独自算出の注目度）: 17.496832430021968
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Machine learning (ML) components are increasingly integrated into software products, yet their complexity and inherent uncertainty often lead to unintended and hazardous consequences, both for individuals and society at large. Despite these risks, practitioners seldom adopt proactive approaches to anticipate and mitigate hazards before they occur. Traditional safety engineering approaches, such as Failure Mode and Effects Analysis (FMEA) and System Theoretic Process Analysis (STPA), offer systematic frameworks for early risk identification but are rarely adopted. This position paper advocates for integrating hazard analysis into the development of any ML-powered software product and calls for greater support to make this process accessible to developers. By using large language models (LLMs) to partially automate a modified STPA process with human oversight at critical steps, we expect to address two key challenges: the heavy dependency on highly experienced safety engineering experts, and the time-consuming, labor-intensive nature of traditional hazard analysis, which often impedes its integration into real-world development workflows. We illustrate our approach with a running example, demonstrating that many seemingly unanticipated issues can, in fact, be anticipated.
- Abstract（参考訳）: 機械学習(ML)コンポーネントはますますソフトウェア製品に統合されているが、その複雑さと固有の不確実性は、個人や社会全体において意図しない、危険な結果をもたらすことが多い。
このようなリスクにもかかわらず、実践者は危険を予知し緩和するための積極的なアプローチを採用することはめったにない。
FMEA(Failure Mode and Effects Analysis)やSTPA(System Theoretic Process Analysis)といった従来の安全工学アプローチは、早期リスク識別のための体系的なフレームワークを提供するが、採用されることはほとんどない。
本稿では,ML を利用したソフトウェア製品の開発にハザード分析を組み込むことを提唱する。
大規模な言語モデル(LLMs)を使用して、人間の監視による修正STPAプロセスを部分的に自動化することで、高度に経験のある安全工学の専門家への重い依存と、従来のハザード分析の時間を要する労働集約的な性質という、2つの大きな課題に対処することを期待しています。
当社のアプローチを実例で説明し、予期せぬ問題の多くが実際に期待できることを示す。
関連論文リスト
- SafeMLRM: Demystifying Safety in Multi-modal Large Reasoning Models [50.34706204154244]
推論能力の獲得は、引き継がれた安全アライメントを壊滅的に劣化させる。
特定のシナリオは、25倍の攻撃率を被る。
MLRMは、厳密な推論と問合せの安全結合にもかかわらず、初期段階の自己補正を示す。
論文 参考訳（メタデータ） (2025-04-09T06:53:23Z) - An Approach to Technical AGI Safety and Security [72.83728459135101]
我々は、人類を著しく傷つけるのに十分な害のリスクに対処するアプローチを開発する。
私たちは、誤用や悪用に対する技術的なアプローチに重点を置いています。
これらの成分を組み合わせてAGIシステムの安全性を実現する方法について概説する。
論文 参考訳（メタデータ） (2025-04-02T15:59:31Z) - From Silos to Systems: Process-Oriented Hazard Analysis for AI Systems [2.226040060318401]
システム理論プロセス分析(STPA)をAIの操作と開発プロセスの解析に応用する。
我々は、機械学習アルゴリズムに依存したシステムと、3つのケーススタディに焦点をあてる。
私たちは、AIシステムに適したいくつかの適応があるにもかかわらず、anAを実行するための重要な概念とステップが容易に適用できることに気付きました。
論文 参考訳（メタデータ） (2024-10-29T20:43:18Z) - EARBench: Towards Evaluating Physical Risk Awareness for Task Planning of Foundation Model-based Embodied AI Agents [53.717918131568936]
EAI(Embodied AI)は、高度なAIモデルを現実世界のインタラクションのための物理的なエンティティに統合する。
高レベルのタスク計画のためのEAIエージェントの"脳"としてのファンデーションモデルは、有望な結果を示している。
しかし、これらのエージェントの物理的環境への展開は、重大な安全性上の課題を呈している。
本研究では,EAIシナリオにおける身体的リスクの自動評価のための新しいフレームワークEARBenchを紹介する。
論文 参考訳（メタデータ） (2024-08-08T13:19:37Z) - Mapping LLM Security Landscapes: A Comprehensive Stakeholder Risk Assessment Proposal [0.0]
本稿では,従来のシステムにおけるリスク評価手法のようなツールを用いたリスク評価プロセスを提案する。
我々は、潜在的な脅威要因を特定し、脆弱性要因に対して依存するシステムコンポーネントをマッピングするためのシナリオ分析を行う。
3つの主要株主グループに対する脅威もマップ化しています。
論文 参考訳（メタデータ） (2024-03-20T05:17:22Z) - Highlighting the Safety Concerns of Deploying LLMs/VLMs in Robotics [54.57914943017522]
本稿では,大規模言語モデル (LLMs) と視覚言語モデル (VLMs) をロボティクスアプリケーションに統合する際のロバスト性と安全性に関する重要な課題を強調する。
論文 参考訳（メタデータ） (2024-02-15T22:01:45Z) - Leveraging Traceability to Integrate Safety Analysis Artifacts into the
Software Development Process [51.42800587382228]
安全保証ケース(SAC)は、システムの進化中に維持することが困難である。
本稿では,ソフトウェアトレーサビリティを活用して,関連するシステムアーチファクトを安全解析モデルに接続する手法を提案する。
安全ステークホルダーがシステム変更が安全性に与える影響を分析するのに役立つように、システム変更の合理性を設計する。
論文 参考訳（メタデータ） (2023-07-14T16:03:27Z) - Concrete Safety for ML Problems: System Safety for ML Development and
Assessment [0.758305251912708]
信頼感、意図しない社会的危害、容認できない社会的および倫理的違反に対する懸念は、MLの進歩の約束を損なう。
システム安全工学は、複雑度の高い社会技術システムにおいても、リスクを特定し管理する実績のある、確立された分野である。
論文 参考訳（メタデータ） (2023-02-06T18:02:07Z) - System Safety Engineering for Social and Ethical ML Risks: A Case Study [0.5249805590164902]
政府、産業、アカデミックはML駆動システムにおける害を特定し緩和する努力をしてきた。
既存のアプローチは概ね不整合であり、アドホックであり、有効性は不明である。
特に、この分析が社会的および倫理的リスクを識別し、それらを緩和するための具体的な設計レベルの制御を開発するためにどのように拡張できるかに焦点を当てる。
論文 参考訳（メタデータ） (2022-11-08T22:58:58Z) - From plane crashes to algorithmic harm: applicability of safety
engineering frameworks for responsible ML [8.411124873373172]
機械学習(ML)システムの不適切な設計と展開は、ユーザ、社会、環境に対するネガティブなダウンストリームの社会的および倫理的影響をもたらす。
MLシステムの規制の必要性が高まっているにもかかわらず、リスクの評価と緩和の現在のプロセスは相容れない。
論文 参考訳（メタデータ） (2022-10-06T00:09:06Z) - Dos and Don'ts of Machine Learning in Computer Security [74.1816306998445]
大きな可能性にもかかわらず、セキュリティにおける機械学習は、パフォーマンスを損なう微妙な落とし穴を引き起こす傾向がある。
我々は,学習ベースのセキュリティシステムの設計,実装,評価において共通の落とし穴を特定する。
我々は,落とし穴の回避や軽減を支援するために,研究者を支援するための実用的な勧告を提案する。
論文 参考訳（メタデータ） (2020-10-19T13:09:31Z) - Technology Readiness Levels for AI & ML [79.22051549519989]
機械学習システムの開発は、現代的なツールで容易に実行できるが、プロセスは通常急いで、エンドツーエンドで実行される。
エンジニアリングシステムは、高品質で信頼性の高い結果の開発を効率化するために、明確に定義されたプロセスとテスト標準に従います。
我々は、機械学習の開発と展開のための実証されたシステムエンジニアリングアプローチを提案する。
論文 参考訳（メタデータ） (2020-06-21T17:14:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。