論文の概要: From Hazard Identification to Controller Design: Proactive and LLM-Supported Safety Engineering for ML-Powered Systems

• arxiv url: http://arxiv.org/abs/2502.07974v1
• Date: Tue, 11 Feb 2025 21:37:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-13 13:51:10.423611
• Title: From Hazard Identification to Controller Design: Proactive and LLM-Supported Safety Engineering for ML-Powered Systems
• Title（参考訳）: 危険識別からコントローラ設計へ:ML駆動システムのための積極的およびLCM対応安全工学
• Authors: Yining Hong, Christopher S. Timperley, Christian Kästner,
• Abstract要約: 機械学習(ML)コンポーネントはますますソフトウェア製品に統合されている。 これらのリスクにもかかわらず、実践者は危険を予知し軽減するための積極的なアプローチを採用することはめったにない。 本稿では,MLを利用したソフトウェア製品の開発にハザード分析を統合することを提唱する。
• 参考スコア（独自算出の注目度）: 17.496832430021968
• License:
• Abstract: Machine learning (ML) components are increasingly integrated into software products, yet their complexity and inherent uncertainty often lead to unintended and hazardous consequences, both for individuals and society at large. Despite these risks, practitioners seldom adopt proactive approaches to anticipate and mitigate hazards before they occur. Traditional safety engineering approaches, such as Failure Mode and Effects Analysis (FMEA) and System Theoretic Process Analysis (STPA), offer systematic frameworks for early risk identification but are rarely adopted. This position paper advocates for integrating hazard analysis into the development of any ML-powered software product and calls for greater support to make this process accessible to developers. By using large language models (LLMs) to partially automate a modified STPA process with human oversight at critical steps, we expect to address two key challenges: the heavy dependency on highly experienced safety engineering experts, and the time-consuming, labor-intensive nature of traditional hazard analysis, which often impedes its integration into real-world development workflows. We illustrate our approach with a running example, demonstrating that many seemingly unanticipated issues can, in fact, be anticipated.
• Abstract（参考訳）: 機械学習(ML)コンポーネントはますますソフトウェア製品に統合されているが、その複雑さと固有の不確実性は、個人や社会全体において意図しない、危険な結果をもたらすことが多い。 このようなリスクにもかかわらず、実践者は危険を予知し緩和するための積極的なアプローチを採用することはめったにない。 FMEA(Failure Mode and Effects Analysis)やSTPA(System Theoretic Process Analysis)といった従来の安全工学アプローチは、早期リスク識別のための体系的なフレームワークを提供するが、採用されることはほとんどない。 本稿では,ML を利用したソフトウェア製品の開発にハザード分析を組み込むことを提唱する。 大規模な言語モデル(LLMs)を使用して、人間の監視による修正STPAプロセスを部分的に自動化することで、高度に経験のある安全工学の専門家への重い依存と、従来のハザード分析の時間を要する労働集約的な性質という、2つの大きな課題に対処することを期待しています。 当社のアプローチを実例で説明し、予期せぬ問題の多くが実際に期待できることを示す。

関連論文リスト

• Internal Activation as the Polar Star for Steering Unsafe LLM Behavior [50.463399903987245]
  SafeSwitchは、モデルの内部状態を監視し、利用することによって、安全でない出力を動的に制御するフレームワークである。 実証実験の結果,SafeSwitchは安全性ベンチマークで80%以上の有害な出力を削減し,有効性を維持していることがわかった。
  論文  参考訳（メタデータ） (2025-02-03T04:23:33Z)
• Defining and Evaluating Physical Safety for Large Language Models [62.4971588282174]
  大型言語モデル (LLM) は、ドローンのようなロボットシステムを制御するためにますます使われている。 現実世界のアプリケーションに物理的な脅威や害をもたらすリスクは、まだ解明されていない。 我々は,ドローンの物理的安全性リスクを,(1)目標脅威,(2)目標脅威,(3)インフラ攻撃,(4)規制違反の4つのカテゴリに分類する。
  論文  参考訳（メタデータ） (2024-11-04T17:41:25Z)
• From Silos to Systems: Process-Oriented Hazard Analysis for AI Systems [2.226040060318401]
  システム理論プロセス分析(STPA)をAIの操作と開発プロセスの解析に応用する。 我々は、機械学習アルゴリズムに依存したシステムと、3つのケーススタディに焦点をあてる。 私たちは、AIシステムに適したいくつかの適応があるにもかかわらず、anAを実行するための重要な概念とステップが容易に適用できることに気付きました。
  論文  参考訳（メタデータ） (2024-10-29T20:43:18Z)
• EARBench: Towards Evaluating Physical Risk Awareness for Task Planning of Foundation Model-based Embodied AI Agents [53.717918131568936]
  EAI(Embodied AI)は、高度なAIモデルを現実世界のインタラクションのための物理的なエンティティに統合する。 高レベルのタスク計画のためのEAIエージェントの"脳"としてのファンデーションモデルは、有望な結果を示している。 しかし、これらのエージェントの物理的環境への展開は、重大な安全性上の課題を呈している。 本研究では,EAIシナリオにおける身体的リスクの自動評価のための新しいフレームワークEARBenchを紹介する。
  論文  参考訳（メタデータ） (2024-08-08T13:19:37Z)
• Mapping LLM Security Landscapes: A Comprehensive Stakeholder Risk Assessment Proposal [0.0]
  本稿では,従来のシステムにおけるリスク評価手法のようなツールを用いたリスク評価プロセスを提案する。 我々は、潜在的な脅威要因を特定し、脆弱性要因に対して依存するシステムコンポーネントをマッピングするためのシナリオ分析を行う。 3つの主要株主グループに対する脅威もマップ化しています。
  論文  参考訳（メタデータ） (2024-03-20T05:17:22Z)
• Leveraging Traceability to Integrate Safety Analysis Artifacts into the Software Development Process [51.42800587382228]
  安全保証ケース(SAC)は、システムの進化中に維持することが困難である。 本稿では,ソフトウェアトレーサビリティを活用して,関連するシステムアーチファクトを安全解析モデルに接続する手法を提案する。 安全ステークホルダーがシステム変更が安全性に与える影響を分析するのに役立つように、システム変更の合理性を設計する。
  論文  参考訳（メタデータ） (2023-07-14T16:03:27Z)
• Concrete Safety for ML Problems: System Safety for ML Development and Assessment [0.758305251912708]
  信頼感、意図しない社会的危害、容認できない社会的および倫理的違反に対する懸念は、MLの進歩の約束を損なう。 システム安全工学は、複雑度の高い社会技術システムにおいても、リスクを特定し管理する実績のある、確立された分野である。
  論文  参考訳（メタデータ） (2023-02-06T18:02:07Z)
• System Safety Engineering for Social and Ethical ML Risks: A Case Study [0.5249805590164902]
  政府、産業、アカデミックはML駆動システムにおける害を特定し緩和する努力をしてきた。 既存のアプローチは概ね不整合であり、アドホックであり、有効性は不明である。 特に、この分析が社会的および倫理的リスクを識別し、それらを緩和するための具体的な設計レベルの制御を開発するためにどのように拡張できるかに焦点を当てる。
  論文  参考訳（メタデータ） (2022-11-08T22:58:58Z)
• From plane crashes to algorithmic harm: applicability of safety engineering frameworks for responsible ML [8.411124873373172]
  機械学習(ML)システムの不適切な設計と展開は、ユーザ、社会、環境に対するネガティブなダウンストリームの社会的および倫理的影響をもたらす。 MLシステムの規制の必要性が高まっているにもかかわらず、リスクの評価と緩和の現在のプロセスは相容れない。
  論文  参考訳（メタデータ） (2022-10-06T00:09:06Z)
• Dos and Don'ts of Machine Learning in Computer Security [74.1816306998445]
  大きな可能性にもかかわらず、セキュリティにおける機械学習は、パフォーマンスを損なう微妙な落とし穴を引き起こす傾向がある。 我々は,学習ベースのセキュリティシステムの設計,実装,評価において共通の落とし穴を特定する。 我々は,落とし穴の回避や軽減を支援するために,研究者を支援するための実用的な勧告を提案する。
  論文  参考訳（メタデータ） (2020-10-19T13:09:31Z)
• Technology Readiness Levels for AI & ML [79.22051549519989]
  機械学習システムの開発は、現代的なツールで容易に実行できるが、プロセスは通常急いで、エンドツーエンドで実行される。 エンジニアリングシステムは、高品質で信頼性の高い結果の開発を効率化するために、明確に定義されたプロセスとテスト標準に従います。 我々は、機械学習の開発と展開のための実証されたシステムエンジニアリングアプローチを提案する。
  論文  参考訳（メタデータ） (2020-06-21T17:14:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。