論文の概要: System Safety Engineering for Social and Ethical ML Risks: A Case Study
- arxiv url: http://arxiv.org/abs/2211.04602v1
- Date: Tue, 8 Nov 2022 22:58:58 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-10 17:49:56.794876
- Title: System Safety Engineering for Social and Ethical ML Risks: A Case Study
- Title(参考訳): 社会的・倫理的MLリスクに対するシステム安全工学 : 事例研究
- Authors: Edgar W. Jatho III and Logan O. Mailloux and Shalaleh Rismani and
Eugene D. Williams and Joshua A. Kroll
- Abstract要約: 政府、産業、アカデミックはML駆動システムにおける害を特定し緩和する努力をしてきた。
既存のアプローチは概ね不整合であり、アドホックであり、有効性は不明である。
特に、この分析が社会的および倫理的リスクを識別し、それらを緩和するための具体的な設計レベルの制御を開発するためにどのように拡張できるかに焦点を当てる。
- 参考スコア(独自算出の注目度): 0.5249805590164902
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Governments, industry, and academia have undertaken efforts to identify and
mitigate harms in ML-driven systems, with a particular focus on social and
ethical risks of ML components in complex sociotechnical systems. However,
existing approaches are largely disjointed, ad-hoc and of unknown
effectiveness. Systems safety engineering is a well established discipline with
a track record of identifying and managing risks in many complex sociotechnical
domains. We adopt the natural hypothesis that tools from this domain could
serve to enhance risk analyses of ML in its context of use. To test this
hypothesis, we apply a "best of breed" systems safety analysis, Systems
Theoretic Process Analysis (STPA), to a specific high-consequence system with
an important ML-driven component, namely the Prescription Drug Monitoring
Programs (PDMPs) operated by many US States, several of which rely on an
ML-derived risk score. We focus in particular on how this analysis can extend
to identifying social and ethical risks and developing concrete design-level
controls to mitigate them.
- Abstract(参考訳): 政府、産業、アカデミックは、複雑な社会技術システムにおけるMLコンポーネントの社会的および倫理的リスクを特に重視して、ML駆動システムにおける害を特定し、緩和する努力を行っている。
しかし、既存のアプローチは概ね非結合であり、アドホックであり、有効性は不明である。
システム安全工学は、多くの複雑な社会技術分野におけるリスクを特定し管理する実績を持つ、確立された分野である。
我々は、このドメインのツールがその使用状況におけるMLのリスク分析を強化するのに役立つという自然な仮説を採用する。
この仮説を検証するために、多くの米国が運用する処方薬監視プログラム(PDMP)において、ML由来のリスクスコアに依存する重要なML駆動コンポーネントを持つ特定の高頻度システムに対して、システム安全分析、システム理論プロセス分析(STPA)を適用する。
特に、この分析が社会的および倫理的なリスクを特定し、それらを軽減するための具体的な設計レベルのコントロールを開発することへの拡張に焦点をあてています。
関連論文リスト
- Prioritizing Safeguarding Over Autonomy: Risks of LLM Agents for Science [67.38554763406098]
大規模言語モデル(LLM)を利用したインテリジェントエージェントは、自律的な実験を行い、様々な分野にわたる科学的発見を促進する上で、大きな可能性を証明している。
彼らの能力は有望だが、安全を慎重に考慮する必要がある新たな脆弱性も導入している。
本稿では,科学領域におけるLSMをベースとしたエージェントの脆弱性の徹底的な調査を行い,その誤用に伴う潜在的なリスクに光を当て,安全性対策の必要性を強調した。
論文 参考訳(メタデータ) (2024-02-06T18:54:07Z) - Identifying the Risks of LM Agents with an LM-Emulated Sandbox [70.83306884808988]
言語モデル(LM)エージェントとツールは、豊富な機能セットを可能にすると同時に、潜在的なリスクを増幅する。
これらのエージェントを高いコストでテストすることは、高いリスクと長い尾のリスクを見つけるのをますます困難にします。
ツール実行をエミュレートするためにLMを使用し、さまざまなツールやシナリオに対してLMエージェントのテストを可能にするフレームワークであるToolEmuを紹介します。
ツールエミュレータと評価器の両方を人体評価によりテストし,ToolEmuで特定されたエラーの68.8%が実世界のエージェントの失敗であることを確認した。
論文 参考訳(メタデータ) (2023-09-25T17:08:02Z) - Capsa: A Unified Framework for Quantifying Risk in Deep Neural Networks [142.67349734180445]
ディープニューラルネットワークにリスク認識を提供する既存のアルゴリズムは複雑でアドホックである。
ここでは、リスク認識でモデルを拡張するためのフレームワークであるcapsaを紹介します。
論文 参考訳(メタデータ) (2023-08-01T02:07:47Z) - Leveraging Traceability to Integrate Safety Analysis Artifacts into the
Software Development Process [51.42800587382228]
安全保証ケース(SAC)は、システムの進化中に維持することが困難である。
本稿では,ソフトウェアトレーサビリティを活用して,関連するシステムアーチファクトを安全解析モデルに接続する手法を提案する。
安全ステークホルダーがシステム変更が安全性に与える影響を分析するのに役立つように、システム変更の合理性を設計する。
論文 参考訳(メタデータ) (2023-07-14T16:03:27Z) - Concrete Safety for ML Problems: System Safety for ML Development and
Assessment [0.758305251912708]
信頼感、意図しない社会的危害、容認できない社会的および倫理的違反に対する懸念は、MLの進歩の約束を損なう。
システム安全工学は、複雑度の高い社会技術システムにおいても、リスクを特定し管理する実績のある、確立された分野である。
論文 参考訳(メタデータ) (2023-02-06T18:02:07Z) - Epistemological Equation for Analysing Uncontrollable States in Complex
Systems: Quantifying Cyber Risks from the Internet of Things [3.1351527202068445]
新しい分析アプローチにより、複雑なIoTシステムにおける制御不能なリスク状態の評価が可能になる。
IoTサイバーリスク姿勢の定量的自己評価に使用することができる。
論文 参考訳(メタデータ) (2022-12-15T21:02:49Z) - From plane crashes to algorithmic harm: applicability of safety
engineering frameworks for responsible ML [8.411124873373172]
機械学習(ML)システムの不適切な設計と展開は、ユーザ、社会、環境に対するネガティブなダウンストリームの社会的および倫理的影響をもたらす。
MLシステムの規制の必要性が高まっているにもかかわらず、リスクの評価と緩和の現在のプロセスは相容れない。
論文 参考訳(メタデータ) (2022-10-06T00:09:06Z) - The Risks of Machine Learning Systems [11.105884571838818]
システム全体のリスクは、その直接的および間接的な影響に影響される。
MLのリスク/インパクト評価のための既存のフレームワークは、しばしばリスクの抽象的な概念に対処する。
1次リスクはMLシステムの側面に起因するが、2次リスクは1次リスクの結果に起因する。
論文 参考訳(メタデータ) (2022-04-21T02:42:10Z) - A Framework for Evaluating the Cybersecurity Risk of Real World, Machine
Learning Production Systems [41.470634460215564]
我々はML生産システムにサイバー攻撃を組み込むMulVAL攻撃グラフ生成および分析フレームワークの拡張を開発する。
提案された拡張を使用することで、セキュリティ実践者はMLコンポーネントを含む環境にアタックグラフ分析手法を適用することができる。
論文 参考訳(メタデータ) (2021-07-05T05:58:11Z) - Practical Machine Learning Safety: A Survey and Primer [81.73857913779534]
自動運転車のような安全クリティカルなアプリケーションにおける機械学習アルゴリズムのオープンワールド展開は、さまざまなML脆弱性に対処する必要がある。
一般化エラーを低減し、ドメイン適応を実現し、外乱例や敵攻撃を検出するための新しいモデルと訓練技術。
我々の組織は、MLアルゴリズムの信頼性を異なる側面から向上するために、最先端のML技術を安全戦略にマッピングする。
論文 参考訳(メタデータ) (2021-06-09T05:56:42Z) - Inspect, Understand, Overcome: A Survey of Practical Methods for AI
Safety [54.478842696269304]
安全クリティカルなアプリケーションにディープニューラルネットワーク(DNN)を使用することは、多数のモデル固有の欠点のために困難です。
近年,これらの安全対策を目的とした最先端技術動物園が出現している。
本稿は、機械学習の専門家と安全エンジニアの両方に対処する。
論文 参考訳(メタデータ) (2021-04-29T09:54:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。