論文の概要: System Safety Engineering for Social and Ethical ML Risks: A Case Study

• arxiv url: http://arxiv.org/abs/2211.04602v1
• Date: Tue, 8 Nov 2022 22:58:58 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-10 17:49:56.794876
• Title: System Safety Engineering for Social and Ethical ML Risks: A Case Study
• Title（参考訳）: 社会的・倫理的MLリスクに対するシステム安全工学 : 事例研究
• Authors: Edgar W. Jatho III and Logan O. Mailloux and Shalaleh Rismani and Eugene D. Williams and Joshua A. Kroll
• Abstract要約: 政府、産業、アカデミックはML駆動システムにおける害を特定し緩和する努力をしてきた。 既存のアプローチは概ね不整合であり、アドホックであり、有効性は不明である。 特に、この分析が社会的および倫理的リスクを識別し、それらを緩和するための具体的な設計レベルの制御を開発するためにどのように拡張できるかに焦点を当てる。
• 参考スコア（独自算出の注目度）: 0.5249805590164902
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Governments, industry, and academia have undertaken efforts to identify and mitigate harms in ML-driven systems, with a particular focus on social and ethical risks of ML components in complex sociotechnical systems. However, existing approaches are largely disjointed, ad-hoc and of unknown effectiveness. Systems safety engineering is a well established discipline with a track record of identifying and managing risks in many complex sociotechnical domains. We adopt the natural hypothesis that tools from this domain could serve to enhance risk analyses of ML in its context of use. To test this hypothesis, we apply a "best of breed" systems safety analysis, Systems Theoretic Process Analysis (STPA), to a specific high-consequence system with an important ML-driven component, namely the Prescription Drug Monitoring Programs (PDMPs) operated by many US States, several of which rely on an ML-derived risk score. We focus in particular on how this analysis can extend to identifying social and ethical risks and developing concrete design-level controls to mitigate them.
• Abstract（参考訳）: 政府、産業、アカデミックは、複雑な社会技術システムにおけるMLコンポーネントの社会的および倫理的リスクを特に重視して、ML駆動システムにおける害を特定し、緩和する努力を行っている。 しかし、既存のアプローチは概ね非結合であり、アドホックであり、有効性は不明である。 システム安全工学は、多くの複雑な社会技術分野におけるリスクを特定し管理する実績を持つ、確立された分野である。 我々は、このドメインのツールがその使用状況におけるMLのリスク分析を強化するのに役立つという自然な仮説を採用する。 この仮説を検証するために、多くの米国が運用する処方薬監視プログラム(PDMP)において、ML由来のリスクスコアに依存する重要なML駆動コンポーネントを持つ特定の高頻度システムに対して、システム安全分析、システム理論プロセス分析(STPA)を適用する。 特に、この分析が社会的および倫理的なリスクを特定し、それらを軽減するための具体的な設計レベルのコントロールを開発することへの拡張に焦点をあてています。

関連論文リスト

• Multi-Agent Risks from Advanced AI [90.74347101431474]
  先進的なAIのマルチエージェントシステムは、新規で未発見のリスクを生じさせる。 エージェントのインセンティブに基づく3つの重要な障害モードと7つの重要なリスク要因を同定する。 各リスクのいくつかの重要な事例と、それらを緩和するための有望な方向性を強調します。
  論文  参考訳（メタデータ） (2025-02-19T23:03:21Z)
• From Hazard Identification to Controller Design: Proactive and LLM-Supported Safety Engineering for ML-Powered Systems [17.496832430021968]
  機械学習(ML)コンポーネントはますますソフトウェア製品に統合されている。 これらのリスクにもかかわらず、実践者は危険を予知し軽減するための積極的なアプローチを採用することはめったにない。 本稿では,MLを利用したソフトウェア製品の開発にハザード分析を統合することを提唱する。
  論文  参考訳（メタデータ） (2025-02-11T21:37:19Z)
• Navigating the Risks: A Survey of Security, Privacy, and Ethics Threats in LLM-Based Agents [67.07177243654485]
  この調査は、大規模言語モデルに基づくエージェントが直面するさまざまな脅威を収集、分析する。 LLMをベースとしたエージェントの6つの重要な特徴を概説する。 4つの代表エージェントをケーススタディとして選択し,実践的に直面する可能性のあるリスクを分析した。
  論文  参考訳（メタデータ） (2024-11-14T15:40:04Z)
• SafeBench: A Safety Evaluation Framework for Multimodal Large Language Models [75.67623347512368]
  MLLMの安全性評価を行うための総合的なフレームワークであるツールンを提案する。 我々のフレームワークは、包括的な有害なクエリデータセットと自動評価プロトコルで構成されています。 本研究では,広く利用されている15のオープンソースMLLMと6つの商用MLLMの大規模実験を行った。
  論文  参考訳（メタデータ） (2024-10-24T17:14:40Z)
• EARBench: Towards Evaluating Physical Risk Awareness for Task Planning of Foundation Model-based Embodied AI Agents [53.717918131568936]
  EAI(Embodied AI)は、高度なAIモデルを現実世界のインタラクションのための物理的なエンティティに統合する。 高レベルのタスク計画のためのEAIエージェントの"脳"としてのファンデーションモデルは、有望な結果を示している。 しかし、これらのエージェントの物理的環境への展開は、重大な安全性上の課題を呈している。 本研究では,EAIシナリオにおける身体的リスクの自動評価のための新しいフレームワークEARBenchを紹介する。
  論文  参考訳（メタデータ） (2024-08-08T13:19:37Z)
• Prioritizing Safeguarding Over Autonomy: Risks of LLM Agents for Science [65.77763092833348]
  大規模言語モデル(LLM)を利用したインテリジェントエージェントは、自律的な実験を行い、様々な分野にわたる科学的発見を促進する上で、大きな可能性を証明している。 彼らの能力は有望だが、これらのエージェントは安全性を慎重に考慮する必要がある新たな脆弱性も導入している。 本稿では,科学領域におけるLSMをベースとしたエージェントの脆弱性の徹底的な調査を行い,その誤用に伴う潜在的なリスクに光を当て,安全性対策の必要性を強調した。
  論文  参考訳（メタデータ） (2024-02-06T18:54:07Z)
• Leveraging Traceability to Integrate Safety Analysis Artifacts into the Software Development Process [51.42800587382228]
  安全保証ケース(SAC)は、システムの進化中に維持することが困難である。 本稿では,ソフトウェアトレーサビリティを活用して,関連するシステムアーチファクトを安全解析モデルに接続する手法を提案する。 安全ステークホルダーがシステム変更が安全性に与える影響を分析するのに役立つように、システム変更の合理性を設計する。
  論文  参考訳（メタデータ） (2023-07-14T16:03:27Z)
• Concrete Safety for ML Problems: System Safety for ML Development and Assessment [0.758305251912708]
  信頼感、意図しない社会的危害、容認できない社会的および倫理的違反に対する懸念は、MLの進歩の約束を損なう。 システム安全工学は、複雑度の高い社会技術システムにおいても、リスクを特定し管理する実績のある、確立された分野である。
  論文  参考訳（メタデータ） (2023-02-06T18:02:07Z)
• From plane crashes to algorithmic harm: applicability of safety engineering frameworks for responsible ML [8.411124873373172]
  機械学習(ML)システムの不適切な設計と展開は、ユーザ、社会、環境に対するネガティブなダウンストリームの社会的および倫理的影響をもたらす。 MLシステムの規制の必要性が高まっているにもかかわらず、リスクの評価と緩和の現在のプロセスは相容れない。
  論文  参考訳（メタデータ） (2022-10-06T00:09:06Z)
• Quantitative AI Risk Assessments: Opportunities and Challenges [7.35411010153049]
  リスクを減らす最善の方法は、包括的なAIライフサイクルガバナンスを実装することです。 リスクは技術コミュニティのメトリクスを使って定量化できます。 本稿では,このようなアプローチの機会,課題,潜在的影響に焦点をあてて,これらの課題について考察する。
  論文  参考訳（メタデータ） (2022-09-13T21:47:25Z)
• The Risks of Machine Learning Systems [11.105884571838818]
  システム全体のリスクは、その直接的および間接的な影響に影響される。 MLのリスク/インパクト評価のための既存のフレームワークは、しばしばリスクの抽象的な概念に対処する。 1次リスクはMLシステムの側面に起因するが、2次リスクは1次リスクの結果に起因する。
  論文  参考訳（メタデータ） (2022-04-21T02:42:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。