論文の概要: Concrete Safety for ML Problems: System Safety for ML Development and Assessment

• arxiv url: http://arxiv.org/abs/2302.02972v1
• Date: Mon, 6 Feb 2023 18:02:07 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-07 15:33:08.198716
• Title: Concrete Safety for ML Problems: System Safety for ML Development and Assessment
• Title（参考訳）: ML問題のためのコンクリート安全:ML開発・評価のためのシステム安全
• Authors: Edgar W. Jatho and Logan O. Mailloux and Eugene D. Williams and Patrick McClure and Joshua A. Kroll
• Abstract要約: 信頼感、意図しない社会的危害、容認できない社会的および倫理的違反に対する懸念は、MLの進歩の約束を損なう。 システム安全工学は、複雑度の高い社会技術システムにおいても、リスクを特定し管理する実績のある、確立された分野である。
• 参考スコア（独自算出の注目度）: 0.758305251912708
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Many stakeholders struggle to make reliances on ML-driven systems due to the risk of harm these systems may cause. Concerns of trustworthiness, unintended social harms, and unacceptable social and ethical violations undermine the promise of ML advancements. Moreover, such risks in complex ML-driven systems present a special challenge as they are often difficult to foresee, arising over periods of time, across populations, and at scale. These risks often arise not from poor ML development decisions or low performance directly but rather emerge through the interactions amongst ML development choices, the context of model use, environmental factors, and the effects of a model on its target. Systems safety engineering is an established discipline with a proven track record of identifying and managing risks even in high-complexity sociotechnical systems. In this work, we apply a state-of-the-art systems safety approach to concrete applications of ML with notable social and ethical risks to demonstrate a systematic means for meeting the assurance requirements needed to argue for safe and trustworthy ML in sociotechnical systems.
• Abstract（参考訳）: 多くの利害関係者は、これらのシステムが引き起こす危険があるため、ML駆動システムへの依存に苦慮している。 信頼感、意図しない社会的危害、容認できない社会的および倫理的違反に対する懸念は、MLの進歩の約束を損なう。 さらに、複雑なML駆動システムにおけるこのようなリスクは、しばしば予測が困難であり、時間、人口、大規模に発生するため、特別な課題となる。 これらのリスクは、ML開発判断の貧弱さやパフォーマンスの低下から直接ではなく、ML開発選択、モデルの使用状況、環境要因、モデルがターゲットに与える影響などを通じて生じます。 システム安全工学は、複雑度の高い社会技術システムにおいても、リスクを特定し管理する実績を持つ確立された分野である。 本研究では,社会技術的システムにおいて,安全で信頼性の高いMLを主張するために必要な保証要件を満たすための体系的な手段を示すために,社会的・倫理的リスクのあるMLの具体的な応用に最先端のシステム安全アプローチを適用した。

関連論文リスト

• SafeBench: A Safety Evaluation Framework for Multimodal Large Language Models [75.67623347512368]
  MLLMの安全性評価を行うための総合的なフレームワークであるツールンを提案する。 我々のフレームワークは、包括的な有害なクエリデータセットと自動評価プロトコルで構成されています。 本研究では,広く利用されている15のオープンソースMLLMと6つの商用MLLMの大規模実験を行った。
  論文  参考訳（メタデータ） (2024-10-24T17:14:40Z)
• Cross-Modality Safety Alignment [73.8765529028288]
  我々は、モダリティ間の安全アライメントを評価するために、セーフインプットとアンセーフアウトプット(SIUO)と呼ばれる新しい安全アライメントの課題を導入する。 この問題を実証的に調査するため,我々はSIUOを作成した。SIUOは,自己修復,違法行為,プライバシー侵害など,9つの重要な安全領域を含むクロスモダリティベンチマークである。 以上の結果から, クローズドおよびオープンソース両方のLVLMの安全性上の重大な脆弱性が明らかとなり, 複雑で現実的なシナリオを確実に解釈し, 応答する上で, 現行モデルが不十分であることが示唆された。
  論文  参考訳（メタデータ） (2024-06-21T16:14:15Z)
• Prioritizing Safeguarding Over Autonomy: Risks of LLM Agents for Science [65.77763092833348]
  大規模言語モデル(LLM)を利用したインテリジェントエージェントは、自律的な実験を行い、様々な分野にわたる科学的発見を促進する上で、大きな可能性を証明している。 彼らの能力は有望だが、これらのエージェントは安全性を慎重に考慮する必要がある新たな脆弱性も導入している。 本稿では,科学領域におけるLSMをベースとしたエージェントの脆弱性の徹底的な調査を行い,その誤用に伴う潜在的なリスクに光を当て,安全性対策の必要性を強調した。
  論文  参考訳（メタデータ） (2024-02-06T18:54:07Z)
• RiskQ: Risk-sensitive Multi-Agent Reinforcement Learning Value Factorization [49.26510528455664]
  本稿では,リスクに敏感な個人・グローバル・マックス(RIGM)の原則を,個人・グローバル・マックス(IGM)と分散IGM(DIGM)の原則の一般化として紹介する。 RiskQは広範な実験によって有望な性能が得られることを示す。
  論文  参考訳（メタデータ） (2023-11-03T07:18:36Z)
• Vulnerability of Machine Learning Approaches Applied in IoT-based Smart Grid: A Review [51.31851488650698]
  機械学習(ML)は、IoT(Internet-of-Things)ベースのスマートグリッドでの使用頻度が高まっている。 電力信号に注入された逆方向の歪みは システムの正常な制御と操作に大きな影響を及ぼす 安全クリティカルパワーシステムに適用されたMLsgAPPの脆弱性評価を行うことが不可欠である。
  論文  参考訳（メタデータ） (2023-08-30T03:29:26Z)
• System Safety Engineering for Social and Ethical ML Risks: A Case Study [0.5249805590164902]
  政府、産業、アカデミックはML駆動システムにおける害を特定し緩和する努力をしてきた。 既存のアプローチは概ね不整合であり、アドホックであり、有効性は不明である。 特に、この分析が社会的および倫理的リスクを識別し、それらを緩和するための具体的な設計レベルの制御を開発するためにどのように拡張できるかに焦点を当てる。
  論文  参考訳（メタデータ） (2022-11-08T22:58:58Z)
• From plane crashes to algorithmic harm: applicability of safety engineering frameworks for responsible ML [8.411124873373172]
  機械学習(ML)システムの不適切な設計と展開は、ユーザ、社会、環境に対するネガティブなダウンストリームの社会的および倫理的影響をもたらす。 MLシステムの規制の必要性が高まっているにもかかわらず、リスクの評価と緩和の現在のプロセスは相容れない。
  論文  参考訳（メタデータ） (2022-10-06T00:09:06Z)
• The Risks of Machine Learning Systems [11.105884571838818]
  システム全体のリスクは、その直接的および間接的な影響に影響される。 MLのリスク/インパクト評価のための既存のフレームワークは、しばしばリスクの抽象的な概念に対処する。 1次リスクはMLシステムの側面に起因するが、2次リスクは1次リスクの結果に起因する。
  論文  参考訳（メタデータ） (2022-04-21T02:42:10Z)
• Unsolved Problems in ML Safety [45.82027272958549]
  研究の準備ができている4つの問題、すなわち、ハザードを克服し、ハザードを特定し、MLシステムを操り、MLシステムの扱い方に対するリスクを低減する。 それぞれの問題のモチベーションを明確にし、具体的な研究指針を提供する。
  論文  参考訳（メタデータ） (2021-09-28T17:59:36Z)
• SoK: Machine Learning Governance [16.36671448193025]
  このような利益とリスクのバランスをとるため、MLガバナンスの概念を開発します。 私たちは、MLシステムの障害の原因となるプリンシパルを保持するためにアイデンティティを使用します。 私たちは、モデルオーナーがシステムのライフサイクルを管理することができる技術の必要性を強調します。
  論文  参考訳（メタデータ） (2021-09-20T17:56:22Z)
• Towards a Robust and Trustworthy Machine Learning System Development [0.09236074230806578]
  最新のML信頼性と技術に関する最近の調査をセキュリティエンジニアリングの視点から紹介します。 次に、ML実践者のための標準的かつ視覚化された方法で知識の体を表すメタモデルを記述することによって、調査の前後に研究を進めます。 本稿では,堅牢で信頼性の高いMLシステムの開発を進めるための今後の研究方向性を提案する。
  論文  参考訳（メタデータ） (2021-01-08T14:43:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。