論文の概要: Concrete Safety for ML Problems: System Safety for ML Development and
Assessment
- arxiv url: http://arxiv.org/abs/2302.02972v1
- Date: Mon, 6 Feb 2023 18:02:07 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-07 15:33:08.198716
- Title: Concrete Safety for ML Problems: System Safety for ML Development and
Assessment
- Title(参考訳): ML問題のためのコンクリート安全:ML開発・評価のためのシステム安全
- Authors: Edgar W. Jatho and Logan O. Mailloux and Eugene D. Williams and
Patrick McClure and Joshua A. Kroll
- Abstract要約: 信頼感、意図しない社会的危害、容認できない社会的および倫理的違反に対する懸念は、MLの進歩の約束を損なう。
システム安全工学は、複雑度の高い社会技術システムにおいても、リスクを特定し管理する実績のある、確立された分野である。
- 参考スコア(独自算出の注目度): 0.758305251912708
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Many stakeholders struggle to make reliances on ML-driven systems due to the
risk of harm these systems may cause. Concerns of trustworthiness, unintended
social harms, and unacceptable social and ethical violations undermine the
promise of ML advancements. Moreover, such risks in complex ML-driven systems
present a special challenge as they are often difficult to foresee, arising
over periods of time, across populations, and at scale. These risks often arise
not from poor ML development decisions or low performance directly but rather
emerge through the interactions amongst ML development choices, the context of
model use, environmental factors, and the effects of a model on its target.
Systems safety engineering is an established discipline with a proven track
record of identifying and managing risks even in high-complexity sociotechnical
systems. In this work, we apply a state-of-the-art systems safety approach to
concrete applications of ML with notable social and ethical risks to
demonstrate a systematic means for meeting the assurance requirements needed to
argue for safe and trustworthy ML in sociotechnical systems.
- Abstract(参考訳): 多くの利害関係者は、これらのシステムが引き起こす危険があるため、ML駆動システムへの依存に苦慮している。
信頼感、意図しない社会的危害、容認できない社会的および倫理的違反に対する懸念は、MLの進歩の約束を損なう。
さらに、複雑なML駆動システムにおけるこのようなリスクは、しばしば予測が困難であり、時間、人口、大規模に発生するため、特別な課題となる。
これらのリスクは、ML開発判断の貧弱さやパフォーマンスの低下から直接ではなく、ML開発選択、モデルの使用状況、環境要因、モデルがターゲットに与える影響などを通じて生じます。
システム安全工学は、複雑度の高い社会技術システムにおいても、リスクを特定し管理する実績を持つ確立された分野である。
本研究では,社会技術的システムにおいて,安全で信頼性の高いMLを主張するために必要な保証要件を満たすための体系的な手段を示すために,社会的・倫理的リスクのあるMLの具体的な応用に最先端のシステム安全アプローチを適用した。
関連論文リスト
- On the Safety Concerns of Deploying LLMs/VLMs in Robotics: Highlighting
the Risks and Vulnerabilities [50.31806287390321]
ロボットの動作を操作または誤操作することは容易であり、安全上の危険をもたらす。
我々のデータは、即時攻撃で21.2%、知覚攻撃で30.2%の平均的なパフォーマンス劣化を示す。
論文 参考訳(メタデータ) (2024-02-15T22:01:45Z) - Prioritizing Safeguarding Over Autonomy: Risks of LLM Agents for Science [67.38554763406098]
大規模言語モデル(LLM)を利用したインテリジェントエージェントは、自律的な実験を行い、様々な分野にわたる科学的発見を促進する上で、大きな可能性を証明している。
彼らの能力は有望だが、安全を慎重に考慮する必要がある新たな脆弱性も導入している。
本稿では,科学領域におけるLSMをベースとしたエージェントの脆弱性の徹底的な調査を行い,その誤用に伴う潜在的なリスクに光を当て,安全性対策の必要性を強調した。
論文 参考訳(メタデータ) (2024-02-06T18:54:07Z) - Empowering Autonomous Driving with Large Language Models: A Safety
Perspective [86.47444945343013]
本稿では,大規模言語モデル(LLM)の自律運転システムへの統合を提唱する。
アプローチの有効性を実証する2つのケーススタディの結果を報告する。
論文 参考訳(メタデータ) (2023-11-28T03:13:09Z) - RiskQ: Risk-sensitive Multi-Agent Reinforcement Learning Value
Factorization [51.386963525376395]
本稿では,リスクに敏感な個人・グローバル・マックス(RIGM)の原則を,個人・グローバル・マックス(IGM)と分散IGM(DIGM)の原則の一般化として紹介する。
RiskQは広範な実験によって有望な性能が得られることを示す。
論文 参考訳(メタデータ) (2023-11-03T07:18:36Z) - Foveate, Attribute, and Rationalize: Towards Physically Safe and
Trustworthy AI [76.28956947107372]
包括的不安全テキストは、日常的なシナリオから生じる可能性のある特定の関心領域であり、有害なテキストを検出するのが困難である。
安全の文脈において、信頼に値する合理的な生成のために外部知識を活用する新しいフレームワークであるFARMを提案する。
実験の結果,FARMはSafeTextデータセットの最先端結果を得ることができ,安全性の分類精度が5.9%向上したことがわかった。
論文 参考訳(メタデータ) (2022-12-19T17:51:47Z) - System Safety Engineering for Social and Ethical ML Risks: A Case Study [0.5249805590164902]
政府、産業、アカデミックはML駆動システムにおける害を特定し緩和する努力をしてきた。
既存のアプローチは概ね不整合であり、アドホックであり、有効性は不明である。
特に、この分析が社会的および倫理的リスクを識別し、それらを緩和するための具体的な設計レベルの制御を開発するためにどのように拡張できるかに焦点を当てる。
論文 参考訳(メタデータ) (2022-11-08T22:58:58Z) - From plane crashes to algorithmic harm: applicability of safety
engineering frameworks for responsible ML [8.411124873373172]
機械学習(ML)システムの不適切な設計と展開は、ユーザ、社会、環境に対するネガティブなダウンストリームの社会的および倫理的影響をもたらす。
MLシステムの規制の必要性が高まっているにもかかわらず、リスクの評価と緩和の現在のプロセスは相容れない。
論文 参考訳(メタデータ) (2022-10-06T00:09:06Z) - The Risks of Machine Learning Systems [11.105884571838818]
システム全体のリスクは、その直接的および間接的な影響に影響される。
MLのリスク/インパクト評価のための既存のフレームワークは、しばしばリスクの抽象的な概念に対処する。
1次リスクはMLシステムの側面に起因するが、2次リスクは1次リスクの結果に起因する。
論文 参考訳(メタデータ) (2022-04-21T02:42:10Z) - Unsolved Problems in ML Safety [45.82027272958549]
研究の準備ができている4つの問題、すなわち、ハザードを克服し、ハザードを特定し、MLシステムを操り、MLシステムの扱い方に対するリスクを低減する。
それぞれの問題のモチベーションを明確にし、具体的な研究指針を提供する。
論文 参考訳(メタデータ) (2021-09-28T17:59:36Z) - SoK: Machine Learning Governance [16.36671448193025]
このような利益とリスクのバランスをとるため、MLガバナンスの概念を開発します。
私たちは、MLシステムの障害の原因となるプリンシパルを保持するためにアイデンティティを使用します。
私たちは、モデルオーナーがシステムのライフサイクルを管理することができる技術の必要性を強調します。
論文 参考訳(メタデータ) (2021-09-20T17:56:22Z) - Towards a Robust and Trustworthy Machine Learning System Development [0.09236074230806578]
最新のML信頼性と技術に関する最近の調査をセキュリティエンジニアリングの視点から紹介します。
次に、ML実践者のための標準的かつ視覚化された方法で知識の体を表すメタモデルを記述することによって、調査の前後に研究を進めます。
本稿では,堅牢で信頼性の高いMLシステムの開発を進めるための今後の研究方向性を提案する。
論文 参考訳(メタデータ) (2021-01-08T14:43:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。