論文の概要: The Risks of Machine Learning Systems

• arxiv url: http://arxiv.org/abs/2204.09852v1
• Date: Thu, 21 Apr 2022 02:42:10 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-22 14:27:40.099493
• Title: The Risks of Machine Learning Systems
• Title（参考訳）: 機械学習システムのリスク
• Authors: Samson Tan, Araz Taeihagh, Kathy Baxter
• Abstract要約: システム全体のリスクは、その直接的および間接的な影響に影響される。 MLのリスク/インパクト評価のための既存のフレームワークは、しばしばリスクの抽象的な概念に対処する。 1次リスクはMLシステムの側面に起因するが、2次リスクは1次リスクの結果に起因する。
• 参考スコア（独自算出の注目度）: 11.105884571838818
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The speed and scale at which machine learning (ML) systems are deployed are accelerating even as an increasing number of studies highlight their potential for negative impact. There is a clear need for companies and regulators to manage the risk from proposed ML systems before they harm people. To achieve this, private and public sector actors first need to identify the risks posed by a proposed ML system. A system's overall risk is influenced by its direct and indirect effects. However, existing frameworks for ML risk/impact assessment often address an abstract notion of risk or do not concretize this dependence. We propose to address this gap with a context-sensitive framework for identifying ML system risks comprising two components: a taxonomy of the first- and second-order risks posed by ML systems, and their contributing factors. First-order risks stem from aspects of the ML system, while second-order risks stem from the consequences of first-order risks. These consequences are system failures that result from design and development choices. We explore how different risks may manifest in various types of ML systems, the factors that affect each risk, and how first-order risks may lead to second-order effects when the system interacts with the real world. Throughout the paper, we show how real events and prior research fit into our Machine Learning System Risk framework (MLSR). MLSR operates on ML systems rather than technologies or domains, recognizing that a system's design, implementation, and use case all contribute to its risk. In doing so, it unifies the risks that are commonly discussed in the ethical AI community (e.g., ethical/human rights risks) with system-level risks (e.g., application, design, control risks), paving the way for holistic risk assessments of ML systems.
• Abstract（参考訳）: 機械学習(ML)システムがデプロイされるスピードとスケールは、多くの研究がネガティブな影響の可能性を強調しているにもかかわらず、加速している。 人を傷つける前に、提案されたMLシステムからリスクを管理する企業や規制当局が明らかに必要である。 これを達成するために、民間および公共セクターのアクターはまず、提案されたMLシステムによって引き起こされるリスクを特定する必要がある。 システム全体のリスクは、その直接的および間接的な影響に影響される。 しかし、MLのリスク/インパクト評価のための既存のフレームワークは、しばしばリスクの抽象的な概念に対処する。 本稿では,MLシステムによって引き起こされる第1および第2次リスクの分類と,その寄与要因の2つの構成要素からなるMLシステムリスクを特定するための文脈依存フレームワークを用いて,このギャップを解決することを提案する。 1次リスクはMLシステムの側面に起因するが、2次リスクは1次リスクの結果に起因する。 これらの結果は、設計と開発の選択から生じるシステム障害である。 さまざまなタイプのMLシステムにおいて、さまざまなリスクが出現する可能性があること、それぞれのリスクに影響を与える要因、そしてシステムが現実世界と相互作用する際の第1次リスクが第2次効果に与える影響について検討する。 本稿では,機械学習システムリスクフレームワーク(MLSR)に実際の事象と先行研究がどのように適合するかを示す。 MLSRは技術やドメインではなくMLシステムで運用されており、システムの設計、実装、ユースケースがすべてそのリスクに寄与していることを認識している。 そうすることで、倫理的AIコミュニティ(例えば倫理的/人権リスク)で一般的に議論されるリスクとシステムレベルのリスク(例えば、アプリケーション、設計、制御リスク)を統一し、MLシステムの全体的リスク評価の道を開く。

関連論文リスト

• Quantifying Risk Propensities of Large Language Models: Ethical Focus and Bias Detection through Role-Play [0.43512163406552007]
  大きな言語モデル(LLM)がより普及するにつれて、その安全性、倫理、潜在的なバイアスに対する懸念が高まっている。 本研究は,認知科学からLLMまで,Domain-Specific Risk-Taking(DOSPERT)尺度を革新的に適用する。 本研究では,LLMの倫理的リスク態度を深く評価するために,倫理的意思決定リスク態度尺度(EDRAS)を提案する。
  論文  参考訳（メタデータ） (2024-10-26T15:55:21Z)
• SafeBench: A Safety Evaluation Framework for Multimodal Large Language Models [75.67623347512368]
  MLLMの安全性評価を行うための総合的なフレームワークであるツールンを提案する。 我々のフレームワークは、包括的な有害なクエリデータセットと自動評価プロトコルで構成されています。 本研究では,広く利用されている15のオープンソースMLLMと6つの商用MLLMの大規模実験を行った。
  論文  参考訳（メタデータ） (2024-10-24T17:14:40Z)
• AI Risk Categorization Decoded (AIR 2024): From Government Regulations to Corporate Policies [88.32153122712478]
  我々は4階層の分類に分類された314のユニークなリスクカテゴリを特定した。 最高レベルでは、この分類はシステム・アンド・オペレーショナル・リスク、コンテンツ・セーフティ・リスク、社会的なリスク、法と権利のリスクを含む。 我々は、セクター間の情報共有と、生成型AIモデルとシステムのリスク軽減におけるベストプラクティスの推進を通じて、AIの安全性を向上することを目指している。
  論文  参考訳（メタデータ） (2024-06-25T18:13:05Z)
• RiskQ: Risk-sensitive Multi-Agent Reinforcement Learning Value Factorization [49.26510528455664]
  本稿では,リスクに敏感な個人・グローバル・マックス(RIGM)の原則を,個人・グローバル・マックス(IGM)と分散IGM(DIGM)の原則の一般化として紹介する。 RiskQは広範な実験によって有望な性能が得られることを示す。
  論文  参考訳（メタデータ） (2023-11-03T07:18:36Z)
• Concrete Safety for ML Problems: System Safety for ML Development and Assessment [0.758305251912708]
  信頼感、意図しない社会的危害、容認できない社会的および倫理的違反に対する懸念は、MLの進歩の約束を損なう。 システム安全工学は、複雑度の高い社会技術システムにおいても、リスクを特定し管理する実績のある、確立された分野である。
  論文  参考訳（メタデータ） (2023-02-06T18:02:07Z)
• System Safety Engineering for Social and Ethical ML Risks: A Case Study [0.5249805590164902]
  政府、産業、アカデミックはML駆動システムにおける害を特定し緩和する努力をしてきた。 既存のアプローチは概ね不整合であり、アドホックであり、有効性は不明である。 特に、この分析が社会的および倫理的リスクを識別し、それらを緩和するための具体的な設計レベルの制御を開発するためにどのように拡張できるかに焦点を当てる。
  論文  参考訳（メタデータ） (2022-11-08T22:58:58Z)
• SOTIF Entropy: Online SOTIF Risk Quantification and Mitigation for Autonomous Driving [16.78084912175149]
  本稿では,SOTIFリスクを最小化するための体系的アプローチとして,自己監視・自己適応システムを提案する。 このシステムのコアは、自動運転車内で実装された人工知能アルゴリズムのリスクモニタリングである。 固有認識アルゴリズムのリスクと外部衝突のリスクは、SOTIFエントロピーを介して共同で定量化される。
  論文  参考訳（メタデータ） (2022-11-08T05:02:12Z)
• From plane crashes to algorithmic harm: applicability of safety engineering frameworks for responsible ML [8.411124873373172]
  機械学習(ML)システムの不適切な設計と展開は、ユーザ、社会、環境に対するネガティブなダウンストリームの社会的および倫理的影響をもたらす。 MLシステムの規制の必要性が高まっているにもかかわらず、リスクの評価と緩和の現在のプロセスは相容れない。
  論文  参考訳（メタデータ） (2022-10-06T00:09:06Z)
• Risk-Driven Design of Perception Systems [47.787943101699966]
  システム全体の安全性を低下させるエラーを最小限に抑えるために,認識システムを設計することが重要である。 完全積分閉ループシステムの性能に及ぼす知覚誤差の影響を考慮に入れた認識システム設計のためのリスク駆動型アプローチを開発する。 本研究では,現実的な視界に基づく航空機による応用・回避技術の評価を行い,リスク駆動設計がベースラインシステム上での衝突リスクを37%低減することを示す。
  論文  参考訳（メタデータ） (2022-05-21T21:14:56Z)
• Efficient Risk-Averse Reinforcement Learning [79.61412643761034]
  リスク逆強化学習(RL)では、リターンのリスク測定を最適化することが目標である。 特定の条件下では、これは必然的に局所最適障壁につながることを証明し、それを回避するためのソフトリスク機構を提案する。 迷路ナビゲーション,自律運転,資源配分ベンチマークにおいて,リスク回避の改善を示す。
  論文  参考訳（メタデータ） (2022-05-10T19:40:52Z)
• Overcoming Failures of Imagination in AI Infused System Development and Deployment [71.9309995623067]
  NeurIPS 2020は研究論文に「潜在的な悪用と失敗の結果」に関するインパクトステートメントを含むよう要求した。 我々は、害の枠組みは文脈に適応し、潜在的な利害関係者、システム余裕、および最も広い意味での害を評価するための実行可能なプロキシを考える必要があると論じている。
  論文  参考訳（メタデータ） (2020-11-26T18:09:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。