論文の概要: The Role of Explainability in Assuring Safety of Machine Learning in
Healthcare
- arxiv url: http://arxiv.org/abs/2109.00520v1
- Date: Wed, 1 Sep 2021 09:32:14 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-03 14:09:14.423785
- Title: The Role of Explainability in Assuring Safety of Machine Learning in
Healthcare
- Title（参考訳）: 医療における機械学習の安全性確保における説明責任の役割
- Authors: Yan Jia, John McDermid, Tom Lawton, Ibrahim Habli
- Abstract要約: 本稿では、MLベースのシステムの安全性保証に説明可能なAI手法が寄与する方法について述べる。
結果は安全引数として表現され、どのようにして説明可能なAIメソッドが安全ケースに寄与できるかを示す。
- 参考スコア（独自算出の注目度）: 9.462125772941347
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Established approaches to assuring safety-critical systems and software are
difficult to apply to systems employing machine learning (ML). In many cases,
ML is used on ill-defined problems, e.g. optimising sepsis treatment, where
there is no clear, pre-defined specification against which to assess validity.
This problem is exacerbated by the "opaque" nature of ML where the learnt model
is not amenable to human scrutiny. Explainable AI methods have been proposed to
tackle this issue by producing human-interpretable representations of ML models
which can help users to gain confidence and build trust in the ML system.
However, there is not much work explicitly investigating the role of
explainability for safety assurance in the context of ML development. This
paper identifies ways in which explainable AI methods can contribute to safety
assurance of ML-based systems. It then uses a concrete ML-based clinical
decision support system, concerning weaning of patients from mechanical
ventilation, to demonstrate how explainable AI methods can be employed to
produce evidence to support safety assurance. The results are also represented
in a safety argument to show where, and in what way, explainable AI methods can
contribute to a safety case. Overall, we conclude that explainable AI methods
have a valuable role in safety assurance of ML-based systems in healthcare but
that they are not sufficient in themselves to assure safety.
- Abstract（参考訳）: 機械学習(ML)を利用したシステムには,安全クリティカルなシステムとソフトウェアを確保するための確立されたアプローチを適用することが困難である。
多くの場合、MLは不明確な問題に使われます。
正当性を評価するための明確な事前定義が存在しない、敗血症治療の最適化。
この問題は、学習モデルが人間の精査に耐えられないMLの「不透明」な性質によって悪化する。
この問題を解決するための説明可能なAI手法が提案されている。MLモデルの人間解釈可能な表現を生成して,ユーザの信頼獲得とMLシステムの信頼構築を支援する。
しかし,ML 開発における安全性保証における説明可能性の役割について,具体的な研究はあまり行われていない。
本稿では、MLベースのシステムの安全性保証に説明可能なAI手法が寄与する方法について述べる。
次に、機械換気による患者の湿潤化に関する具体的なmlベースの臨床判断支援システムを使用して、安全確保を支援する証拠を作成するために、説明可能なai手法がいかに活用できるかを実証する。
結果は安全引数として表現され、どのようにして説明可能なAIメソッドが安全ケースに寄与できるかを示す。
全体として、説明可能なAI手法は、医療におけるMLベースのシステムの安全性を保証する上で重要な役割を担っているが、安全を保証するには不十分である。
関連論文リスト
- SafeBench: A Safety Evaluation Framework for Multimodal Large Language Models [75.67623347512368]
MLLMの安全性評価を行うための総合的なフレームワークであるツールンを提案する。
我々のフレームワークは、包括的な有害なクエリデータセットと自動評価プロトコルで構成されています。
本研究では,広く利用されている15のオープンソースMLLMと6つの商用MLLMの大規模実験を行った。
論文 参考訳（メタデータ） (2024-10-24T17:14:40Z) - CoCA: Regaining Safety-awareness of Multimodal Large Language Models with Constitutional Calibration [90.36429361299807]
マルチモーダルな大言語モデル (MLLM) は、視覚的な入力を含む会話への関与において顕著な成功を収めている。
視覚的モダリティの統合は、MLLMが悪意のある視覚的入力に影響を受けやすいという、ユニークな脆弱性を導入している。
本稿では,出力分布を校正することでMLLMの安全性を向上するCoCA技術を紹介する。
論文 参考訳（メタデータ） (2024-09-17T17:14:41Z) - Building Trustworthy NeuroSymbolic AI Systems: Consistency, Reliability,
Explainability, and Safety [11.933469815219544]
我々は、NeuroSymbolicメソッド上で、一貫性、信頼性、ユーザレベルの説明可能性、安全性がどのように構築されているかを示すCRESTフレームワークを紹介します。
この記事では、CRESTフレームワーク内で選択されたAIシステムとして、Large Language Models(LLM)に焦点を当てる。
論文 参考訳（メタデータ） (2023-12-05T06:13:55Z) - Vulnerability of Machine Learning Approaches Applied in IoT-based Smart Grid: A Review [51.31851488650698]
機械学習(ML)は、IoT(Internet-of-Things)ベースのスマートグリッドでの使用頻度が高まっている。
電力信号に注入された逆方向の歪みは システムの正常な制御と操作に大きな影響を及ぼす
安全クリティカルパワーシステムに適用されたMLsgAPPの脆弱性評価を行うことが不可欠である。
論文 参考訳（メタデータ） (2023-08-30T03:29:26Z) - Towards Developing Safety Assurance Cases for Learning-Enabled Medical
Cyber-Physical Systems [3.098385261166847]
我々は、学習可能なMCPSにおける機械学習コントローラの安全性保証ケースを開発する。
我々は,人工膵システムにおける予測のためのディープニューラルネットワークを実装することで,詳細な解析を行う。
本稿では,MLデータの妥当性を確認し,形式的検証を用いてMLに基づく予測の正しさを解析する。
論文 参考訳（メタデータ） (2022-11-23T22:43:48Z) - Review of the AMLAS Methodology for Application in Healthcare [2.6072209210124675]
患者の安全が損なわれないように、MLの安全性を積極的に保証する必要がある。
Assurance of Machine Learning for use in autonomous Systems methodは、Assuring Autonomy International Programmeによって開発された。
本総説では,ML製造業者に対して,現行の安全保証プラクティスから収束するか,逸脱するかを判断するため,方法論を査定した。
論文 参考訳（メタデータ） (2022-09-01T13:00:36Z) - Detecting Shortcut Learning for Fair Medical AI using Shortcut Testing [62.9062883851246]
機械学習は医療の改善に大いに貢献するが、その利用が健康格差を広めたり増幅したりしないことを確実にすることは重要である。
アルゴリズムの不公平性の潜在的な要因の1つ、ショートカット学習は、トレーニングデータにおける不適切な相関に基づいてMLモデルが予測した時に発生する。
マルチタスク学習を用いて,臨床MLシステムの公平性評価の一環として,ショートカット学習の評価と緩和を行う手法を提案する。
論文 参考訳（メタデータ） (2022-07-21T09:35:38Z) - Practical Machine Learning Safety: A Survey and Primer [81.73857913779534]
自動運転車のような安全クリティカルなアプリケーションにおける機械学習アルゴリズムのオープンワールド展開は、さまざまなML脆弱性に対処する必要がある。
一般化エラーを低減し、ドメイン適応を実現し、外乱例や敵攻撃を検出するための新しいモデルと訓練技術。
我々の組織は、MLアルゴリズムの信頼性を異なる側面から向上するために、最先端のML技術を安全戦略にマッピングする。
論文 参考訳（メタデータ） (2021-06-09T05:56:42Z) - Inspect, Understand, Overcome: A Survey of Practical Methods for AI
Safety [54.478842696269304]
安全クリティカルなアプリケーションにディープニューラルネットワーク(DNN)を使用することは、多数のモデル固有の欠点のために困難です。
近年,これらの安全対策を目的とした最先端技術動物園が出現している。
本稿は、機械学習の専門家と安全エンジニアの両方に対処する。
論文 参考訳（メタデータ） (2021-04-29T09:54:54Z) - Towards a Robust and Trustworthy Machine Learning System Development [0.09236074230806578]
最新のML信頼性と技術に関する最近の調査をセキュリティエンジニアリングの視点から紹介します。
次に、ML実践者のための標準的かつ視覚化された方法で知識の体を表すメタモデルを記述することによって、調査の前後に研究を進めます。
本稿では,堅牢で信頼性の高いMLシステムの開発を進めるための今後の研究方向性を提案する。
論文 参考訳（メタデータ） (2021-01-08T14:43:58Z) - Towards Probability-based Safety Verification of Systems with Components
from Machine Learning [8.75682288556859]
現在、機械学習システムの安全性の検証は不可能か、少なくとも非常に難しいと考えられている。
i) ほとんどのMLアプローチは、そのパワーとエラーの原因の両方である帰納的です。
制御実験により推定された誤差の確率と帰納的学習自体による出力の確率に基づく検証を提案する。
論文 参考訳（メタデータ） (2020-03-02T19:31:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。