論文の概要: Agree to Disagree: When Deep Learning Models With Identical Architectures Produce Distinct Explanations

• arxiv url: http://arxiv.org/abs/2105.06791v1
• Date: Fri, 14 May 2021 12:16:47 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-17 16:56:28.435719
• Title: Agree to Disagree: When Deep Learning Models With Identical Architectures Produce Distinct Explanations
• Title（参考訳）: Agree to Disagree: Identical Architecturesを用いたディープラーニングモデルが特定の説明を生み出すとき
• Authors: Matthew Watson (1), Bashar Awwad Shiekh Hasan (1), Noura Al Moubayed (1) ((1) Durham University, Durham, UK)
• Abstract要約: 我々は,MIMIC-CXRデータセットの特定問題を強調するために,説明整合性の尺度を導入する。 同じモデルの説明がありますが、異なるトレーニングセットアップでは一貫性が低く、平均で$approx$ 33%です。 モデル説明の現在のトレンドは、実生活の医療アプリケーションにおけるモデル展開のリスクを軽減するのに十分ではないと結論づける。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep Learning of neural networks has progressively become more prominent in healthcare with models reaching, or even surpassing, expert accuracy levels. However, these success stories are tainted by concerning reports on the lack of model transparency and bias against some medical conditions or patients' sub-groups. Explainable methods are considered the gateway to alleviate many of these concerns. In this study we demonstrate that the generated explanations are volatile to changes in model training that are perpendicular to the classification task and model structure. This raises further questions about trust in deep learning models for healthcare. Mainly, whether the models capture underlying causal links in the data or just rely on spurious correlations that are made visible via explanation methods. We demonstrate that the output of explainability methods on deep neural networks can vary significantly by changes of hyper-parameters, such as the random seed or how the training set is shuffled. We introduce a measure of explanation consistency which we use to highlight the identified problems on the MIMIC-CXR dataset. We find explanations of identical models but with different training setups have a low consistency: $\approx$ 33% on average. On the contrary, kernel methods are robust against any orthogonal changes, with explanation consistency at 94%. We conclude that current trends in model explanation are not sufficient to mitigate the risks of deploying models in real life healthcare applications.
• Abstract（参考訳）: ニューラルネットワークの深層学習は、モデルが専門的精度レベルに達したり、超えたりすることで、医療において徐々に顕著になっている。 しかし、これらの成功談は、いくつかの病状や患者のサブグループに対するモデルの透明性の欠如とバイアスに関する報告によって語られる。 説明可能なメソッドは、これらの懸念の多くを軽減するためのゲートウェイと考えられている。 本研究では,生成した説明が,分類タスクとモデル構造に垂直なモデルトレーニングの変化に揮発することを示す。 これは、ヘルスケアのためのディープラーニングモデルの信頼性に関するさらなる疑問を提起する。 主に、モデルがデータ内の背後にある因果関係をキャプチャするか、あるいは説明手法によって見えるようにした散発的な相関に依存するかです。 ディープニューラルネットワークにおける説明可能性法の出力は、ランダムシードやトレーニングセットのシャッフルなど、ハイパーパラメータの変化によって大きく変化することが示されている。 我々は,MIMIC-CXRデータセットの特定問題を強調するために,説明整合性の尺度を導入する。 同じモデルの説明はありますが、異なるトレーニングセットアップでは一貫性が低く、平均で約33%です。 反対に、カーネルメソッドは直交的な変更に対して堅牢であり、説明一貫性は94%である。 モデル説明の現在の傾向は、実際の医療アプリケーションにモデルを展開するリスクを軽減するには不十分である。

関連論文リスト

• Common Steps in Machine Learning Might Hinder The Explainability Aims in Medicine [0.0]
  本稿では、機械学習におけるデータ前処理のステップとそのモデルの説明可能性および解釈可能性への影響について論じる。 これらのステップはモデルの精度を向上させるが、特に医学において慎重に考慮されていない場合、モデルの説明可能性を妨げる可能性がある。
  論文  参考訳（メタデータ） (2024-08-30T12:09:14Z)
• Heat Death of Generative Models in Closed-Loop Learning [63.83608300361159]
  本研究では、独自の学習データセットに加えて、生成したコンテンツをフィードバックする生成モデルの学習ダイナミクスについて検討する。 各イテレーションで十分な量の外部データが導入されない限り、非自明な温度がモデルを退化させることを示す。
  論文  参考訳（メタデータ） (2024-04-02T21:51:39Z)
• R-Tuning: Instructing Large Language Models to Say `I Don't Know' [66.11375475253007]
  大きな言語モデル(LLM)は、優れたパフォーマンスで多くのドメインに革命をもたらしたが、それでもその課題に直面している。 事前の指導チューニング方法は、モデルが知識を知っているかどうかに関わらず、モデルに文章を完成させるよう強制する。 我々はRefusal-Aware Instruction Tuning (R-Tuning)と呼ばれる新しいアプローチを提案する。 実験の結果、R-Tuningは、既知の質問に答えたり、未知の質問に答えるのを控えるモデルの能力を効果的に改善することを示した。
  論文  参考訳（メタデータ） (2023-11-16T08:45:44Z)
• Characterizing and Understanding the Behavior of Quantized Models for Reliable Deployment [32.01355605506855]
  量子化対応トレーニングは、標準、逆数、ミックスアップトレーニングよりも安定したモデルを生成することができる。 診断は、しばしばトップ1とトップ2の出力確率に近づき、$Margin$は、相違点を区別する他の不確実性指標よりも優れた指標である。 我々は、量子化されたモデルをさらに研究するための新しいベンチマークとして、コードとモデルをオープンソース化した。
  論文  参考訳（メタデータ） (2022-04-08T11:19:16Z)
• Self-Damaging Contrastive Learning [92.34124578823977]
  ラベルのないデータは一般に不均衡であり、長い尾の分布を示す。 本稿では,クラスを知らずに表現学習を自動的にバランスをとるための,自己学習コントラスト学習という原則的枠組みを提案する。 実験の結果,SDCLRは全体としての精度だけでなく,バランス性も著しく向上することがわかった。
  論文  参考訳（メタデータ） (2021-06-06T00:04:49Z)
• Beyond Trivial Counterfactual Explanations with Diverse Valuable Explanations [64.85696493596821]
  コンピュータビジョンの応用において、生成的対実法はモデルの入力を摂動させて予測を変更する方法を示す。 本稿では,多様性強化損失を用いて制約される不連続潜在空間における摂動を学習する反事実法を提案する。 このモデルは, 従来の最先端手法と比較して, 高品質な説明を生産する成功率を向上させる。
  論文  参考訳（メタデータ） (2021-03-18T12:57:34Z)
• Why do classifier accuracies show linear trends under distribution shift? [58.40438263312526]
  あるデータ分布上のモデルの精度は、別の分布上の精度のほぼ線形関数である。 2つのモデルが予測で一致する確率は、精度レベルだけで推測できるものよりも高いと仮定します。 分布シフトの大きさが大きければ, 2 つの分布のモデルを評価する場合, 線形傾向が生じなければならない。
  論文  参考訳（メタデータ） (2020-12-31T07:24:30Z)
• Explain by Evidence: An Explainable Memory-based Neural Network for Question Answering [41.73026155036886]
  本稿では,エビデンスに基づくメモリネットワークアーキテクチャを提案する。 データセットを要約し、その決定を下すための証拠を抽出することを学ぶ。 本モデルは,2つの質問応答データセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2020-11-05T21:18:21Z)
• Amortized learning of neural causal representations [10.140457813764554]
  因果モデルでは、すべての介入の下でデータ生成プロセスをコンパクトかつ効率的に符号化することができる。 これらのモデルは、しばしばベイズ的ネットワークとして表現され、変数の数に劣るスケールを学習する。 ニューラルネットワークを用いた因果モデル学習のための,テキスト因果関係ネットワーク(CRN)と呼ばれる新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-08-21T04:35:06Z)
• Structural Causal Models Are (Solvable by) Credal Networks [70.45873402967297]
  因果推論は、干潟網の更新のための標準的なアルゴリズムによって得ることができる。 この貢献は, 干潟ネットワークによる構造因果モデルを表現するための体系的なアプローチと見なされるべきである。 実験により, 実規模問題における因果推論には, クレーダルネットワークの近似アルゴリズムがすぐに利用できることがわかった。
  論文  参考訳（メタデータ） (2020-08-02T11:19:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。