論文の概要: Can we Agree? On the Rash\=omon Effect and the Reliability of Post-Hoc Explainable AI

• arxiv url: http://arxiv.org/abs/2308.07247v1
• Date: Mon, 14 Aug 2023 16:32:24 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-15 12:25:54.736787
• Title: Can we Agree? On the Rash\=omon Effect and the Reliability of Post-Hoc Explainable AI
• Title（参考訳）: 同意できますか? Rash\=omon効果とポストホック説明可能なAIの信頼性について
• Authors: Clement Poiret, Antoine Grigis, Justin Thomas, Marion Noulhiane
• Abstract要約: Rash=omon効果は、マシンラーニングモデルから信頼できる知識を引き出す上での課題となる。 本研究では,サンプルサイズがSHAPを用いたRash=omon集合のモデルからの説明に与える影響について検討した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: The Rash\=omon effect poses challenges for deriving reliable knowledge from machine learning models. This study examined the influence of sample size on explanations from models in a Rash\=omon set using SHAP. Experiments on 5 public datasets showed that explanations gradually converged as the sample size increased. Explanations from <128 samples exhibited high variability, limiting reliable knowledge extraction. However, agreement between models improved with more data, allowing for consensus. Bagging ensembles often had higher agreement. The results provide guidance on sufficient data to trust explanations. Variability at low samples suggests that conclusions may be unreliable without validation. Further work is needed with more model types, data domains, and explanation methods. Testing convergence in neural networks and with model-specific explanation methods would be impactful. The approaches explored here point towards principled techniques for eliciting knowledge from ambiguous models.
• Abstract（参考訳）: rash\=omon効果は、機械学習モデルから信頼できる知識を引き出すための課題を提起する。 本研究は,shapを用いたrash\=omon集合のモデルによる説明に対するサンプルサイズの影響について検討した。 5つの公開データセットの実験では、サンプルサイズが大きくなるにつれて、説明は徐々に収束した。 128サンプルからの説明は、高い多様性を示し、信頼性のある知識抽出を制限した。 しかし、モデル間の合意はより多くのデータで改善され、合意が得られた。 袋詰めの合奏はしばしば高い合意に達した。 結果は,説明を信頼するための十分なデータに関するガイダンスを提供する。 低いサンプルでの変数は、検証なしで結論が信頼できないことを示唆している。 さらに多くのモデルタイプ、データドメイン、説明方法を扱う必要がある。 ニューラルネットワークとモデル固有の説明手法による収束テストは、影響が大きい。 ここでのアプローチは、あいまいなモデルから知識を引き出すための原則的手法に向けられている。

関連論文リスト

• Understanding Disparities in Post Hoc Machine Learning Explanation [2.965442487094603]
  従来の研究では、既存のポストホックな説明法は説明の忠実度に相違があることが強調されている(「レース」と「ジェンダー」は敏感な属性である)。 データの性質から生じる格差を説明するための課題を特に評価する。 結果は、モデル説明の相違はデータやモデルの性質にも依存できることを示している。
  論文  参考訳（メタデータ） (2024-01-25T22:09:28Z)
• Are Data-driven Explanations Robust against Out-of-distribution Data? [18.760475318852375]
  エンドツーエンドのモデルに依存しない学習フレームワークであるDis Distributionally Robust Explanations (DRE)を提案する。 鍵となる考え方は、分配情報を完全に活用して、人間のアノテーションを使わずに説明の学習のための監視信号を提供することである。 提案手法は,分布変化に対する説明と予測の堅牢性の観点から,モデルの性能を著しく向上することを示す。
  論文  参考訳（メタデータ） (2023-03-29T02:02:08Z)
• Explain, Edit, and Understand: Rethinking User Study Design for Evaluating Model Explanations [97.91630330328815]
  我々はクラウドソーシング研究を行い、真偽のホテルレビューと偽のホテルレビューを区別するために訓練された詐欺検出モデルと対話する。 単語の線形バッグモデルでは、トレーニング中に特徴係数にアクセスした参加者は、非説明制御と比較して、テストフェーズにおいてモデルの信頼性が大幅に低下する可能性があることを観察する。
  論文  参考訳（メタデータ） (2021-12-17T18:29:56Z)
• Agree to Disagree: When Deep Learning Models With Identical Architectures Produce Distinct Explanations [0.0]
  我々は,MIMIC-CXRデータセットの特定問題を強調するために,説明整合性の尺度を導入する。 同じモデルの説明がありますが、異なるトレーニングセットアップでは一貫性が低く、平均で$approx$ 33%です。 モデル説明の現在のトレンドは、実生活の医療アプリケーションにおけるモデル展開のリスクを軽減するのに十分ではないと結論づける。
  論文  参考訳（メタデータ） (2021-05-14T12:16:47Z)
• Beyond Trivial Counterfactual Explanations with Diverse Valuable Explanations [64.85696493596821]
  コンピュータビジョンの応用において、生成的対実法はモデルの入力を摂動させて予測を変更する方法を示す。 本稿では,多様性強化損失を用いて制約される不連続潜在空間における摂動を学習する反事実法を提案する。 このモデルは, 従来の最先端手法と比較して, 高品質な説明を生産する成功率を向上させる。
  論文  参考訳（メタデータ） (2021-03-18T12:57:34Z)
• Hard-label Manifolds: Unexpected Advantages of Query Efficiency for Finding On-manifold Adversarial Examples [67.23103682776049]
  画像分類モデルに対する最近のゼロオーダーのハードラベル攻撃は、ファーストオーダーのグラデーションレベルの代替品に匹敵する性能を示している。 最近、グラデーションレベルの設定では、通常の敵対的な例がデータ多様体から離れ、オンマニホールドの例が実際には一般化エラーであることが示されている。 雑音の多い多様体距離オラクルに基づく情報理論論的議論を提案し、敵の勾配推定を通じて多様体情報を漏洩させる。
  論文  参考訳（メタデータ） (2021-03-04T20:53:06Z)
• Debugging Tests for Model Explanations [18.073554618753395]
  テストされたメソッドは、急激なバックグラウンドバグを診断することができるが、誤ってラベル付けされたトレーニング例を決定的に識別することはできない。 被験者は属性を用いて欠陥モデルを特定するのに失敗するが、主にモデル予測に頼っている。
  論文  参考訳（メタデータ） (2020-11-10T22:23:25Z)
• Deducing neighborhoods of classes from a fitted model [68.8204255655161]
  本稿では,新しいタイプの解釈可能な機械学習手法を提案する。 量子シフトを用いた分類モデルでは、特徴空間の予測クラスへの分割を理解するのに役立ちます。 基本的に、実際のデータポイント(または特定の関心点)を使用し、特定の特徴をわずかに引き上げたり減少させたりした後の予測の変化を観察する。
  論文  参考訳（メタデータ） (2020-09-11T16:35:53Z)
• Model extraction from counterfactual explanations [68.8204255655161]
  本稿では, 敵が反実的説明によって提供された情報を利用して, 高精度かつ高精度なモデル抽出攻撃を構築する方法を示す。 我々の攻撃は、敵が相手モデルの忠実なコピーを、その偽説明にアクセスして作成することを可能にする。
  論文  参考訳（メタデータ） (2020-09-03T19:02:55Z)
• Are Visual Explanations Useful? A Case Study in Model-in-the-Loop Prediction [49.254162397086006]
  画像に基づく年齢予測課題における視覚的満足度に基づく説明について検討する。 モデル予測の提示により,人間の精度が向上することが判明した。 しかし、様々な種類の説明は、人間の正確さやモデルの信頼を著しく変えることができない。
  論文  参考訳（メタデータ） (2020-07-23T20:39:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。