論文の概要: X Hacking: The Threat of Misguided AutoML

• arxiv url: http://arxiv.org/abs/2401.08513v1
• Date: Tue, 16 Jan 2024 17:21:33 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-18 19:04:43.304286
• Title: X Hacking: The Threat of Misguided AutoML
• Title（参考訳）: Xハッキング:「AutoML」の脅威
• Authors: Rahul Sharma, Sergey Redyuk, Sumantrak Mukherjee, Andrea Sipka, Sebastian Vollmer, David Selby
• Abstract要約: 本稿では、シャップ値などのXAIメトリクスに適用されたpハックの一種であるXハックの概念を紹介する。 自動機械学習パイプラインは、共通のベースラインに優れたパフォーマンスを維持しつつ、望ましい説明を生成する「防御可能な」モデルを探すためにどのように使用できるかを示す。
• 参考スコア（独自算出の注目度）: 2.3011205420794574
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Explainable AI (XAI) and interpretable machine learning methods help to build trust in model predictions and derived insights, yet also present a perverse incentive for analysts to manipulate XAI metrics to support pre-specified conclusions. This paper introduces the concept of X-hacking, a form of p-hacking applied to XAI metrics such as Shap values. We show how an automated machine learning pipeline can be used to search for 'defensible' models that produce a desired explanation while maintaining superior predictive performance to a common baseline. We formulate the trade-off between explanation and accuracy as a multi-objective optimization problem and illustrate the feasibility and severity of X-hacking empirically on familiar real-world datasets. Finally, we suggest possible methods for detection and prevention, and discuss ethical implications for the credibility and reproducibility of XAI research.
• Abstract（参考訳）: 説明可能なAI(XAI)と解釈可能な機械学習手法は、モデル予測と派生した洞察の信頼を構築するのに役立つが、アナリストがXAIメトリクスを操作して事前に特定された結論をサポートするための逆インセンティブも提示する。 本稿では,シャップ値などのxaiメトリクスに適用可能なpハッキングの形式であるx-hackingの概念を紹介する。 自動機械学習パイプラインを用いて、共通のベースラインに優れた予測性能を維持しつつ、望ましい説明を生成する「防御可能な」モデルを探す方法を示す。 我々は、多目的最適化問題として説明と精度のトレードオフを定式化し、実世界のデータセットにXハックの有効性と重大さを実証的に示す。 最後に,xai研究の信頼性と再現性に対する倫理的意義について考察する。

関連論文リスト

• Verifying Machine Unlearning with Explainable AI [46.7583989202789]
  港の前面監視における機械学習(MU)の検証における説明可能なAI(XAI)の有効性について検討する。 私たちの概念実証は、従来のメトリクスを超えて拡張されたMUの革新的な検証ステップとして属性機能を導入しています。 本稿では,これらの手法の有効性を評価するために,熱マップカバレッジ(HC)とアテンションシフト(AS)の2つの新しいXAI指標を提案する。
  論文  参考訳（メタデータ） (2024-11-20T13:57:32Z)
• Explaining Explainability: Towards Deeper Actionable Insights into Deep Learning through Second-order Explainability [70.60433013657693]
  2階説明可能なAI(SOXAI)は、最近インスタンスレベルからデータセットレベルまで説明可能なAI(XAI)を拡張するために提案されている。 そこで本研究では,SOXAIの動作可能な洞察に基づくトレーニングセットから無関係な概念を除外することで,モデルの性能を向上させることができることを示す。
  論文  参考訳（メタデータ） (2023-06-14T23:24:01Z)
• Adversarial attacks and defenses in explainable artificial intelligence: A survey [11.541601343587917]
  敵機械学習(AdvML)の最近の進歩は、最先端の説明手法の限界と脆弱性を強調している。 本調査は、機械学習モデルの説明に対する敵攻撃に関する総合的な研究の概要を提供する。
  論文  参考訳（メタデータ） (2023-06-06T09:53:39Z)
• Characterizing the contribution of dependent features in XAI methods [6.990173577370281]
  本稿では,XAI特徴量ランキング法の結果を,予測者間の依存性を考慮に入れたプロキシを提案する。 提案手法はモデルに依存しないという利点があり、コリニアリティが存在する場合のモデルにおける各予測器の影響を計算するのが簡単である。
  論文  参考訳（メタデータ） (2023-04-04T11:25:57Z)
• Evaluating Explainability in Machine Learning Predictions through Explainer-Agnostic Metrics [0.0]
  我々は,モデル予測が説明できる範囲を定量化するために,6つの異なるモデルに依存しないメトリクスを開発した。 これらのメトリクスは、局所的な重要性、グローバルな重要性、代理予測など、モデル説明可能性のさまざまな側面を測定する。 分類と回帰タスクにおけるこれらのメトリクスの実用性を実証し、これらのメトリクスを公開のために既存のPythonパッケージに統合する。
  論文  参考訳（メタデータ） (2023-02-23T15:28:36Z)
• VCNet: A self-explaining model for realistic counterfactual generation [52.77024349608834]
  事実的説明は、機械学習の決定を局所的に説明するための手法のクラスである。 本稿では,予測器と対実生成器を組み合わせたモデルアーキテクチャであるVCNet-Variational Counter Netを提案する。 我々はVCNetが予測を生成でき、また、別の最小化問題を解くことなく、反現実的な説明を生成できることを示した。
  論文  参考訳（メタデータ） (2022-12-21T08:45:32Z)
• Beyond Explaining: Opportunities and Challenges of XAI-Based Model Improvement [75.00655434905417]
  説明可能な人工知能(XAI)は、高度に複雑な機械学習(ML)モデルに透明性をもたらす新たな研究分野である。 本稿では,機械学習モデルの諸特性を改善するために,XAIを実用的に応用する手法を概観する。 実験では,モデル一般化能力や推論などの特性を改善する上で,説明がどのように役立つのかを,おもちゃと現実的な設定で実証的に示す。
  論文  参考訳（メタデータ） (2022-03-15T15:44:28Z)
• Tree-based local explanations of machine learning model predictions, AraucanaXAI [2.9660372210786563]
  パフォーマンスと知性の間のトレードオフは、特に医学のような高度な応用において、しばしば直面する。 本稿では,ジェネリックMLモデルの予測に関する説明を生成するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-10-15T17:39:19Z)
• Counterfactual Explanations as Interventions in Latent Space [62.997667081978825]
  反現実的な説明は、望ましい結果を達成するために変更が必要な機能のセットをエンドユーザに提供することを目的としています。 現在のアプローチでは、提案された説明を達成するために必要な行動の実現可能性を考慮することはめったにない。 本稿では,非現実的説明を生成する手法として,潜時空間における干渉としての対実的説明(CEILS)を提案する。
  論文  参考訳（メタデータ） (2021-06-14T20:48:48Z)
• Beyond Trivial Counterfactual Explanations with Diverse Valuable Explanations [64.85696493596821]
  コンピュータビジョンの応用において、生成的対実法はモデルの入力を摂動させて予測を変更する方法を示す。 本稿では,多様性強化損失を用いて制約される不連続潜在空間における摂動を学習する反事実法を提案する。 このモデルは, 従来の最先端手法と比較して, 高品質な説明を生産する成功率を向上させる。
  論文  参考訳（メタデータ） (2021-03-18T12:57:34Z)
• A Comparative Approach to Explainable Artificial Intelligence Methods in Application to High-Dimensional Electronic Health Records: Examining the Usability of XAI [0.0]
  XAIは、コミュニケーション手段によって人間に達成される信頼の実証的要因を生み出すことを目的としている。 機械を信頼して人間の生き方に向くというイデオロギーは倫理的な混乱を引き起こします。 XAIメソッドは、ローカルレベルとグローバルレベルの両方で出力される特定のモデルに対する機能貢献を視覚化します。
  論文  参考訳（メタデータ） (2021-03-08T18:15:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。