論文の概要: Intuitively Assessing ML Model Reliability through Example-Based Explanations and Editing Model Inputs

• arxiv url: http://arxiv.org/abs/2102.08540v1
• Date: Wed, 17 Feb 2021 02:41:32 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-18 14:44:05.806653
• Title: Intuitively Assessing ML Model Reliability through Example-Based Explanations and Editing Model Inputs
• Title（参考訳）: 例に基づく説明とモデル入力の編集による直感的なMLモデル信頼性評価
• Authors: Harini Suresh, Kathleen M. Lewis, John V. Guttag, Arvind Satyanarayan
• Abstract要約: 解釈可能性メソッドは、機械学習モデルの能力に対する信頼の構築と理解を支援することを目的とする。 モデル信頼性をより直感的に評価するための2つのインターフェースモジュールを紹介します。
• 参考スコア（独自算出の注目度）: 19.09848738521126
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Interpretability methods aim to help users build trust in and understand the capabilities of machine learning models. However, existing approaches often rely on abstract, complex visualizations that poorly map to the task at hand or require non-trivial ML expertise to interpret. Here, we present two interface modules to facilitate a more intuitive assessment of model reliability. To help users better characterize and reason about a model's uncertainty, we visualize raw and aggregate information about a given input's nearest neighbors in the training dataset. Using an interactive editor, users can manipulate this input in semantically-meaningful ways, determine the effect on the output, and compare against their prior expectations. We evaluate our interface using an electrocardiogram beat classification case study. Compared to a baseline feature importance interface, we find that 9 physicians are better able to align the model's uncertainty with clinically relevant factors and build intuition about its capabilities and limitations.
• Abstract（参考訳）: 解釈可能性メソッドは、機械学習モデルの能力に対する信頼の構築と理解を支援することを目的とする。 しかし、既存のアプローチはしばしば抽象的で複雑な視覚化に依存しており、手元のタスクにマッピングできないか、解釈に非自明なMLの専門知識を必要とする。 ここでは、モデル信頼性をより直感的に評価するための2つのインターフェースモジュールを紹介します。 モデルの不確実性をよりよく特徴づけ、推論するために、トレーニングデータセット内の特定の入力の最寄りの隣人に関する情報を生で集計します。 インタラクティブエディタを使用すると、ユーザーはこの入力を意味的に操作し、出力への影響を決定し、以前の期待と比較することができます。 心電図ビート分類ケーススタディを用いてインターフェースを評価する。 基本的特徴重視インタフェースと比較すると,9人の医師がモデルの不確実性を臨床的に関係のある要因と整合させ,その能力と限界を直感的に構築できることがわかった。

関連論文リスト

• Unsupervised Model Diagnosis [49.36194740479798]
  本稿では,ユーザガイドを使わずに,意味論的対実的説明を生成するために,Unsupervised Model Diagnosis (UMO)を提案する。 提案手法は意味論における変化を特定し可視化し,その変化を広範囲なテキストソースの属性と照合する。
  論文  参考訳（メタデータ） (2024-10-08T17:59:03Z)
• Explanatory Model Monitoring to Understand the Effects of Feature Shifts on Performance [61.06245197347139]
  そこで本研究では,機能シフトによるブラックボックスモデルの振る舞いを説明する新しい手法を提案する。 本稿では,最適輸送と共有値の概念を組み合わせた提案手法について,説明的性能推定として紹介する。
  論文  参考訳（メタデータ） (2024-08-24T18:28:19Z)
• Towards Better Modeling with Missing Data: A Contrastive Learning-based Visual Analytics Perspective [7.577040836988683]
  データ不足は機械学習(ML)モデリングの課題となる可能性がある。 現在のアプローチは、特徴計算とラベル予測に分類される。 本研究は、観測データに欠落した値でモデル化するコントラスト学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-09-18T13:16:24Z)
• Correlation Information Bottleneck: Towards Adapting Pretrained Multimodal Models for Robust Visual Question Answering [63.87200781247364]
  相関情報ボトルネック (CIB) は圧縮と表現の冗長性のトレードオフを求める。 マルチモーダル入力と表現の相互情報に対して,理論上界を厳密に導出する。
  論文  参考訳（メタデータ） (2022-09-14T22:04:10Z)
• HyperImpute: Generalized Iterative Imputation with Automatic Model Selection [77.86861638371926]
  カラムワイズモデルを適応的かつ自動的に構成するための一般化反復計算フレームワークを提案する。 既製の学習者,シミュレータ,インターフェースを備えた具体的な実装を提供する。
  論文  参考訳（メタデータ） (2022-06-15T19:10:35Z)
• Explain, Edit, and Understand: Rethinking User Study Design for Evaluating Model Explanations [97.91630330328815]
  我々はクラウドソーシング研究を行い、真偽のホテルレビューと偽のホテルレビューを区別するために訓練された詐欺検出モデルと対話する。 単語の線形バッグモデルでは、トレーニング中に特徴係数にアクセスした参加者は、非説明制御と比較して、テストフェーズにおいてモデルの信頼性が大幅に低下する可能性があることを観察する。
  論文  参考訳（メタデータ） (2021-12-17T18:29:56Z)
• Shared Interest: Large-Scale Visual Analysis of Model Behavior by Measuring Human-AI Alignment [15.993648423884466]
  健全性(Saliency)は、モデル出力における入力特徴の重要性を特定する技術である。 共有興味:人間の注釈付き真実と唾液度を比較するための指標のセットを提示する。 モデルの信頼性に対する信頼を急速に発展または失うために、Shared Interestがどのように使用できるかを示す。
  論文  参考訳（メタデータ） (2021-07-20T02:44:39Z)
• Model Learning with Personalized Interpretability Estimation (ML-PIE) [2.862606936691229]
  ハイステークアプリケーションは、AI生成モデルを解釈可能にする必要がある。 解釈可能なモデルの合成のための現在のアルゴリズムは、目的や正規化項に依存する。 本稿では,ユーザ向けにカスタマイズされたモデルの合成手法を提案する。
  論文  参考訳（メタデータ） (2021-04-13T09:47:48Z)
• Accurate and Robust Feature Importance Estimation under Distribution Shifts [49.58991359544005]
  PRoFILEは、新しい特徴重要度推定法である。 忠実さと頑健さの両面で、最先端のアプローチよりも大幅に改善されていることを示す。
  論文  参考訳（メタデータ） (2020-09-30T05:29:01Z)
• Adversarial Infidelity Learning for Model Interpretation [43.37354056251584]
  本稿では,モデル解釈のためのモデル非依存能率直接(MEED)FSフレームワークを提案する。 我々のフレームワークは、正当性、ショートカット、モデルの識別可能性、情報伝達に関する懸念を緩和する。 我々のAILメカニズムは、選択した特徴と目標の間の条件分布を学習するのに役立ちます。
  論文  参考訳（メタデータ） (2020-06-09T16:27:17Z)
• ViCE: Visual Counterfactual Explanations for Machine Learning Models [13.94542147252982]
  本稿では,対話型視覚分析ツールViCEを提案する。 結果が視覚インターフェースに効果的に表示され、そのデータとモデルを探索するための対話的手法が提供される。
  論文  参考訳（メタデータ） (2020-03-05T04:43:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。