論文の概要: Auditing and Debugging Deep Learning Models via Decision Boundaries: Individual-level and Group-level Analysis

• arxiv url: http://arxiv.org/abs/2001.00682v1
• Date: Fri, 3 Jan 2020 01:45:36 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-14 17:18:07.762389
• Title: Auditing and Debugging Deep Learning Models via Decision Boundaries: Individual-level and Group-level Analysis
• Title（参考訳）: 決定境界による深層学習モデルの監査とデバッグ:個人レベルおよびグループレベル分析
• Authors: Roozbeh Yousefzadeh and Dianne P. O'Leary
• Abstract要約: 深層学習モデルの説明、監査、デバッグにはフリップポイントを使用します。 フリップポイントは、2つの出力クラスの境界にある任意の点である。 機械学習のソーシャルな応用に使用される標準データセットに基づいて訓練されたモデルをいくつか調べて,本手法を実証する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep learning models have been criticized for their lack of easy interpretation, which undermines confidence in their use for important applications. Nevertheless, they are consistently utilized in many applications, consequential to humans' lives, mostly because of their better performance. Therefore, there is a great need for computational methods that can explain, audit, and debug such models. Here, we use flip points to accomplish these goals for deep learning models with continuous output scores (e.g., computed by softmax), used in social applications. A flip point is any point that lies on the boundary between two output classes: e.g. for a model with a binary yes/no output, a flip point is any input that generates equal scores for "yes" and "no". The flip point closest to a given input is of particular importance because it reveals the least changes in the input that would change a model's classification, and we show that it is the solution to a well-posed optimization problem. Flip points also enable us to systematically study the decision boundaries of a deep learning classifier. The resulting insight into the decision boundaries of a deep model can clearly explain the model's output on the individual-level, via an explanation report that is understandable by non-experts. We also develop a procedure to understand and audit model behavior towards groups of people. Flip points can also be used to alter the decision boundaries in order to improve undesirable behaviors. We demonstrate our methods by investigating several models trained on standard datasets used in social applications of machine learning. We also identify the features that are most responsible for particular classifications and misclassifications.
• Abstract（参考訳）: 深層学習モデルは、容易な解釈の欠如によって批判され、重要な応用への信頼性を損なう。 それにもかかわらず、それらは人間の生活に準じて、多くのアプリケーションで一貫して使われている。 したがって、そのようなモデルを説明、監査、デバッグできる計算メソッドは、非常に必要です。 ここでは、ソーシャルアプリケーションで使用される連続的な出力スコア(ソフトマックスで計算するなど)を持つディープラーニングモデルにおいて、これらの目標を達成するためにフリップポイントを用いる。 フリップポイントは、2つの出力クラスの境界上にある任意の点である: 例えば、バイナリyes/no出力を持つモデルの場合、フリップポイントは「yes」と「no」の等しいスコアを生成する入力である。 与えられた入力に最も近いフリップポイントは、モデルの分類を変えるであろう入力の変化が最小であることを明らかにするため、特に重要である。 フリップポイントは、ディープラーニング分類器の判断境界を体系的に研究することもできます。 その結果、深層モデルの決定境界に関する洞察は、非専門家が理解できる説明報告を通じて、個々のレベルでモデルの出力を明確に説明することができる。 また,グループに対するモデル行動を理解し,監査する手順も開発した。 フリップポイントは、望ましくない振る舞いを改善するために決定境界を変更するためにも使用できる。 本手法は,機械学習の社会応用で使用される標準データセットに基づくモデルをいくつか検討することで実証する。 また、特定の分類と誤分類に最も責任がある特徴を特定します。

関連論文リスト

• Policy Trees for Prediction: Interpretable and Adaptive Model Selection for Machine Learning [5.877778007271621]
  予測モデルやアンサンブルを適応的に選択するための解釈可能なポリシーを導出するツリーベースアプローチであるOP2T(Optimal Predictive-Policy Trees)を導入する。 提案手法は,モデル出力へのアクセスを前提としてのみ,解釈可能かつ適応的なモデル選択と拒否を可能にする。 構造化データと非構造化データの両方を用いた回帰および分類タスクを含む実世界のデータセットに対する我々のアプローチを評価する。
  論文  参考訳（メタデータ） (2024-05-30T21:21:33Z)
• Interpretability at Scale: Identifying Causal Mechanisms in Alpaca [62.65877150123775]
  本研究では、Boundless DASを用いて、命令に従う間、大規模言語モデルにおける解釈可能な因果構造を効率的に探索する。 私たちの発見は、成長し、最も広くデプロイされている言語モデルの内部構造を忠実に理解するための第一歩です。
  論文  参考訳（メタデータ） (2023-05-15T17:15:40Z)
• Deep Explainable Learning with Graph Based Data Assessing and Rule Reasoning [4.369058206183195]
  本稿では、ノイズハンドリングにおけるディープモデルの利点とエキスパートルールに基づく解釈可能性を組み合わせたエンドツーエンドのディープ・ツー・エンドのディープ・説明可能な学習手法を提案する。 提案手法は, 工業生産システムにおいて, 予測精度に匹敵し, より高い一般化安定性, より優れた解釈可能性を示す。
  論文  参考訳（メタデータ） (2022-11-09T05:58:56Z)
• AES Systems Are Both Overstable And Oversensitive: Explaining Why And Proposing Defenses [66.49753193098356]
  スコアリングモデルの驚くべき逆方向の脆さの原因について検討する。 のモデルとして訓練されているにもかかわらず、単語の袋のように振る舞うことを示唆している。 高い精度で試料を発生させる過敏性と過敏性を検出できる検出ベース保護モデルを提案する。
  論文  参考訳（メタデータ） (2021-09-24T03:49:38Z)
• An exact counterfactual-example-based approach to tree-ensemble models interpretability [0.0]
  高性能モデルは、決定を完全に理解するために必要な透明性を示さない。 多次元間隔の集まりの形で、決定領域の正確な幾何学的特徴付けを導出できる。 回帰問題に対する推論への適応も考えられている。
  論文  参考訳（メタデータ） (2021-05-31T09:32:46Z)
• Distilling Interpretable Models into Human-Readable Code [71.11328360614479]
  人間可読性は機械学習モデル解釈可能性にとって重要で望ましい標準である。 従来の方法を用いて解釈可能なモデルを訓練し,それを簡潔で可読なコードに抽出する。 本稿では,幅広いユースケースで効率的に,確実に高品質な結果を生成する分別線形曲線フィッティングアルゴリズムについて述べる。
  論文  参考訳（メタデータ） (2021-01-21T01:46:36Z)
• Deducing neighborhoods of classes from a fitted model [68.8204255655161]
  本稿では,新しいタイプの解釈可能な機械学習手法を提案する。 量子シフトを用いた分類モデルでは、特徴空間の予測クラスへの分割を理解するのに役立ちます。 基本的に、実際のデータポイント(または特定の関心点)を使用し、特定の特徴をわずかに引き上げたり減少させたりした後の予測の変化を観察する。
  論文  参考訳（メタデータ） (2020-09-11T16:35:53Z)
• How do Decisions Emerge across Layers in Neural Models? Interpretation with Differentiable Masking [70.92463223410225]
  DiffMaskは、差分性を維持しながら入力のサブセットをマスクアウトすることを学ぶ。 入力トークンを包含または無視する決定は、中間隠蔽層に基づく単純なモデルで行われる。 これにより、属性のヒートマップをプロットするだけでなく、ネットワーク層間で意思決定がどのように形成されるかを分析することができます。
  論文  参考訳（メタデータ） (2020-04-30T17:36:14Z)
• Plausible Counterfactuals: Auditing Deep Learning Classifiers with Realistic Adversarial Examples [84.8370546614042]
  ディープラーニングモデルのブラックボックスの性質は、彼らがデータから何を学ぶかについて、未回答の疑問を提起している。 GAN(Generative Adversarial Network)とマルチオブジェクトは、監査されたモデルに妥当な攻撃を与えるために使用される。 その実用性は人間の顔の分類タスクの中で示され、提案されたフレームワークの潜在的可能性を明らかにしている。
  論文  参考訳（メタデータ） (2020-03-25T11:08:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。