論文の概要: Route, Interpret, Repeat: Blurring the Line Between Post hoc
Explainability and Interpretable Models
- arxiv url: http://arxiv.org/abs/2302.10289v1
- Date: Mon, 20 Feb 2023 20:25:41 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-22 17:08:54.240812
- Title: Route, Interpret, Repeat: Blurring the Line Between Post hoc
Explainability and Interpretable Models
- Title（参考訳）: route, interpret, repeat: post hoc descriptionability と interpretable models の境界線を曖昧にする
- Authors: Shantanu Ghosh, Ke Yu, Forough Arabshahi, Kayhan Batmanghelich
- Abstract要約: ブラックボックスモデルは柔軟だが説明が難しいが、解釈可能なモデルは説明可能であるように設計されている。
本稿では,ブラックボックスのポストホックな説明と解釈可能なモデルの構築の区別を曖昧にすることを目的としている。
- 参考スコア（独自算出の注目度）: 19.01849806863748
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The current approach to ML model design is either to choose a flexible
Blackbox model and explain it post hoc or to start with an interpretable model.
Blackbox models are flexible but difficult to explain, whereas interpretable
models are designed to be explainable. However, developing interpretable models
necessitates extensive ML knowledge, and the resulting models tend to be less
flexible, offering potentially subpar performance compared to their Blackbox
equivalents. This paper aims to blur the distinction between a post hoc
explanation of a BlackBox and constructing interpretable models. We propose
beginning with a flexible BlackBox model and gradually \emph{carving out} a
mixture of interpretable models and a \emph{residual network}. Our design
identifies a subset of samples and \emph{routes} them through the interpretable
models. The remaining samples are routed through a flexible residual network.
We adopt First Order Logic (FOL) as the interpretable model's backbone, which
provides basic reasoning on concepts retrieved from the BlackBox model. On the
residual network, we repeat the method until the proportion of data explained
by the residual network falls below a desired threshold. Our approach offers
several advantages. First, the mixture of interpretable and flexible residual
networks results in almost no compromise in performance. Second, the route,
interpret, and repeat approach yields a highly flexible interpretable model.
Our extensive experiment demonstrates the performance of the model on various
datasets. We show that by editing the FOL model, we can fix the shortcut
learned by the original BlackBox model. Finally, our method provides a
framework for a hybrid symbolic-connectionist network that is simple to train
and adaptable to many applications.
- Abstract（参考訳）: 現在のmlモデル設計のアプローチは、フレキシブルなブラックボックスモデルを選択して、hoc後に説明するか、解釈可能なモデルから始めるかのどちらかだ。
ブラックボックスモデルは柔軟だが説明が難しいが、解釈可能なモデルは説明可能なように設計されている。
しかし、解釈可能なモデルを開発するには広範なML知識が必要であり、結果として得られるモデルはより柔軟性が低くなり、ブラックボックスの同等モデルと比べて性能が劣る可能性がある。
本稿では,ブラックボックスのポストホックな説明と解釈可能なモデルの構築の区別を曖昧にすることを目的とする。
我々は、フレキシブルなBlackBoxモデルと、解釈可能なモデルとemph{residual network}を混合したemph{carving out}を提案する。
我々の設計では、サンプルのサブセットを特定し、解釈可能なモデルを通してそれらを\emph{routes} 化する。
残りのサンプルは柔軟な残留ネットワークを介してルーティングされる。
我々は一階述語論理(FOL)を解釈可能なモデルのバックボーンとして採用し、ブラックボックスモデルから得られる概念の基本的な推論を提供する。
残差ネットワークでは、残差ネットワークで説明されるデータの比率が所望のしきい値以下になるまで、この方法を繰り返す。
我々のアプローチにはいくつかの利点がある。
第一に、解釈可能な残差ネットワークとフレキシブルな残差ネットワークの混合は、ほとんど性能を損なわない。
第二に、経路、解釈、繰り返しアプローチは、非常に柔軟な解釈可能なモデルをもたらす。
本研究では,様々なデータセット上でのモデルの性能を示す。
FOLモデルを編集することで、元のBlackBoxモデルで学んだショートカットを修正できることが示される。
最後に,本手法は,多くのアプリケーションに対して簡単に訓練し,適応できるハイブリッドシンボリック・コネクショニストネットワークのためのフレームワークを提供する。
関連論文リスト
- On the Shortcut Learning in Multilingual Neural Machine Translation [95.30470845501141]
本研究は、多言語ニューラルマシン翻訳(MNMT)において、一般的に語られるオフターゲット問題を再考する。
ターゲット外の問題は、(非中心的、中心的でない)言語マッピングのショートカットが過度に適合していることに起因しています。
学習力学の解析によると、ショートカット学習はモデルトレーニングの後期に一般的に発生する。
論文 参考訳（メタデータ） (2024-11-15T21:09:36Z) - SPADE: Sparsity-Guided Debugging for Deep Neural Networks [46.33767395637177]
サンプル固有の前処理ステップとして,スパーシリティを解釈プロセス自体に組み込むことができることを示す。
SPADEと呼ばれるこのアプローチは、トレーニングされたモデルに制約を課さず、サンプルの推論中にその振る舞いに影響を与えない。
本研究では,SPADEが複数の解釈可能性手法間で画像塩分マップの精度を著しく向上させることを示した。
論文 参考訳（メタデータ） (2023-10-06T18:28:33Z) - Dividing and Conquering a BlackBox to a Mixture of Interpretable Models:
Route, Interpret, Repeat [19.01849806863748]
ブラックボックスモデルは柔軟だが説明が難しいが、解釈可能なモデルは本質的に説明可能である。
本稿では,ブラックボックスのポストホックな説明と解釈可能なモデルの構築の区別を曖昧にすることを目的としている。
論文 参考訳（メタデータ） (2023-07-07T01:10:18Z) - How to Construct Perfect and Worse-than-Coin-Flip Spoofing
Countermeasures: A Word of Warning on Shortcut Learning [20.486639064376014]
ショートカット学習(英: Shortcut learning、またはClever Hans effect)とは、学習エージェントがデータに存在する急激な相関を学習し、バイアスのあるモデルをもたらす状況を指す。
本研究では, 深層学習に基づくスプーフィング対策(CM)において, ある発話がスプーフィングされているか否かを予測するショートカットの発見に焦点をあてる。
論文 参考訳（メタデータ） (2023-05-31T15:58:37Z) - Backdoor Defense via Suppressing Model Shortcuts [91.30995749139012]
本稿では,モデル構造の角度からバックドア機構を探索する。
攻撃成功率 (ASR) は, キースキップ接続の出力を減少させると著しく低下することを示した。
論文 参考訳（メタデータ） (2022-11-02T15:39:19Z) - Interpretations Steered Network Pruning via Amortized Inferred Saliency
Maps [85.49020931411825]
限られたリソースを持つエッジデバイスにこれらのモデルをデプロイするには、畳み込みニューラルネットワーク(CNN)圧縮が不可欠である。
本稿では,新しい視点からチャネルプルーニング問題に対処するために,モデルの解釈を活用して,プルーニング過程を解析する手法を提案する。
本研究では,実時間スムーズなスムーズなスムーズなスムーズなマスク予測を行うセレクタモデルを導入することで,この問題に対処する。
論文 参考訳（メタデータ） (2022-09-07T01:12:11Z) - Learning To Cut By Looking Ahead: Cutting Plane Selection via Imitation
Learning [80.45697245527019]
我々は、最良限の改善をもたらすカットを明示的に目指している欲求選択規則が、カット選択に対して強い決定を下すことを示す。
本研究では,頭頂部の専門家を対象とした模擬学習のための新しいニューラルアーキテクチャ(NeuralCut)を提案する。
論文 参考訳（メタデータ） (2022-06-27T16:07:27Z) - Evaluating Inexact Unlearning Requires Revisiting Forgetting [14.199668091405064]
IC(Interclass Confusion)と呼ばれる,忘れ度を計測する新しいテストを導入する。
ブラックボックステストであるにもかかわらず、ICは削除セットからの情報がネットワークの初期層まで消去されたかどうかを調べることができる。
ネットワークの最終k層を破滅的に偽造する2つの単純なアンラーニング手法が、従来のアンラーニング方法と異なり、大きな削除セットにうまくスケールできることを実証的に示す。
論文 参考訳（メタデータ） (2022-01-17T21:49:21Z) - Towards Interpreting and Mitigating Shortcut Learning Behavior of NLU
models [53.36605766266518]
訓練されたNLUモデルは、長尾分布の先頭に位置する特徴を強く好んでいることを示す。
本研究では,ショートカット度の高いサンプルに対する過信予測を抑えるためのショートカット緩和フレームワークを提案する。
論文 参考訳（メタデータ） (2021-03-11T19:39:56Z) - An Information Bottleneck Approach for Controlling Conciseness in
Rationale Extraction [84.49035467829819]
我々は,情報ボトルネック(IB)の目的を最適化することで,このトレードオフをよりよく管理できることを示す。
我々の完全教師なしのアプローチは、文上のスパース二項マスクを予測する説明器と、抽出された合理性のみを考慮したエンドタスク予測器を共同で学習する。
論文 参考訳（メタデータ） (2020-05-01T23:26:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。