論文の概要: Route, Interpret, Repeat: Blurring the line between post hoc
explainability and interpretable models
- arxiv url: http://arxiv.org/abs/2307.05350v1
- Date: Fri, 7 Jul 2023 01:10:18 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-12 14:27:31.786439
- Title: Route, Interpret, Repeat: Blurring the line between post hoc
explainability and interpretable models
- Title（参考訳）: route, interpret, repeat: post hoc descriptionability と interpretable models の境界線を曖昧にする
- Authors: Shantanu Ghosh, Ke Yu, Forough Arabshahi, Kayhan Batmanghelich
- Abstract要約: ブラックボックスモデルは柔軟だが説明が難しいが、解釈可能なモデルは説明可能であるように設計されている。
本稿では,ブラックボックスのポストホックな説明と解釈可能なモデルの構築の区別を曖昧にすることを目的としている。
- 参考スコア（独自算出の注目度）: 19.01849806863748
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The current approach to ML model design is either to choose a flexible
Blackbox model and explain it post hoc or to start with an interpretable model.
Blackbox models are flexible but difficult to explain, whereas interpretable
models are designed to be explainable. However, developing interpretable models
necessitates extensive ML knowledge, and the resulting models tend to be less
flexible, offering potentially subpar performance compared to their Blackbox
equivalents. This paper aims to blur the distinction between a post hoc
explanation of a BlackBox and constructing interpretable models. We propose
beginning with a flexible BlackBox model and gradually \emph{carving out} a
mixture of interpretable models and a \emph{residual network}. Our design
identifies a subset of samples and \emph{routes} them through the interpretable
models. The remaining samples are routed through a flexible residual network.
We adopt First Order Logic (FOL) as the interpretable model's backbone, which
provides basic reasoning on concepts retrieved from the BlackBox model. On the
residual network, we repeat the method until the proportion of data explained
by the residual network falls below a desired threshold. Our approach offers
several advantages. First, the mixture of interpretable and flexible residual
networks results in almost no compromise in performance. Second, the route,
interpret, and repeat approach yields a highly flexible interpretable model.
Our extensive experiment demonstrates the performance of the model on various
datasets. We show that by editing the FOL model, we can fix the shortcut
learned by the original BlackBox model. Finally, our method provides a
framework for a hybrid symbolic-connectionist network that is simple to train
and adaptable to many applications.
- Abstract（参考訳）: 現在のmlモデル設計のアプローチは、フレキシブルなブラックボックスモデルを選択して、hoc後に説明するか、解釈可能なモデルから始めるかのどちらかだ。
ブラックボックスモデルは柔軟だが説明が難しいが、解釈可能なモデルは説明可能なように設計されている。
しかし、解釈可能なモデルを開発するには広範なML知識が必要であり、結果として得られるモデルはより柔軟性が低くなり、ブラックボックスの同等モデルと比べて性能が劣る可能性がある。
本稿では,ブラックボックスのポストホックな説明と解釈可能なモデルの構築の区別を曖昧にすることを目的とする。
我々は、フレキシブルなBlackBoxモデルと、解釈可能なモデルとemph{residual network}を混合したemph{carving out}を提案する。
我々の設計では、サンプルのサブセットを特定し、解釈可能なモデルを通してそれらを\emph{routes} 化する。
残りのサンプルは柔軟な残留ネットワークを介してルーティングされる。
我々は一階述語論理(FOL)を解釈可能なモデルのバックボーンとして採用し、ブラックボックスモデルから得られる概念の基本的な推論を提供する。
残差ネットワークでは、残差ネットワークで説明されるデータの比率が所望のしきい値以下になるまで、この方法を繰り返す。
我々のアプローチにはいくつかの利点がある。
第一に、解釈可能な残差ネットワークとフレキシブルな残差ネットワークの混合は、ほとんど性能を損なわない。
第二に、経路、解釈、繰り返しアプローチは、非常に柔軟な解釈可能なモデルをもたらす。
本研究では,様々なデータセット上でのモデルの性能を示す。
FOLモデルを編集することで、元のBlackBoxモデルで学んだショートカットを修正できることが示される。
最後に,本手法は,多くのアプリケーションに対して簡単に訓練し,適応できるハイブリッドシンボリック・コネクショニストネットワークのためのフレームワークを提供する。
関連論文リスト
- DISCRET: Synthesizing Faithful Explanations For Treatment Effect Estimation [21.172795461188578]
我々は,各サンプルに対して忠実で規則に基づく説明を合成する自己解釈型ITTフレームワークdisCRETを提案する。
DISCRETの背景にある重要な洞察は、説明が2つのデータベースクエリとして機能し、類似したサンプルのサブグループを識別できるということである。
大規模な探索空間からこれらの説明を効率的に合成する新しいRLアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-06-02T04:01:08Z) - Sparse Concept Bottleneck Models: Gumbel Tricks in Contrastive Learning [86.15009879251386]
概念ボトルネックモデル(CBM)を用いた新しいアーキテクチャと説明可能な分類法を提案する。
CBMには、さらなる概念のセットが必要である。
CLIPをベースとしたボトルネックモデルにおいて,スパース隠れ層を用いた精度の大幅な向上を示す。
論文 参考訳（メタデータ） (2024-04-04T09:43:43Z) - FreeSeg-Diff: Training-Free Open-Vocabulary Segmentation with Diffusion Models [56.71672127740099]
我々は,閉鎖語彙データセットのトレーニングモデルによって伝統的に解決されるイメージセグメンテーションの課題に焦点をあてる。
我々は、ゼロショットのオープン語彙セグメンテーションのために、異なる、比較的小さなオープンソース基盤モデルを活用している。
当社のアプローチ(別名FreeSeg-Diff)は、トレーニングに依存しないもので、Pascal VOCとCOCOデータセットの両方で多くのトレーニングベースのアプローチより優れています。
論文 参考訳（メタデータ） (2024-03-29T10:38:25Z) - Learning to Explain: A Model-Agnostic Framework for Explaining Black Box
Models [9.945345991490624]
本稿では、視覚モデルに対するポストホックな説明を提供するためのモデルに依存しないフレームワークであるLearning to Explain(LTX)を紹介する。
LTXフレームワークは、説明マップを生成する"説明者"モデルを導入し、説明されているモデルの予測を正当化する重要な領域を強調している。
LTXは、様々な指標において、現在の最先端の説明可能性を大幅に上回っていることを実証する。
論文 参考訳（メタデータ） (2023-10-25T12:18:00Z) - Dynamic Clue Bottlenecks: Towards Interpretable-by-Design Visual Question Answering [58.64831511644917]
本稿では, モデル決定を中間的人間法的な説明に分解する設計モデルを提案する。
我々は、我々の本質的に解釈可能なシステムは、推論に焦点をあてた質問において、同等のブラックボックスシステムよりも4.64%改善できることを示した。
論文 参考訳（メタデータ） (2023-05-24T08:33:15Z) - An Interpretable Loan Credit Evaluation Method Based on Rule
Representation Learner [8.08640000394814]
我々は、Lending ClubデータセットのRRL(Rule Representation)に基づいて、本質的に解釈可能なモデルを設計する。
トレーニング中、私たちは以前の研究から、バイナリウェイトを効果的にトレーニングするためのトリックを学びました。
本モデルは,ポストホック法により生成された説明の正当性を検証するために用いられる。
論文 参考訳（メタデータ） (2023-04-03T05:55:04Z) - Interpretations Steered Network Pruning via Amortized Inferred Saliency
Maps [85.49020931411825]
限られたリソースを持つエッジデバイスにこれらのモデルをデプロイするには、畳み込みニューラルネットワーク(CNN)圧縮が不可欠である。
本稿では,新しい視点からチャネルプルーニング問題に対処するために,モデルの解釈を活用して,プルーニング過程を解析する手法を提案する。
本研究では,実時間スムーズなスムーズなスムーズなスムーズなマスク予測を行うセレクタモデルを導入することで,この問題に対処する。
論文 参考訳（メタデータ） (2022-09-07T01:12:11Z) - Can Explanations Be Useful for Calibrating Black Box Models? [31.473798197405948]
我々は,新しいドメインの例から,ブラックボックスモデルの性能を新しいドメインで改善する方法について検討する。
提案手法はまず,タスクに対する人間の直感とモデル属性を組み合わせた一連の特徴を抽出する。
キャリブレーション機能はタスク間である程度移動し、効果的に利用する方法について光を当てている。
論文 参考訳（メタデータ） (2021-10-14T17:48:16Z) - VisBERT: Hidden-State Visualizations for Transformers [66.86452388524886]
VisBERTは,複数の質問応答のタスクに対して,BERT内のコンテキストトークン表現を可視化するツールである。
VisBERTは、モデルの内部状態に関する洞察を得て、推論ステップや潜在的な欠点を探索することを可能にする。
論文 参考訳（メタデータ） (2020-11-09T15:37:43Z) - Model extraction from counterfactual explanations [68.8204255655161]
本稿では, 敵が反実的説明によって提供された情報を利用して, 高精度かつ高精度なモデル抽出攻撃を構築する方法を示す。
我々の攻撃は、敵が相手モデルの忠実なコピーを、その偽説明にアクセスして作成することを可能にする。
論文 参考訳（メタデータ） (2020-09-03T19:02:55Z) - Learning Global Transparent Models Consistent with Local Contrastive
Explanations [34.86847988157447]
ブラックボックスモデルについて,局所的な対照的な説明からカスタム機能を作成し,これらだけでグローバルに透過的なモデルをトレーニングする。
そこで本研究では,ブラックボックスモデルの局所的な対照的な説明からカスタムな特徴を創出し,その上にグローバルな透明なモデルをトレーニングする手法を提案する。
論文 参考訳（メタデータ） (2020-02-19T15:45:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。