論文の概要: Model Interpretability through the Lens of Computational Complexity
- arxiv url: http://arxiv.org/abs/2010.12265v2
- Date: Thu, 12 Nov 2020 21:57:06 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-03 22:07:38.565301
- Title: Model Interpretability through the Lens of Computational Complexity
- Title（参考訳）: 計算複雑性のレンズによるモデル解釈可能性
- Authors: Pablo Barcel\'o, Mika\"el Monet, Jorge P\'erez, Bernardo Subercaseaux
- Abstract要約: 民間の解釈可能性主張が計算複雑性理論に相関しているかどうかを考察する。
線形モデルとツリーモデルの両方がニューラルネットワークよりも厳密に解釈可能であることを示す。
- 参考スコア（独自算出の注目度）: 1.6631602844999724
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In spite of several claims stating that some models are more interpretable
than others -- e.g., "linear models are more interpretable than deep neural
networks" -- we still lack a principled notion of interpretability to formally
compare among different classes of models. We make a step towards such a notion
by studying whether folklore interpretability claims have a correlate in terms
of computational complexity theory. We focus on local post-hoc explainability
queries that, intuitively, attempt to answer why individual inputs are
classified in a certain way by a given model. In a nutshell, we say that a
class $\mathcal{C}_1$ of models is more interpretable than another class
$\mathcal{C}_2$, if the computational complexity of answering post-hoc queries
for models in $\mathcal{C}_2$ is higher than for those in $\mathcal{C}_1$. We
prove that this notion provides a good theoretical counterpart to current
beliefs on the interpretability of models; in particular, we show that under
our definition and assuming standard complexity-theoretical assumptions (such
as P$\neq$NP), both linear and tree-based models are strictly more
interpretable than neural networks. Our complexity analysis, however, does not
provide a clear-cut difference between linear and tree-based models, as we
obtain different results depending on the particular post-hoc explanations
considered. Finally, by applying a finer complexity analysis based on
parameterized complexity, we are able to prove a theoretical result suggesting
that shallow neural networks are more interpretable than deeper ones.
- Abstract（参考訳）: いくつかのモデルが他のモデルよりも解釈可能であるという主張(例えば、"線形モデルはディープニューラルネットワークよりも解釈可能である")にもかかわらず、我々は、異なるモデルのクラス間で形式的に比較するための解釈可能性の原則的な概念を欠いている。
我々は, 民俗学的解釈可能性クレームが計算複雑性理論の観点で相関関係を持つかどうかを検討することにより, このような概念への一歩を踏み出した。
個々の入力が特定の方法で特定の方法で分類されている理由を直感的に答えようとする,ローカルなポストホックな説明可能性クエリに注目した。
一言で言えば、モデルの$\mathcal{c}_1$のクラスは、$\mathcal{c}_2$のモデルに対するポストホックなクエリに答える計算の複雑さが$\mathcal{c}_2$のクラスよりも高い場合、別のクラス$\mathcal{c}_2$よりも解釈可能であると言う。
我々は、この概念がモデルの解釈可能性に関する現在の信念と良い理論的に一致することを証明し、特に、我々の定義の下では、線形モデルとツリーベースモデルの両方がニューラルネットワークよりも厳密に解釈可能であることを示す。
しかし, 複雑度解析では, 特定のポストホックな説明によって異なる結果が得られるため, 線形モデルとツリーモデルの違いは明らかではない。
最後に、パラメータ化複雑性に基づくより微細な複雑性解析を適用することで、浅いニューラルネットワークが深いものよりも解釈可能であることを示す理論的結果が証明できる。
関連論文リスト
- Hard to Explain: On the Computational Hardness of In-Distribution Model Interpretation [0.9558392439655016]
機械学習(ML)モデルを解釈する能力はますます不可欠になりつつある。
近年の研究では、様々なモデルの意思決定を説明する計算複雑性を研究することにより、解釈可能性について正式に評価することが可能であることが示されている。
論文 参考訳（メタデータ） (2024-08-07T17:20:52Z) - Are Linear Regression Models White Box and Interpretable? [0.0]
説明可能な人工知能(XAI)は、モデルを理解し解釈するために機械学習モデルに適用または組み込んだ一連のツールとアルゴリズムである。
線形回帰を含む単純なモデルは実装が容易であり、計算の複雑さが小さく、出力を視覚化するのも容易である。
論文 参考訳（メタデータ） (2024-07-16T21:05:51Z) - Towards Compositional Interpretability for XAI [3.3768167170511587]
本稿では,カテゴリ理論に基づくAIモデルとその解釈可能性の定義手法を提案する。
我々は、幅広いAIモデルを構成モデルと比較する。
標準の'本質的に解釈可能な'モデルを作るものは、最も明確に図式化されます。
論文 参考訳（メタデータ） (2024-06-25T14:27:03Z) - A Theory of Interpretable Approximations [61.90216959710842]
我々は、ある基底クラス $mathcalH$ の概念の小さな集合によってターゲット概念 $c$ を近似するという考え方を研究する。
任意の$mathcalH$と$c$のペアに対して、これらのケースのちょうど1つが成り立つ: (i) $c$を任意の精度で$mathcalH$で近似することはできない。
解釈可能な近似の場合、近似の複雑さに関するわずかに非自明なa-priori保証でさえ、定数(分布自由かつ精度)の近似を意味することを示す。
論文 参考訳（メタデータ） (2024-06-15T06:43:45Z) - Even-if Explanations: Formal Foundations, Priorities and Complexity [18.126159829450028]
線形モデルとツリーモデルの両方がニューラルネットワークよりも厳密に解釈可能であることを示す。
ユーザが好みに基づいて説明をパーソナライズすることのできる、嗜好に基づくフレームワークを提案する。
論文 参考訳（メタデータ） (2024-01-17T11:38:58Z) - Algebraic Models for Qualified Aggregation in General Rough Sets, and
Reasoning Bias Discovery [0.0]
この研究は、懐疑的、悲観的、楽観的、あるいは懐疑的な人間の推論の集約をモデル化したいという欲求に動機づけられている。
このモデルは、人間の推論における差別的・有害な行動の研究や、そのような行動を学ぶ機械学習アルゴリズムに適している。
論文 参考訳（メタデータ） (2023-08-30T17:07:54Z) - Discovering Invariant Rationales for Graph Neural Networks [104.61908788639052]
グラフニューラルネットワーク(GNN)の固有の解釈可能性とは、入力グラフの特徴の小さなサブセットを見つけることである。
本稿では,本質的に解釈可能なGNNを構築するために,不変理性(DIR)を発見するための新しい戦略を提案する。
論文 参考訳（メタデータ） (2022-01-30T16:43:40Z) - Low-Rank Constraints for Fast Inference in Structured Models [110.38427965904266]
この研究は、大規模構造化モデルの計算とメモリの複雑さを低減するための単純なアプローチを示す。
言語モデリング,ポリフォニック・ミュージック・モデリング,教師なし文法帰納法,ビデオ・モデリングのためのニューラルパラメータ構造モデルを用いた実験により,我々の手法は大規模状態空間における標準モデルの精度と一致することを示した。
論文 参考訳（メタデータ） (2022-01-08T00:47:50Z) - Rationales for Sequential Predictions [117.93025782838123]
シーケンスモデルは現代のNLPシステムにおいて重要な要素であるが、それらの予測は説明が難しい。
モデル説明は有理だが、個々のモデル予測を説明できる文脈のサブセットを考える。
この目的を近似する効率的なグリードアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-09-14T01:25:15Z) - The Separation Capacity of Random Neural Networks [78.25060223808936]
標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。
我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
論文 参考訳（メタデータ） (2021-07-31T10:25:26Z) - Model-agnostic multi-objective approach for the evolutionary discovery
of mathematical models [55.41644538483948]
現代のデータ科学では、どの部分がより良い結果を得るために置き換えられるかというモデルの性質を理解することがより興味深い。
合成データ駆動型モデル学習において,多目的進化最適化を用いてアルゴリズムの所望特性を求める。
論文 参考訳（メタデータ） (2021-07-07T11:17:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。