論文の概要: Local vs. Global Interpretability: A Computational Complexity Perspective
- arxiv url: http://arxiv.org/abs/2406.02981v1
- Date: Wed, 5 Jun 2024 06:23:49 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-06 19:39:21.424344
- Title: Local vs. Global Interpretability: A Computational Complexity Perspective
- Title（参考訳）: 局所対グローバル解釈可能性:計算複雑性の観点から
- Authors: Shahaf Bassan, Guy Amir, Guy Katz,
- Abstract要約: 計算複雑性理論を用いて、MLモデルの局所的および大域的視点を評価する。
これらのモデルの局所的およびグローバル的解釈可能性に関する知見を提供する。
我々は,計算複雑性レンズによる説明可能性の検証が,MLモデル固有の解釈可能性をより厳密に把握する上で有効であることを示す。
- 参考スコア（独自算出の注目度）: 0.9558392439655016
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The local and global interpretability of various ML models has been studied extensively in recent years. However, despite significant progress in the field, many known results remain informal or lack sufficient mathematical rigor. We propose a framework for bridging this gap, by using computational complexity theory to assess local and global perspectives of interpreting ML models. We begin by proposing proofs for two novel insights that are essential for our analysis: (1) a duality between local and global forms of explanations; and (2) the inherent uniqueness of certain global explanation forms. We then use these insights to evaluate the complexity of computing explanations, across three model types representing the extremes of the interpretability spectrum: (1) linear models; (2) decision trees; and (3) neural networks. Our findings offer insights into both the local and global interpretability of these models. For instance, under standard complexity assumptions such as P != NP, we prove that selecting global sufficient subsets in linear models is computationally harder than selecting local subsets. Interestingly, with neural networks and decision trees, the opposite is true: it is harder to carry out this task locally than globally. We believe that our findings demonstrate how examining explainability through a computational complexity lens can help us develop a more rigorous grasp of the inherent interpretability of ML models.
- Abstract（参考訳）: 近年,様々なMLモデルの局所的およびグローバル的解釈可能性の研究が盛んに行われている。
しかし、この分野でかなりの進歩があったにもかかわらず、多くの既知の結果は非公式のままであり、あるいは十分な数学的厳密さが欠如している。
本稿では,計算複雑性理論を用いて,MLモデルの局所的および大域的視点を評価することにより,このギャップを埋める枠組みを提案する。
まず,1)局所的な説明形式とグローバルな説明形式との二重性,(2)ある種のグローバルな説明形式の本質的な特異性という,分析に不可欠な2つの新しい洞察の証明を提案する。
次に、線形モデル、(2)決定木、(3)ニューラルネットワークの3つのモデルタイプにまたがって、計算説明の複雑さを評価する。
これらのモデルの局所的およびグローバル的解釈可能性に関する知見を提供する。
例えば、P のような標準的な複雑性仮定の下では!
NP = 線形モデルにおける大域的十分部分集合の選択は局所部分集合の選択よりも計算的に困難であることを示す。
興味深いことに、ニューラルネットワークと決定木では、その逆が当てはまります。
我々は,計算複雑性レンズによる説明可能性の検証が,MLモデル固有の解釈可能性をより厳密に把握する上で有効であることを示す。
関連論文リスト
- GLEAMS: Bridging the Gap Between Local and Global Explanations [6.329021279685856]
本稿では,入力空間を分割し,各サブリージョン内で解釈可能なモデルを学習する新しい手法であるGLEAMSを提案する。
我々は、GLEAMSが合成データと実世界のデータの両方で有効であることを示し、その望ましい特性と人間の理解可能な洞察を強調した。
論文 参考訳（メタデータ） (2024-08-09T13:30:37Z) - Hard to Explain: On the Computational Hardness of In-Distribution Model Interpretation [0.9558392439655016]
機械学習(ML)モデルを解釈する能力はますます不可欠になりつつある。
近年の研究では、様々なモデルの意思決定を説明する計算複雑性を研究することにより、解釈可能性について正式に評価することが可能であることが示されている。
論文 参考訳（メタデータ） (2024-08-07T17:20:52Z) - Explaining Decisions in ML Models: a Parameterized Complexity Analysis [26.444020729887782]
本稿では,機械学習(ML)モデルにおける説明問題のパラメータ化複雑性に関する理論的検討を行う。
一般的なブラックボックスの知覚とは対照的に、我々は透明な内部機構を持つモデルに焦点を当てている。
論文 参考訳（メタデータ） (2024-07-22T16:37:48Z) - SpaRC and SpaRP: Spatial Reasoning Characterization and Path Generation for Understanding Spatial Reasoning Capability of Large Language Models [70.01883340129204]
空間推論は 生物学的と人工知能の両方において 重要な要素です
本稿では,現在最先端の大規模言語モデル (LLM) の空間的推論能力について包括的に検討する。
論文 参考訳（メタデータ） (2024-06-07T01:06:34Z) - Explaining Text Similarity in Transformer Models [52.571158418102584]
説明可能なAIの最近の進歩により、トランスフォーマーの説明の改善を活用することで、制限を緩和できるようになった。
両線形類似性モデルにおける2次説明の計算のために開発された拡張であるBiLRPを用いて、NLPモデルにおいてどの特徴相互作用が類似性を促進するかを調べる。
我々の発見は、異なる意味的類似性タスクやモデルに対するより深い理解に寄与し、新しい説明可能なAIメソッドが、どのようにして深い分析とコーパスレベルの洞察を可能にするかを強調した。
論文 参考訳（メタデータ） (2024-05-10T17:11:31Z) - Interpretability at Scale: Identifying Causal Mechanisms in Alpaca [62.65877150123775]
本研究では、Boundless DASを用いて、命令に従う間、大規模言語モデルにおける解釈可能な因果構造を効率的に探索する。
私たちの発見は、成長し、最も広くデプロイされている言語モデルの内部構造を忠実に理解するための第一歩です。
論文 参考訳（メタデータ） (2023-05-15T17:15:40Z) - Structure Learning and Parameter Estimation for Graphical Models via
Penalized Maximum Likelihood Methods [0.0]
論文では、静的なベイジアンネットワーク(BN)と、その名前が示すように時間成分を持つ連続時間ベイジアンネットワークという2つの異なるタイプのPGMについて考察する。
私たちは、PGMを学ぶための最初のステップである、真の構造を回復することに興味を持っています。
論文 参考訳（メタデータ） (2023-01-30T20:26:13Z) - Interpretability in the Wild: a Circuit for Indirect Object
Identification in GPT-2 small [68.879023473838]
間接オブジェクト識別 (IOI) と呼ばれる自然言語タスクにおいて, GPT-2 の小型化が果たす役割について解説する。
我々の知る限り、この調査は言語モデルにおいて「野生」の自然な振る舞いをリバースエンジニアリングする最大のエンドツーエンドの試みである。
論文 参考訳（メタデータ） (2022-11-01T17:08:44Z) - Optimistic MLE -- A Generic Model-based Algorithm for Partially
Observable Sequential Decision Making [48.87943416098096]
本稿では,一般的な逐次決定のための簡単な学習アルゴリズムを提案する。
我々は,OMLEが極めて豊富な逐次的意思決定問題のクラスにおいて,ほぼ最適ポリシーを学習していることを証明する。
論文 参考訳（メタデータ） (2022-09-29T17:56:25Z) - Partial Order in Chaos: Consensus on Feature Attributions in the
Rashomon Set [50.67431815647126]
ポストホックなグローバル/ローカルな特徴属性法は、機械学習モデルを理解するために徐々に採用されている。
この手法により局所的・言語的特徴の半順序が生じることを示す。
これらの部分的な順序に現れる特徴間の関係は、既存のアプローチによって提供されたランクにも当てはまることを示す。
論文 参考訳（メタデータ） (2021-10-26T02:53:14Z) - Unsupervised Learning of Global Factors in Deep Generative Models [6.362733059568703]
非i.i.dに基づく新しい深層生成モデルを提案する。
変分オートエンコーダ。
モデルがドメインアライメントを行い、相関関係を見つけ、異なるデータベース間で補間することを示す。
また、非自明な基礎構造を持つ観測群を区別するグローバル空間の能力についても研究する。
論文 参考訳（メタデータ） (2020-12-15T11:55:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。