論文の概要: Amortized SHAP values via sparse Fourier function approximation

• arxiv url: http://arxiv.org/abs/2410.06300v1
• Date: Tue, 8 Oct 2024 19:05:50 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-01 10:11:01.920057
• Title: Amortized SHAP values via sparse Fourier function approximation
• Title（参考訳）: スパースフーリエ関数近似による償却SHAP値
• Authors: Ali Gorji, Andisheh Amrollahi, Andreas Krause,
• Abstract要約: SHAP値は、解釈可能で説明可能なAIで広く使われている、一般的なローカルな特徴属性手法である。 SHAP値を推定するための2段階の手法を提案する。 我々のアルゴリズムの最初のステップは、多くの実世界の予測器がスペクトルバイアスを持つことを示す最近の結果を活用する。
• 参考スコア（独自算出の注目度）: 38.818224762845624
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: SHAP values are a popular local feature-attribution method widely used in interpretable and explainable AI. We tackle the problem of efficiently computing these values. We cover both the model-agnostic (black-box) setting, where one only has query access to the model and also the case of (ensembles of) trees where one has access to the structure of the tree. For both the black-box and the tree setting we propose a two-stage approach for estimating SHAP values. Our algorithm's first step harnesses recent results showing that many real-world predictors have a spectral bias that allows us to either exactly represent (in the case of ensembles of decision trees), or efficiently approximate them (in the case of neural networks) using a compact Fourier representation. In the second step of the algorithm, we use the Fourier representation to exactly compute SHAP values. The second step is computationally very cheap because firstly, the representation is compact and secondly, we prove that there exists a closed-form expression for SHAP values for the Fourier basis functions. Furthermore, the expression we derive effectively linearizes the computation into a simple summation and is amenable to parallelization on multiple cores or a GPU. Since the function approximation (first step) is only done once, it allows us to produce Shapley values in an amortized way. We show speedups compared to relevant baseline methods equal levels of accuracy for both the tree and black-box settings. Moreover, this approach introduces a reliable and fine-grained continuous trade-off between computation and accuracy through the sparsity of the Fourier approximation, a feature previously unavailable in all black-box methods.
• Abstract（参考訳）: SHAP値は、解釈可能で説明可能なAIで広く使われている、一般的なローカルな特徴属性手法である。 これらの値を効率的に計算する問題に取り組みます。 モデルに依存しない(ブラックボックス)設定と、モデルへのクエリアクセスしか持たない(アンサンブルの)ツリーの場合の両方をカバーします。 ブラックボックスとツリー設定の両方に対して、SHAP値を推定するための2段階のアプローチを提案する。 我々のアルゴリズムの最初のステップは、多くの実世界の予測器が、正確に(決定木のアンサンブルの場合)、あるいは、コンパクトなフーリエ表現を用いて(ニューラルネットワークの場合)それらを効率的に近似できるスペクトルバイアスを持つことを示す最近の結果を利用する。 アルゴリズムの第2ステップでは、フーリエ表現を用いてSHAP値を正確に計算する。 第一に表現はコンパクトであり、第二にフーリエ基底関数に対してSHAP値に対する閉形式表現が存在することを証明する。 さらに、この式は計算を単純な和に効果的に線形化し、複数のコアやGPU上で並列化することができる。 関数近似(最初のステップ)は1回しか行われないので、Shapleyの値を償却された方法で生成することができます。 木とブラックボックスの設定の精度に等しい基準線法と比較して,高速化を示す。 さらに,従来すべてのブラックボックス法では利用できなかったフーリエ近似(Fourier approximation)の空間性を通じて,計算と精度の間の信頼性と微妙な連続的なトレードオフを導入する。

関連論文リスト

• Iterative Methods for Full-Scale Gaussian Process Approximations for Large Spatial Data [9.913418444556486]
  本稿では, FSAを用いた確率, 勾配, 予測分布の計算コストの削減に, 反復法をどのように利用できるかを示す。 また,推定法や反復法に依存する予測分散を計算する新しい,正確かつ高速な手法を提案する。 すべてのメソッドは、ハイレベルなPythonとRパッケージを備えたフリーのC++ソフトウェアライブラリで実装されている。
  論文  参考訳（メタデータ） (2024-05-23T12:25:22Z)
• Self-concordant Smoothing for Large-Scale Convex Composite Optimization [0.0]
  2つの凸関数の和を最小化する自己協和スムージングの概念を導入し、そのうちの1つは滑らかであり、もう1つは非滑らかである。 本稿では, 近位ニュートンアルゴリズムであるProx-N-SCOREと近位一般化したガウスニュートンアルゴリズムであるProx-GGN-SCOREの2つのアルゴリズムの収束性を証明する。
  論文  参考訳（メタデータ） (2023-09-04T19:47:04Z)
• Learning Unnormalized Statistical Models via Compositional Optimization [73.30514599338407]
  実データと人工雑音のロジスティックな損失として目的を定式化することにより, ノイズコントラスト推定(NCE)を提案する。 本稿では,非正規化モデルの負の対数類似度を最適化するための直接的アプローチについて検討する。
  論文  参考訳（メタデータ） (2023-06-13T01:18:16Z)
• Provable benefits of score matching [30.317535687908755]
  スコアマッチング損失が計算効率良く最適化できるような分布の自然指数族の最初の例を示す。 確率損失を最適化するためのゼロ階または1階のオラクルの設計はNPハードであることを示す。 スコアマッチング損失の最小化は、計算的かつ統計的に効率的であり、周囲の次元は複雑である。
  論文  参考訳（メタデータ） (2023-06-03T03:42:30Z)
• IBIA: An Incremental Build-Infer-Approximate Framework for Approximate Inference of Partition Function [0.0]
  分割関数の厳密な計算は難解であることが知られている。 近似推論のための新しいインクリメンタルなビルドインファー近似フレームワークを提案する。 このフレームワークはパーティション関数の効率的な計算に利用できることを示す。
  論文  参考訳（メタデータ） (2023-04-13T09:40:23Z)
• Efficient Graph Field Integrators Meet Point Clouds [59.27295475120132]
  点雲を符号化するグラフ上での効率的な場積分のためのアルゴリズムを2種類提案する。 第1のクラスであるSeparatorFactorization(SF)は、ポイントメッシュグラフの有界属を利用するが、第2のクラスであるRFDiffusion(RFD)は、ポイントクラウドの一般的なepsilon-nearest-neighborグラフ表現を使用する。
  論文  参考訳（メタデータ） (2023-02-02T08:33:36Z)
• A Stochastic Bundle Method for Interpolating Networks [18.313879914379008]
  本稿では,実験的な損失をゼロにすることができるディープニューラルネットワークのトレーニング手法を提案する。 各イテレーションにおいて,本手法は目的学習近似のバンドルとして知られる最大線形近似を構成する。
  論文  参考訳（メタデータ） (2022-01-29T23:02:30Z)
• Efficient semidefinite-programming-based inference for binary and multi-class MRFs [83.09715052229782]
  分割関数やMAP推定をペアワイズMRFで効率的に計算する手法を提案する。 一般のバイナリMRFから完全多クラス設定への半定緩和を拡張し、解法を用いて再び効率的に解けるようなコンパクトな半定緩和を開発する。
  論文  参考訳（メタデータ） (2020-12-04T15:36:29Z)
• Single-Timescale Stochastic Nonconvex-Concave Optimization for Smooth Nonlinear TD Learning [145.54544979467872]
  本稿では,各ステップごとに1つのデータポイントしか必要としない2つの単一スケールシングルループアルゴリズムを提案する。 本研究の結果は, 同時一次および二重側収束の形で表される。
  論文  参考訳（メタデータ） (2020-08-23T20:36:49Z)
• Lagrangian Decomposition for Neural Network Verification [148.0448557991349]
  ニューラルネットワーク検証の基本的なコンポーネントは、出力が取ることのできる値のバウンダリの計算である。 ラグランジアン分解に基づく新しい手法を提案する。 ランニングタイムのごく一部で、既成の解法に匹敵するバウンダリが得られることを示す。
  論文  参考訳（メタデータ） (2020-02-24T17:55:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。