論文の概要: Efficient and Accurate Explanation Estimation with Distribution Compression
- arxiv url: http://arxiv.org/abs/2406.18334v1
- Date: Wed, 26 Jun 2024 13:21:24 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-27 13:29:21.655058
- Title: Efficient and Accurate Explanation Estimation with Distribution Compression
- Title（参考訳）: 分布圧縮による効率的かつ正確な説明推定
- Authors: Hubert Baniecki, Giuseppe Casalicchio, Bernd Bischl, Przemyslaw Biecek,
- Abstract要約: 我々は,より効率的かつ正確な説明推定のための新しいパラダイムであるCompress Then Explain (CTE)を紹介した。
CTEはカーネルスライニングによる分散圧縮を用いて、限界分布を最もよく近似するデータサンプルを得る。
2-3倍のサンプル、すなわち2-3倍のモデル評価を必要とするサンプルを用いて、オンパー説明近似誤差をしばしば達成する。
- 参考スコア（独自算出の注目度）: 17.299418894910627
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Exact computation of various machine learning explanations requires numerous model evaluations and in extreme cases becomes impractical. The computational cost of approximation increases with an ever-increasing size of data and model parameters. Many heuristics have been proposed to approximate post-hoc explanations efficiently. This paper shows that the standard i.i.d. sampling used in a broad spectrum of algorithms for explanation estimation leads to an approximation error worthy of improvement. To this end, we introduce Compress Then Explain (CTE), a new paradigm for more efficient and accurate explanation estimation. CTE uses distribution compression through kernel thinning to obtain a data sample that best approximates the marginal distribution. We show that CTE improves the estimation of removal-based local and global explanations with negligible computational overhead. It often achieves an on-par explanation approximation error using 2-3x less samples, i.e. requiring 2-3x less model evaluations. CTE is a simple, yet powerful, plug-in for any explanation method that now relies on i.i.d. sampling.
- Abstract（参考訳）: 様々な機械学習説明の厳密な計算には、多くのモデル評価が必要であり、極端な場合、非現実的になる。
近似の計算コストは、データとモデルパラメータのサイズが絶え間なく大きくなるにつれて増加する。
ホック後の説明を効率的に近似する多くのヒューリスティックが提案されている。
本稿では, 広い範囲のアルゴリズムにおいて, 説明推定に使用される標準i.d.サンプリングが, 改良に値する近似誤差をもたらすことを示す。
この目的のために,より効率的かつ正確な説明推定のための新しいパラダイムであるCompress Then Explain (CTE)を紹介した。
CTEはカーネルスライニングによる分散圧縮を用いて、限界分布を最もよく近似するデータサンプルを得る。
本稿では,CTEによる局所的および大域的説明の削除に基づく推定を,計算オーバーヘッドを無視して改善することを示す。
2-3倍のサンプル、すなわち2-3倍のモデル評価を必要とするサンプルを用いて、オンパー説明近似誤差をしばしば達成する。
CTEはシンプルだが強力で、今やi.d.サンプリングに依存しているあらゆる説明法のためのプラグインである。
関連論文リスト
- Unveiling the Statistical Foundations of Chain-of-Thought Prompting Methods [59.779795063072655]
CoT(Chain-of-Thought)の促進とその変種は、多段階推論問題を解決する効果的な方法として人気を集めている。
統計的推定の観点からCoTのプロンプトを解析し,その複雑さを包括的に評価する。
論文 参考訳（メタデータ） (2024-08-25T04:07:18Z) - Unveil Conditional Diffusion Models with Classifier-free Guidance: A Sharp Statistical Theory [87.00653989457834]
条件付き拡散モデルは現代の画像合成の基礎となり、計算生物学や強化学習などの分野に広く応用されている。
経験的成功にもかかわらず、条件拡散モデルの理論はほとんど欠落している。
本稿では,条件拡散モデルを用いた分布推定の急激な統計的理論を提示することにより,ギャップを埋める。
論文 参考訳（メタデータ） (2024-03-18T17:08:24Z) - Compression of Structured Data with Autoencoders: Provable Benefit of
Nonlinearities and Depth [83.15263499262824]
勾配勾配勾配は入力のスパース構造を完全に無視する解に収束することを示す。
浅層構造にデノナイジング関数を付加することにより,スパースデータの圧縮におけるガウス性能の改善方法を示す。
CIFAR-10 や MNIST などの画像データセットに対して,本研究の成果を検証した。
論文 参考訳（メタデータ） (2024-02-07T16:32:29Z) - Towards Faster Non-Asymptotic Convergence for Diffusion-Based Generative
Models [49.81937966106691]
我々は拡散モデルのデータ生成過程を理解するための非漸近理論のスイートを開発する。
従来の研究とは対照的に,本理論は基本的だが多目的な非漸近的アプローチに基づいて開発されている。
論文 参考訳（メタデータ） (2023-06-15T16:30:08Z) - Distributed Nonparametric Estimation under Communication Constraints [0.0]
通信制約下での分散推定の振る舞いを理解するための一般的なフレームワークを提供する。
分散回帰, 密度推定, 分類, ポアソン回帰, ボラティリティ推定モデルにおいて, 最小値と一致する上限を導出する。
論文 参考訳（メタデータ） (2022-04-21T19:04:50Z) - Unified Multivariate Gaussian Mixture for Efficient Neural Image
Compression [151.3826781154146]
先行変数と超優先度を持つ潜伏変数は、変動画像圧縮において重要な問題である。
ベクトル化された視点で潜伏変数を観察する際、相関関係や相関関係は存在する。
当社のモデルでは、速度歪曲性能が向上し、圧縮速度が3.18倍に向上した。
論文 参考訳（メタデータ） (2022-03-21T11:44:17Z) - Compressing gradients by exploiting temporal correlation in momentum-SGD [17.995905582226463]
エラーフィードバックのないシステムにおける時間相関を利用した圧縮手法を解析する。
ImageNetデータセットを用いた実験により,提案手法は通信速度を著しく低減することを示した。
我々は、最小勾配ノルムの有界性を確立することにより、予測誤差仮定の下でSGDの収束を証明した。
論文 参考訳（メタデータ） (2021-08-17T18:04:06Z) - On Compression Principle and Bayesian Optimization for Neural Networks [0.0]
本稿では,全てのデータとモデル定義の合計圧縮メッセージ長を最小化しつつ,デオードビリティを保証しながら,最適な予測モデルを提案する圧縮原理を提案する。
圧縮原理によって要求される最適ネットワーク次元を求めることができる連続的な次元削減にドロップアウトが利用できることを示す。
論文 参考訳（メタデータ） (2020-06-23T03:23:47Z) - CoinPress: Practical Private Mean and Covariance Estimation [18.6419638570742]
多変量準ガウスデータの平均と共分散に対する単純な微分プライベート推定器を提案する。
これらの誤差率は最先端の理論的境界値と一致し, 従来手法よりも顕著に優れていたことを示す。
論文 参考訳（メタデータ） (2020-06-11T17:17:28Z) - Compressing Large Sample Data for Discriminant Analysis [78.12073412066698]
判別分析フレームワーク内での大きなサンプルサイズに起因する計算問題を考察する。
線形および二次判別分析のためのトレーニングサンプル数を削減するための新しい圧縮手法を提案する。
論文 参考訳（メタデータ） (2020-05-08T05:09:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。