論文の概要: Efficient and Accurate Explanation Estimation with Distribution Compression

• arxiv url: http://arxiv.org/abs/2406.18334v2
• Date: Wed, 22 Jan 2025 22:57:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-24 15:56:58.113030
• Title: Efficient and Accurate Explanation Estimation with Distribution Compression
• Title（参考訳）: 分布圧縮による効率的かつ正確な説明推定
• Authors: Hubert Baniecki, Giuseppe Casalicchio, Bernd Bischl, Przemyslaw Biecek,
• Abstract要約: ポストホックな説明のために広い範囲のアルゴリズムで使用される標準i.d.サンプリングは、改善に値する近似誤差をもたらすことを示す。 我々は,サンプル効率の説明可能性の新しいパラダイムであるCompress Then Explain (CTE)を紹介した。 CTEは、無視可能な計算オーバーヘッドによる説明推定の精度と安定性を著しく改善する。
• 参考スコア（独自算出の注目度）: 17.299418894910627
• License:
• Abstract: We discover a theoretical connection between explanation estimation and distribution compression that significantly improves the approximation of feature attributions, importance, and effects. While the exact computation of various machine learning explanations requires numerous model inferences and becomes impractical, the computational cost of approximation increases with an ever-increasing size of data and model parameters. We show that the standard i.i.d. sampling used in a broad spectrum of algorithms for post-hoc explanation leads to an approximation error worthy of improvement. To this end, we introduce Compress Then Explain (CTE), a new paradigm of sample-efficient explainability. It relies on distribution compression through kernel thinning to obtain a data sample that best approximates its marginal distribution. CTE significantly improves the accuracy and stability of explanation estimation with negligible computational overhead. It often achieves an on-par explanation approximation error 2-3x faster by using fewer samples, i.e. requiring 2-3x fewer model evaluations. CTE is a simple, yet powerful, plug-in for any explanation method that now relies on i.i.d. sampling.
• Abstract（参考訳）: 我々は,特徴属性,重要度,効果の近似を著しく改善する,説明推定と分布圧縮の理論的関係を見出した。 様々な機械学習説明の正確な計算には多くのモデル推論が必要であり、実用的ではないが、近似の計算コストはデータやモデルパラメータの増大とともに増大する。 ポストホックな説明のために広い範囲のアルゴリズムで使用される標準i.d.サンプリングは、改善に値する近似誤差をもたらすことを示す。 この目的のために,サンプル効率の説明可能性の新しいパラダイムであるCompress Then Explain (CTE)を紹介した。 カーネルの薄化による分散圧縮に頼って、その限界分布を最もよく近似するデータサンプルを得る。 CTEは、無視可能な計算オーバーヘッドによる説明推定の精度と安定性を著しく改善する。 サンプルを減らし、モデル評価を2～3倍小さくすることで、オンパー説明誤差を2～3倍速くすることが多い。 CTEはシンプルだが強力で、今やi.d.サンプリングに依存しているあらゆる説明法のためのプラグインである。

関連論文リスト

• Unveiling the Statistical Foundations of Chain-of-Thought Prompting Methods [59.779795063072655]
  CoT(Chain-of-Thought)の促進とその変種は、多段階推論問題を解決する効果的な方法として人気を集めている。 統計的推定の観点からCoTのプロンプトを解析し,その複雑さを包括的に評価する。
  論文  参考訳（メタデータ） (2024-08-25T04:07:18Z)
• Unveil Conditional Diffusion Models with Classifier-free Guidance: A Sharp Statistical Theory [87.00653989457834]
  条件付き拡散モデルは現代の画像合成の基礎となり、計算生物学や強化学習などの分野に広く応用されている。 経験的成功にもかかわらず、条件拡散モデルの理論はほとんど欠落している。 本稿では,条件拡散モデルを用いた分布推定の急激な統計的理論を提示することにより,ギャップを埋める。
  論文  参考訳（メタデータ） (2024-03-18T17:08:24Z)
• Compression of Structured Data with Autoencoders: Provable Benefit of Nonlinearities and Depth [83.15263499262824]
  勾配勾配勾配は入力のスパース構造を完全に無視する解に収束することを示す。 浅層構造にデノナイジング関数を付加することにより,スパースデータの圧縮におけるガウス性能の改善方法を示す。 CIFAR-10 や MNIST などの画像データセットに対して,本研究の成果を検証した。
  論文  参考訳（メタデータ） (2024-02-07T16:32:29Z)
• Towards Faster Non-Asymptotic Convergence for Diffusion-Based Generative Models [49.81937966106691]
  我々は拡散モデルのデータ生成過程を理解するための非漸近理論のスイートを開発する。 従来の研究とは対照的に,本理論は基本的だが多目的な非漸近的アプローチに基づいて開発されている。
  論文  参考訳（メタデータ） (2023-06-15T16:30:08Z)
• Distributed Nonparametric Estimation under Communication Constraints [0.0]
  通信制約下での分散推定の振る舞いを理解するための一般的なフレームワークを提供する。 分散回帰, 密度推定, 分類, ポアソン回帰, ボラティリティ推定モデルにおいて, 最小値と一致する上限を導出する。
  論文  参考訳（メタデータ） (2022-04-21T19:04:50Z)
• Unified Multivariate Gaussian Mixture for Efficient Neural Image Compression [151.3826781154146]
  先行変数と超優先度を持つ潜伏変数は、変動画像圧縮において重要な問題である。 ベクトル化された視点で潜伏変数を観察する際、相関関係や相関関係は存在する。 当社のモデルでは、速度歪曲性能が向上し、圧縮速度が3.18倍に向上した。
  論文  参考訳（メタデータ） (2022-03-21T11:44:17Z)
• Compressing gradients by exploiting temporal correlation in momentum-SGD [17.995905582226463]
  エラーフィードバックのないシステムにおける時間相関を利用した圧縮手法を解析する。 ImageNetデータセットを用いた実験により,提案手法は通信速度を著しく低減することを示した。 我々は、最小勾配ノルムの有界性を確立することにより、予測誤差仮定の下でSGDの収束を証明した。
  論文  参考訳（メタデータ） (2021-08-17T18:04:06Z)
• On Compression Principle and Bayesian Optimization for Neural Networks [0.0]
  本稿では,全てのデータとモデル定義の合計圧縮メッセージ長を最小化しつつ,デオードビリティを保証しながら,最適な予測モデルを提案する圧縮原理を提案する。 圧縮原理によって要求される最適ネットワーク次元を求めることができる連続的な次元削減にドロップアウトが利用できることを示す。
  論文  参考訳（メタデータ） (2020-06-23T03:23:47Z)
• CoinPress: Practical Private Mean and Covariance Estimation [18.6419638570742]
  多変量準ガウスデータの平均と共分散に対する単純な微分プライベート推定器を提案する。 これらの誤差率は最先端の理論的境界値と一致し, 従来手法よりも顕著に優れていたことを示す。
  論文  参考訳（メタデータ） (2020-06-11T17:17:28Z)
• Compressing Large Sample Data for Discriminant Analysis [78.12073412066698]
  判別分析フレームワーク内での大きなサンプルサイズに起因する計算問題を考察する。 線形および二次判別分析のためのトレーニングサンプル数を削減するための新しい圧縮手法を提案する。
  論文  参考訳（メタデータ） (2020-05-08T05:09:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。