論文の概要: Efficient Shapley Values Estimation by Amortization for Text Classification

• arxiv url: http://arxiv.org/abs/2305.19998v1
• Date: Wed, 31 May 2023 16:19:13 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-01 15:23:27.203500
• Title: Efficient Shapley Values Estimation by Amortization for Text Classification
• Title（参考訳）: テキスト分類におけるamortizationによるshapley値の効率的な推定
• Authors: Chenghao Yang, Fan Yin, He He, Kai-Wei Chang, Xiaofei Ma, Bing Xiang
• Abstract要約: 我々は,各入力特徴のシェープ値を直接予測し,追加のモデル評価を行なわずに補正モデルを開発する。 2つのテキスト分類データセットの実験結果から、アモルタイズされたモデルでは、Shapley Valuesを最大60倍のスピードアップで正確に見積もっている。
• 参考スコア（独自算出の注目度）: 66.7725354593271
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite the popularity of Shapley Values in explaining neural text classification models, computing them is prohibitive for large pretrained models due to a large number of model evaluations. In practice, Shapley Values are often estimated with a small number of stochastic model evaluations. However, we show that the estimated Shapley Values are sensitive to random seed choices -- the top-ranked features often have little overlap across different seeds, especially on examples with longer input texts. This can only be mitigated by aggregating thousands of model evaluations, which on the other hand, induces substantial computational overheads. To mitigate the trade-off between stability and efficiency, we develop an amortized model that directly predicts each input feature's Shapley Value without additional model evaluations. It is trained on a set of examples whose Shapley Values are estimated from a large number of model evaluations to ensure stability. Experimental results on two text classification datasets demonstrate that our amortized model estimates Shapley Values accurately with up to 60 times speedup compared to traditional methods. Furthermore, the estimated values are stable as the inference is deterministic. We release our code at https://github.com/yangalan123/Amortized-Interpretability.
• Abstract（参考訳）: ニューラルテキスト分類モデルの説明においてShapley Valuesが人気があるにもかかわらず、多数のモデル評価のために、大きな事前訓練モデルでは計算が禁じられている。 実際には、シェープ値はしばしば少数の確率的モデル評価によって推定される。 しかし、推定されたシャプリー値は、ランダムな種選択に敏感であることを示している。トップランクの機能は、特に長い入力テキストを持つ例では、異なる種間で重なりがほとんどないことが多い。 これは、何千ものモデル評価を集約することでのみ緩和できるが、一方で、かなりの計算オーバーヘッドを引き起こす。 安定性と効率のトレードオフを緩和するため,各入力機能のシェープリー値を,追加のモデル評価をすることなく直接予測する償却モデルを開発した。 安定性を確保するために、多数のモデル評価からShapley Valuesを推定する一連の例に基づいてトレーニングされる。 2つのテキスト分類データセットの実験結果から,従来の手法に比べて最大60倍の速度でシェープ値を正確に推定できることが示されている。 さらに、推定値は推論が決定論的であるため安定である。 コードはhttps://github.com/yangalan123/amortized-interpretabilityでリリースします。

関連論文リスト

• Helpful or Harmful Data? Fine-tuning-free Shapley Attribution for Explaining Language Model Predictions [38.87540833773233]
  実例スコアの符号にロバスト性の概念を提案する。 本稿では,例えば,Shapley値の高精度な微調整自由近似を導入する。
  論文  参考訳（メタデータ） (2024-06-07T03:29:57Z)
• Accelerated Shapley Value Approximation for Data Evaluation [3.707457963532597]
  機械学習問題の構造的特性を活用することにより,データポイントのシェープ値をより効率的に近似できることを示す。 我々の分析は、データバリュエーションの文脈において、小さなサブセットで訓練されたモデルはより重要であることを示唆している。
  論文  参考訳（メタデータ） (2023-11-09T13:15:36Z)
• Fast Shapley Value Estimation: A Unified Approach [71.92014859992263]
  冗長な手法を排除し、単純で効率的なシェープリー推定器SimSHAPを提案する。 既存手法の解析において、推定器は特徴部分集合からランダムに要約された値の線形変換として統一可能であることを観察する。 実験により,SimSHAPの有効性が検証され,精度の高いShapley値の計算が大幅に高速化された。
  論文  参考訳（メタデータ） (2023-11-02T06:09:24Z)
• An Efficient Shapley Value Computation for the Naive Bayes Classifier [0.0]
  本稿では, 単純ベイズ分類器の場合のShapley値の正確な解析式を提案する。 以上の結果から,本提案はアルゴリズムの複雑さを低く抑えた有意な結果をもたらすことが示唆された。
  論文  参考訳（メタデータ） (2023-07-31T14:39:10Z)
• Consensus-Adaptive RANSAC [104.87576373187426]
  本稿では,パラメータ空間の探索を学習する新しいRANSACフレームワークを提案する。 注意機構は、ポイント・ツー・モデル残差のバッチで動作し、軽量のワンステップ・トランスフォーマーで見いだされたコンセンサスを考慮するために、ポイント・ツー・モデル推定状態を更新する。
  論文  参考訳（メタデータ） (2023-07-26T08:25:46Z)
• Exact Shapley Values for Local and Model-True Explanations of Decision Tree Ensembles [0.0]
  決定木アンサンブルの説明にShapley値を適用することを検討する。 本稿では,無作為林に適応し,決定木を増強できる,Shapley値に基づく特徴属性に対する新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2021-12-16T20:16:02Z)
• Robust Implicit Networks via Non-Euclidean Contractions [63.91638306025768]
  暗黙のニューラルネットワークは、精度の向上とメモリ消費の大幅な削減を示す。 彼らは不利な姿勢と収束の不安定さに悩まされる。 本論文は,ニューラルネットワークを高機能かつ頑健に設計するための新しい枠組みを提供する。
  論文  参考訳（メタデータ） (2021-06-06T18:05:02Z)
• Flexible Model Aggregation for Quantile Regression [92.63075261170302]
  量子回帰は、予測の不確実性を定量化する必要性によって動機付けられた統計学習の基本的な問題である。 条件付き量子モデルの任意の数を集約する手法について検討する。 この論文で検討するモデルはすべて、現代のディープラーニングツールキットに適合します。
  論文  参考訳（メタデータ） (2021-02-26T23:21:16Z)
• Predictive and Causal Implications of using Shapley Value for Model Interpretation [6.744385328015561]
  我々は、予測モデルと因果モデルの両方において重要な概念である、シェープ価値と条件独立の関係を確立した。 その結果,モデルから高いShapley値を持つ変数を排除しても必ずしも予測性能を損なうとは限らないことが示唆された。 さらに重要なことに、変数のShapley値は、関心の対象との因果関係を反映しない。
  論文  参考訳（メタデータ） (2020-08-12T01:08:08Z)
• Towards Efficient Data Valuation Based on the Shapley Value [65.4167993220998]
  本稿では,Shapley値を用いたデータ評価の問題点について検討する。 Shapleyの値は、データ値の概念に対して多くのデシダータを満たすユニークなペイオフスキームを定義する。 本稿では,Shapley値を近似する効率的なアルゴリズムのレパートリーを提案する。
  論文  参考訳（メタデータ） (2019-02-27T00:22:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。