論文の概要: Accelerating the Global Aggregation of Local Explanations

• arxiv url: http://arxiv.org/abs/2312.07991v1
• Date: Wed, 13 Dec 2023 09:03:01 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-14 15:56:14.791614
• Title: Accelerating the Global Aggregation of Local Explanations
• Title（参考訳）: 地域説明のグローバル・アグリゲーションの加速
• Authors: Alon Mor, Yonatan Belinkov, Benny Kimelfeld
• Abstract要約: 我々は,Anchorアルゴリズムのグローバルアグリゲーションを高速化する手法を考案した。 非常に軽度な品質の損失に対して、計算を最大30$times$で高速化し、計算時間を数時間から数分に短縮できることを示す。
• 参考スコア（独自算出の注目度）: 43.787092409977724
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Local explanation methods highlight the input tokens that have a considerable impact on the outcome of classifying the document at hand. For example, the Anchor algorithm applies a statistical analysis of the sensitivity of the classifier to changes in the token. Aggregating local explanations over a dataset provides a global explanation of the model. Such aggregation aims to detect words with the most impact, giving valuable insights about the model, like what it has learned in training and which adversarial examples expose its weaknesses. However, standard aggregation methods bear a high computational cost: a na\"ive implementation applies a costly algorithm to each token of each document, and hence, it is infeasible for a simple user running in the scope of a short analysis session. % We devise techniques for accelerating the global aggregation of the Anchor algorithm. Specifically, our goal is to compute a set of top-$k$ words with the highest global impact according to different aggregation functions. Some of our techniques are lossless and some are lossy. We show that for a very mild loss of quality, we are able to accelerate the computation by up to 30$\times$, reducing the computation from hours to minutes. We also devise and study a probabilistic model that accounts for noise in the Anchor algorithm and diminishes the bias toward words that are frequent yet low in impact.
• Abstract（参考訳）: 局所的な説明手法は、手元にある文書の分類結果に大きな影響を与える入力トークンを強調します。 例えば、アンカーアルゴリズムはトークンの変更に対する分類器の感度の統計的分析を適用する。 データセットに局所的な説明を集約することで、モデルに関するグローバルな説明を提供する。 このような集約は、最も影響力のある単語を検出し、トレーニングで学んだことや、その弱点を明らかにする敵対的な例など、モデルに関する貴重な洞察を提供する。 しかし、標準的な集約手法は計算コストが高く、na\"ive実装は各文書の各トークンにコストのかかるアルゴリズムを適用するため、短い分析セッションの範囲内で実行される単純なユーザにとっては不可能である。 %Anchorアルゴリズムのグローバルアグリゲーションを高速化する手法を考案した。 具体的には、各アグリゲーション関数に応じて、最も高いグローバルインパクトを持つ上位k$ワードの集合を計算することを目的とする。 テクニックのいくつかは無損失で、いくつかは無損失です。 私たちは、非常に穏やかな品質低下のために、計算を最大30$\times$で加速することができ、計算を数時間から数分に短縮できることを示した。 また,アンカーアルゴリズムの雑音を考慮し,頻繁かつ影響の少ない単語に対するバイアスを減少させる確率モデルを開発し,検討する。

関連論文リスト

• Provable Optimization for Adversarial Fair Self-supervised Contrastive Learning [49.417414031031264]
  本稿では,自己教師型学習環境におけるフェアエンコーダの学習について検討する。 すべてのデータはラベル付けされておらず、そのごく一部だけが機密属性で注釈付けされている。
  論文  参考訳（メタデータ） (2024-06-09T08:11:12Z)
• A hierarchical decomposition for explaining ML performance discrepancies [6.603088808962966]
  機械学習アルゴリズムは、ドメイン間でパフォーマンスが異なることが多い。$textitwhy$とそのパフォーマンスを理解することは、パフォーマンスギャップを埋める上で最も効果的な介入の種類を決定するために不可欠である。 本稿では,機械学習アルゴリズムの性能が,因果的知識を必要とせず,ドメイン間で異なる理由を説明するために,集約的および詳細な分解を提供する非パラメトリック階層型フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-22T03:41:05Z)
• Controlling Federated Learning for Covertness [15.878313629774269]
  学習者は、ノイズの多い勾配評価を提供する分散オラクルを何度もクエリすることで、関数の$f$を最小化することを目指している。 同時に、学習者は、学習者のクエリを監視する悪意のある盗聴者から$argmin f$を隠そうとする。 本稿では,学習者が学習と難読化のどちらを動的に選択するかという,textitcovert や textitlearner-private 最適化の問題について考察する。
  論文  参考訳（メタデータ） (2023-08-17T07:16:41Z)
• Less is More: Focus Attention for Efficient DETR [23.81282650112188]
  本研究では,計算効率とモデル精度のトレードオフを改善するために,より情報性の高いトークンに着目したFocus-DETRを提案する。 具体的には、トークンスコアリング機構を含むデュアルアテンションでエンコーダを再構築する。 同じ条件下での最先端のスパースDETRのような検出器と比較すると、Focus-DETRはCOCO上で50.4AP(+2.2)を達成しながら、同等の複雑さを得る。
  論文  参考訳（メタデータ） (2023-07-24T08:39:11Z)
• Understanding and Mitigating Spurious Correlations in Text Classification with Neighborhood Analysis [69.07674653828565]
  機械学習モデルは、トレーニングセットに存在するが一般的な状況では当てはまらない急激な相関を利用する傾向にある。 本稿では, 周辺分析と呼ばれる新しい視点から, 突発的相関がもたらす意味について考察する。 本稿では,テキスト分類における素早い相関を緩和する正規化手法であるNFL(doN't Forget your Language)を提案する。
  論文  参考訳（メタデータ） (2023-05-23T03:55:50Z)
• Global Pointer: Novel Efficient Span-based Approach for Named Entity Recognition [7.226094340165499]
  名前付きエンティティ認識(NER)タスクは、事前に定義されたセマンティックタイプに属するテキストからエンティティを識別することを目的としている。 フラットエンティティのための最先端のソリューション NER は、基盤となるテキストの詳細なセマンティック情報を取得するのが一般的である。 提案するNERフレームワークであるGlobal Pointer(GP)は,乗法的アテンション機構によって相対位置を利用する。
  論文  参考訳（メタデータ） (2022-08-05T09:19:46Z)
• An Additive Instance-Wise Approach to Multi-class Model Interpretation [53.87578024052922]
  解釈可能な機械学習は、ブラックボックスシステムの特定の予測を駆動する要因に関する洞察を提供する。 既存の手法は主に、局所的な加法的あるいはインスタンス的なアプローチに従う説明的入力特徴の選択に重点を置いている。 本研究は,両手法の長所を生かし,複数の対象クラスに対する局所的な説明を同時に学習するためのグローバルフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-07T06:50:27Z)
• Multi-granularity Relabeled Under-sampling Algorithm for Imbalanced Data [15.030895782548576]
  不均衡な分類問題は、データマイニングと機械学習において重要かつ困難な問題の1つであることが判明した。 Tomek-Linkサンプリングアルゴリズムは、データ上のクラスオーバーラップを効果的に低減し、識別が難しい多数インスタンスを除去し、アルゴリズムの分類精度を向上させる。 しかし、Tomek-Linksアンダーサンプリングアルゴリズムは、世界中に最も近い隣り合う境界インスタンスのみを考慮し、潜在的に局所的な重複するインスタンスを無視している。 本稿では,データセットの局所的情報を完全に考慮した多粒度アンダーサンプリングアルゴリズム(MGRU)を提案する。
  論文  参考訳（メタデータ） (2022-01-11T14:07:55Z)
• Multi-scale Interactive Network for Salient Object Detection [91.43066633305662]
  本稿では,隣接レベルからの機能を統合するためのアグリゲート・インタラクション・モジュールを提案する。 より効率的なマルチスケール機能を得るために、各デコーダユニットに自己相互作用モジュールを埋め込む。 5つのベンチマークデータセットによる実験結果から,提案手法は後処理を一切行わず,23の最先端手法に対して良好に動作することが示された。
  論文  参考訳（メタデータ） (2020-07-17T15:41:37Z)
• Learning a Unified Sample Weighting Network for Object Detection [113.98404690619982]
  地域サンプリングや重み付けは、現代の地域ベースの物体検出器の成功に極めて重要である。 サンプル重み付けはデータ依存でタスク依存であるべきだと我々は主張する。 サンプルのタスク重みを予測するための統一的なサンプル重み付けネットワークを提案する。
  論文  参考訳（メタデータ） (2020-06-11T16:19:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。