論文の概要: Attention Mechanisms Don't Learn Additive Models: Rethinking Feature Importance for Transformers

• arxiv url: http://arxiv.org/abs/2405.13536v2
• Date: Thu, 09 Jan 2025 17:58:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-10 13:57:47.688301
• Title: Attention Mechanisms Don't Learn Additive Models: Rethinking Feature Importance for Transformers
• Title（参考訳）: 付加的モデルを学習しない注意メカニズム:トランスフォーマーの特徴的重要性を再考する
• Authors: Tobias Leemann, Alina Fastowski, Felix Pfeiffer, Gjergji Kasneci,
• Abstract要約: 変換器は、特徴属性に使用される線形または付加的な代理モデルを表現することができず、構造的に不可能である。 我々は,変圧器フレームワークに特化して設計された新しい代理モデルであるSoftmax-Linked Additive Log Odds Model (SLALOM)を紹介する。 SLALOMが競合する代理モデルよりもはるかに高い忠実さで説明できることを示すことで、SLALOMの独特な効率品質曲線を強調した。
• 参考スコア（独自算出の注目度）: 12.986126243018452
• License:
• Abstract: We address the critical challenge of applying feature attribution methods to the transformer architecture, which dominates current applications in natural language processing and beyond. Traditional attribution methods to explainable AI (XAI) explicitly or implicitly rely on linear or additive surrogate models to quantify the impact of input features on a model's output. In this work, we formally prove an alarming incompatibility: transformers are structurally incapable of representing linear or additive surrogate models used for feature attribution, undermining the grounding of these conventional explanation methodologies. To address this discrepancy, we introduce the Softmax-Linked Additive Log Odds Model (SLALOM), a novel surrogate model specifically designed to align with the transformer framework. SLALOM demonstrates the capacity to deliver a range of insightful explanations with both synthetic and real-world datasets. We highlight SLALOM's unique efficiency-quality curve by showing that SLALOM can produce explanations with substantially higher fidelity than competing surrogate models or provide explanations of comparable quality at a fraction of their computational costs. We release code for SLALOM as an open-source project online at https://github.com/tleemann/slalom_explanations.
• Abstract（参考訳）: 本稿では, 自然言語処理などにおける現在の応用を支配下に置くトランスフォーマーアーキテクチャに, 特徴帰属手法を適用するという重要な課題に対処する。 説明可能なAI(XAI)への従来の帰属法は、モデル出力に対する入力特徴の影響を定量化するために、線形または追加的な代理モデルに明示的にあるいは暗黙的に依存する。 変換器は、特徴属性に使用される線形または付加的な代理モデルを表現することができず、従来の説明手法の根拠を損なう。 この相違に対処するために、トランスフォーマーフレームワークに特化して設計された新しい代理モデルであるSoftmax-Linked Additive Log Odds Model (SLALOM)を導入する。 SLALOMは、合成データセットと実世界のデータセットの両方で、さまざまな洞察力のある説明を提供する能力を示している。 SLALOMは競合するサロゲートモデルよりもはるかに高忠実な説明や、計算コストのごく一部で同等の品質の説明が可能であることを示すことで、SLALOMのユニークな効率品質曲線を強調した。 SLALOMのソースコードはhttps://github.com/tleemann/slalom_explanations.comで公開しています。

関連論文リスト

• Disentanglement with Factor Quantized Variational Autoencoders [11.086500036180222]
  本稿では,生成因子に関する基礎的真理情報をモデルに提供しない離散変分オートエンコーダ(VAE)モデルを提案する。 本研究では, 離散表現を学習する上で, 連続表現を学習することの利点を実証する。 FactorQVAEと呼ばれる手法は、最適化に基づく不整合アプローチと離散表現学習を組み合わせる。
  論文  参考訳（メタデータ） (2024-09-23T09:33:53Z)
• SMILE: Zero-Shot Sparse Mixture of Low-Rank Experts Construction From Pre-Trained Foundation Models [85.67096251281191]
  我々は、ゼロショットスパースミクチャー(SMILE)と呼ばれるモデル融合に対する革新的なアプローチを提案する。 SMILEは、余分なデータやさらなるトレーニングなしに、ソースモデルをMoEモデルにアップスケーリングできる。 画像分類やテキスト生成タスクなど,さまざまなシナリオに対して,フル微調整とLoRA微調整を用いて広範な実験を行う。
  論文  参考訳（メタデータ） (2024-08-19T17:32:15Z)
• Explaining Modern Gated-Linear RNNs via a Unified Implicit Attention Formulation [54.50526986788175]
  効率的なシーケンスモデリングの最近の進歩は、Mamba、RWKV、および様々なゲートRNNのような注意のないレイヤーを生み出している。 我々はこれらのモデルの統一的なビューを示し、暗黙の因果自己注意層のような層を定式化する。 筆者らのフレームワークは,異なるレイヤに対する類似の基盤となるメカニズムを比較検討し,説明可能性の手法を直接適用する手段を提供する。
  論文  参考訳（メタデータ） (2024-05-26T09:57:45Z)
• Disentanglement via Latent Quantization [60.37109712033694]
  本研究では,組織化された潜在空間からの符号化と復号化に向けた帰納的バイアスを構築する。 本稿では,基本データレコーダ (vanilla autoencoder) と潜時再構成 (InfoGAN) 生成モデルの両方に追加することで,このアプローチの広範な適用性を実証する。
  論文  参考訳（メタデータ） (2023-05-28T06:30:29Z)
• Distributional Learning of Variational AutoEncoder: Application to Synthetic Data Generation [0.7614628596146602]
  本稿では,VAEフレームワークの計算上の利点を犠牲にすることなく,モデル容量を拡大する手法を提案する。 VAEモデルのデコーダは、非対称ラプラス分布の無限混合からなる。 提案したモデルを合成データ生成に適用し,特にデータプライバシの調整が容易であることを示す。
  論文  参考訳（メタデータ） (2023-02-22T11:26:50Z)
• MACE: An Efficient Model-Agnostic Framework for Counterfactual Explanation [132.77005365032468]
  MACE(Model-Agnostic Counterfactual Explanation)の新たな枠組みを提案する。 MACE法では, 優れた反実例を見つけるための新しいRL法と, 近接性向上のための勾配のない降下法を提案する。 公開データセットの実験は、有効性、空間性、近接性を向上して検証する。
  論文  参考訳（メタデータ） (2022-05-31T04:57:06Z)
• Automatic Rule Induction for Efficient Semi-Supervised Learning [56.91428251227253]
  半教師付き学習は、少量のラベル付きデータからNLPモデルを一般化できることを約束している。 事前訓練されたトランスモデルはブラックボックス相関エンジンとして機能し、説明が困難であり、時には信頼性に欠ける振る舞いをする。 本稿では,これらの課題に,簡易かつ汎用的なフレームワークであるAutomatic Rule Injection (ARI) を用いて対処することを提案する。
  論文  参考訳（メタデータ） (2022-05-18T16:50:20Z)
• Learning Deep Implicit Fourier Neural Operators (IFNOs) with Applications to Heterogeneous Material Modeling [3.9181541460605116]
  本稿では,従来のモデルを用いることなく,データ駆動モデルを用いて素材の応答を予測することを提案する。 材料応答は、負荷条件と結果の変位および/または損傷場の暗黙のマッピングを学習することによってモデル化される。 本稿では,超弾性材料,異方性材料,脆性材料など,いくつかの例について提案手法の性能を実証する。
  論文  参考訳（メタデータ） (2022-03-15T19:08:13Z)
• XAI for Transformers: Better Explanations through Conservative Propagation [60.67748036747221]
  変換器の勾配は局所的にのみ関数を反映しており、入力特徴の予測への寄与を確実に識別できないことを示す。 我々の提案は、よく確立されたLPP法のトランスフォーマーへの適切な拡張と見なすことができる。
  論文  参考訳（メタデータ） (2022-02-15T10:47:11Z)
• Causality-aware counterfactual confounding adjustment for feature representations learned by deep models [14.554818659491644]
  因果モデリングは機械学習(ML)における多くの課題に対する潜在的な解決策として認識されている。 深層ニューラルネットワーク(DNN)モデルによって学習された特徴表現を分解するために、最近提案された対実的アプローチが依然として使われている方法について説明する。
  論文  参考訳（メタデータ） (2020-04-20T17:37:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。