論文の概要: DecompX: Explaining Transformers Decisions by Propagating Token Decomposition

• arxiv url: http://arxiv.org/abs/2306.02873v1
• Date: Mon, 5 Jun 2023 13:46:31 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-06 14:52:52.094329
• Title: DecompX: Explaining Transformers Decisions by Propagating Token Decomposition
• Title（参考訳）: DecompX: トークン分解の伝播によるトランスフォーマー決定の説明
• Authors: Ali Modarressi, Mohsen Fayyaz, Ehsan Aghazadeh, Yadollah Yaghoobzadeh, Mohammad Taher Pilehvar
• Abstract要約: 本稿では,トランスフォーマーモデルに対するベクトルベースの説明であるDecompXを提案する。 本提案は,すべてのエンコーダコンポーネントと分類ヘッドを含む既存のソリューションに対する利点を提供する。 DecompXは、様々なデータセットにおける既存の勾配ベースのアプローチとベクトルベースのアプローチを一貫して上回っている。
• 参考スコア（独自算出の注目度）: 17.98083413705718
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: An emerging solution for explaining Transformer-based models is to use vector-based analysis on how the representations are formed. However, providing a faithful vector-based explanation for a multi-layer model could be challenging in three aspects: (1) Incorporating all components into the analysis, (2) Aggregating the layer dynamics to determine the information flow and mixture throughout the entire model, and (3) Identifying the connection between the vector-based analysis and the model's predictions. In this paper, we present DecompX to tackle these challenges. DecompX is based on the construction of decomposed token representations and their successive propagation throughout the model without mixing them in between layers. Additionally, our proposal provides multiple advantages over existing solutions for its inclusion of all encoder components (especially nonlinear feed-forward networks) and the classification head. The former allows acquiring precise vectors while the latter transforms the decomposition into meaningful prediction-based values, eliminating the need for norm- or summation-based vector aggregation. According to the standard faithfulness evaluations, DecompX consistently outperforms existing gradient-based and vector-based approaches on various datasets. Our code is available at https://github.com/mohsenfayyaz/DecompX.
• Abstract（参考訳）: Transformerベースのモデルを説明するための新たなソリューションは、表現の生成方法に関するベクトルベースの分析を使用することだ。 しかし,多層モデルに対する忠実なベクトルベースの説明を提供することは,(1)全ての要素を解析に組み込むこと,(2)階層のダイナミクスを集約してモデル全体の情報フローと混合を決定すること,(3)ベクトルベースの分析とモデルの予測との関係を同定すること,の3つの側面において困難である。 本稿では,これらの課題に取り組むためにDecompXを提案する。 decompx は分解されたトークン表現の構築と、それらをレイヤ間で混ぜることなくモデル全体に連続する伝播に基づいている。 さらに,提案手法は,すべてのエンコーダコンポーネント(特に非線形フィードフォワードネットワーク)と分類ヘッドを含む既存のソリューションよりも,複数の利点を提供する。 前者は正確なベクトルを得ることができ、後者は分解を有意義な予測に基づく値に変換する。 標準忠実性評価によれば、decompxは既存の勾配ベースおよびベクトルベースアプローチを様々なデータセットで一貫して上回っている。 私たちのコードはhttps://github.com/mohsenfayyaz/decompxで利用可能です。

関連論文リスト

• Unsupervised Representation Learning from Sparse Transformation Analysis [79.94858534887801]
  本稿では,潜在変数のスパース成分への変換を分解し,シーケンスデータから表現を学習することを提案する。 入力データは、まず潜伏活性化の分布として符号化され、その後確率フローモデルを用いて変換される。
  論文  参考訳（メタデータ） (2024-10-07T23:53:25Z)
• Deciphering 'What' and 'Where' Visual Pathways from Spectral Clustering of Layer-Distributed Neural Representations [15.59251297818324]
  本稿では,ニューラルネットワークのアクティベーションに含まれる情報をグループ化する手法を提案する。 すべてのレイヤの機能を利用して、モデルのどの部分が関連する情報を含んでいるのかを推測する必要をなくします。
  論文  参考訳（メタデータ） (2023-12-11T01:20:34Z)
• Hierarchical Vector Quantized Transformer for Multi-class Unsupervised Anomaly Detection [24.11900895337062]
  教師なし画像異常検出(UAD)は、正常サンプルの堅牢かつ識別的な表現を学習することを目的としている。 本稿では,複数のクラスに統一されたフレームワークを構築することに焦点を当てる。
  論文  参考訳（メタデータ） (2023-10-22T08:20:33Z)
• Domain Generalization via Rationale Invariance [70.32415695574555]
  本稿では,未確認環境においてもロバストな結果の維持を伴う領域一般化の課題を緩和する新たな視点を提供する。 本稿では,最終結果に対する要素的貢献を決定の根拠として扱い,各試料の根拠を行列として表現することを提案する。 提案手法は, 単純性に拘わらず, 様々なデータセット間で競合する結果が得られることを示す。
  論文  参考訳（メタデータ） (2023-08-22T03:31:40Z)
• Disentanglement via Latent Quantization [60.37109712033694]
  本研究では,組織化された潜在空間からの符号化と復号化に向けた帰納的バイアスを構築する。 本稿では,基本データレコーダ (vanilla autoencoder) と潜時再構成 (InfoGAN) 生成モデルの両方に追加することで,このアプローチの広範な適用性を実証する。
  論文  参考訳（メタデータ） (2023-05-28T06:30:29Z)
• Generalized Relation Modeling for Transformer Tracking [13.837171342738355]
  ワンストリームトラッカーは、すべてのエンコーダ層を通して、テンプレートが検索領域内のすべての部分とやり取りすることを可能にする。 これは、抽出された特徴表現が十分に識別できない場合に、ターゲットと背景の混乱を引き起こす可能性がある。 適応トークン分割に基づく一般化された関係モデリング手法を提案する。 提案手法は,2ストリーム,1ストリームのパイプラインよりも優れており,リアルタイム実行速度の6つのベンチマークにおいて,最先端の性能を実現している。
  論文  参考訳（メタデータ） (2023-03-29T10:29:25Z)
• Transformers meet Stochastic Block Models: Attention with Data-Adaptive Sparsity and Cost [53.746169882193456]
  最近の研究は、自己注意の二次的コストを克服するために、様々なスパークアテンションモジュールを提案している。 本稿では,それぞれの注意を混合メンバーシップブロックモデルで表現することで,両方の問題を解決するモデルを提案する。 我々のモデルは、以前の効率的な変種とオリジナルのトランスフォーマーより優れており、十分に注目されています。
  論文  参考訳（メタデータ） (2022-10-27T15:30:52Z)
• RCC-GAN: Regularized Compound Conditional GAN for Large-Scale Tabular Data Synthesis [7.491711487306447]
  本稿では,大規模データベースを合成するためのGAN(Generative Adversarial Network)を提案する。 本稿では,ベクトルを二分的特徴と離散的特徴を同時に組み込むための新しい定式化を提案する。 本稿では、トレーニング中に、その重みベクトルにおける前例のない変動を制限するための正規化スキームを提案する。
  論文  参考訳（メタデータ） (2022-05-24T01:14:59Z)
• ScaleVLAD: Improving Multimodal Sentiment Analysis via Multi-Scale Fusion of Locally Descriptors [15.042741192427334]
  本稿では,テキスト,ビデオ,オーディオからマルチスケール表現を収集する「スケールVLAD」という融合モデルを提案する。 IEMOCAP、MOSI、MOSEIの3つの一般的な感情分析ベンチマークの実験は、ベースラインよりも大幅に向上した。
  論文  参考訳（メタデータ） (2021-12-02T16:09:33Z)
• Equivariant vector field network for many-body system modeling [65.22203086172019]
  Equivariant Vector Field Network (EVFN) は、新しい同変層と関連するスカラー化およびベクトル化層に基づいて構築されている。 シミュレーションされたニュートン力学系の軌跡を全観測データと部分観測データで予測する手法について検討した。
  論文  参考訳（メタデータ） (2021-10-26T14:26:25Z)
• Model Fusion with Kullback--Leibler Divergence [58.20269014662046]
  異種データセットから学習した後続分布を融合する手法を提案する。 我々のアルゴリズムは、融合モデルと個々のデータセット後部の両方に対する平均場仮定に依存している。
  論文  参考訳（メタデータ） (2020-07-13T03:27:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。