論文の概要: Generalized Attention Flow: Feature Attribution for Transformer Models via Maximum Flow
- arxiv url: http://arxiv.org/abs/2502.15765v1
- Date: Fri, 14 Feb 2025 19:50:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-02 02:51:38.015094
- Title: Generalized Attention Flow: Feature Attribution for Transformer Models via Maximum Flow
- Title（参考訳）: 一般化注意流:最大流れによる変圧器モデルの特徴属性
- Authors: Behrooz Azarkhalili, Maxwell Libbrecht,
- Abstract要約: Generalized Attention Flow (GAF) はトランスフォーマーモデルのための新しい特徴属性法である。
GAFは、注意重み、その勾配、最大流量問題、および特徴属性の性能を高める障壁法を統合している。
- 参考スコア（独自算出の注目度）: 0.0
- License:
- Abstract: This paper introduces Generalized Attention Flow (GAF), a novel feature attribution method for Transformer-based models to address the limitations of current approaches. By extending Attention Flow and replacing attention weights with the generalized Information Tensor, GAF integrates attention weights, their gradients, the maximum flow problem, and the barrier method to enhance the performance of feature attributions. The proposed method exhibits key theoretical properties and mitigates the shortcomings of prior techniques that rely solely on simple aggregation of attention weights. Our comprehensive benchmarking on sequence classification tasks demonstrates that a specific variant of GAF consistently outperforms state-of-the-art feature attribution methods in most evaluation settings, providing a more reliable interpretation of Transformer model outputs.
- Abstract（参考訳）: 本稿では, トランスフォーマーモデルを対象としたGAF(Generalized Attention Flow)を提案する。
注意フローを拡張し、注意重みを一般化した情報テンソルに置き換えることにより、GAFは、注意重み、その勾配、最大フロー問題、および特徴属性の性能を高める障壁法を統合する。
提案手法は重要な理論的特性を示し,注意重みの単純な集約にのみ依存する先行手法の欠点を緩和する。
シーケンス分類タスクに関する包括的なベンチマークでは、GAFの特定の変種は、ほとんどの評価設定において、常に最先端の特徴属性メソッドよりも優れており、トランスフォーマーモデルの出力をより信頼性の高い解釈を提供する。
関連論文リスト
- Text-to-Image Rectified Flow as Plug-and-Play Priors [52.586838532560755]
整流流は、ソースからターゲット分布への線形進行を強制する新しい生成モデルのクラスである。
補正フローアプローチが生成品質と効率を上回り,推論ステップを少なくすることを示した。
また,画像のインバージョンや編集における競合性能も示す。
論文 参考訳（メタデータ） (2024-06-05T14:02:31Z) - Guided Flows for Generative Modeling and Decision Making [55.42634941614435]
その結果,ガイドフローは条件付き画像生成やゼロショット音声合成におけるサンプル品質を著しく向上させることがわかった。
特に、我々は、拡散モデルと比較して、オフライン強化学習設定axスピードアップにおいて、まず、計画生成にフローモデルを適用する。
論文 参考訳（メタデータ） (2023-11-22T15:07:59Z) - Boosting Summarization with Normalizing Flows and Aggressive Training [6.6242828769801285]
FlowSUMは、Transformerベースの要約のための正規化フローベースの変分エンコーダデコーダフレームワークである。
本手法は,潜伏表現における意味情報の不足と,訓練中の後部崩壊の2つの主要な課題に対処する。
論文 参考訳（メタデータ） (2023-11-01T15:33:38Z) - GAFlow: Incorporating Gaussian Attention into Optical Flow [62.646389181507764]
我々はガウス的注意(GA)を光学フローモデルに押し込み、表現学習中に局所特性をアクセントする。
本稿では,既存の Transformer ブロックに簡単に接続可能な新しい Gaussian-Constrained Layer (GCL) を提案する。
動作解析のための新しいガウス誘導注意モジュール(GGAM)を提供する。
論文 参考訳（メタデータ） (2023-09-28T07:46:01Z) - Flowformer: Linearizing Transformers with Conservation Flows [77.25101425464773]
本研究では,フローネットワーク理論に基づくインダクティブバイアスのないトランスフォーマーを線形化する。
ソースコンペティション用シンクの流入流と、シンクアロケーション用ソースの流出流をそれぞれ保存することにより、フローアテンションは本質的に情報的注意を発生させる。
論文 参考訳（メタデータ） (2022-02-13T08:44:10Z) - GMFlow: Learning Optical Flow via Global Matching [124.57850500778277]
光フロー推定学習のためのGMFlowフレームワークを提案する。
機能拡張のためのカスタマイズトランスフォーマー、グローバル機能マッチングのための相関層とソフトマックス層、フロー伝搬のための自己保持層である。
我々の新しいフレームワークは、挑戦的なSintelベンチマークにおいて、32項目RAFTのパフォーマンスより優れています。
論文 参考訳（メタデータ） (2021-11-26T18:59:56Z) - Attentive Contractive Flow with Lipschitz-constrained Self-Attention [25.84621883831624]
注意的収縮フロー(ACF)と呼ばれる新しいアプローチを導入する。
ACFは、フローベースの生成モデル - 収縮フロー - の特別なカテゴリを利用する。
我々は, ACFをプラグアンドプレイ方式で, 各種のアートフローモデルに導入できることを実証した。
論文 参考訳（メタデータ） (2021-09-24T18:02:49Z) - Generative Flows with Invertible Attentions [135.23766216657745]
生成フローモデルに対する2種類の非可逆的注意機構を導入する。
フロー特徴写像の2分割毎に注意重みと入力表現を学習するために,分割に基づく注意機構を利用する。
提案手法は, トラクタブルジャコビアン行列を用いた非可逆アテンションモジュールをフローベースモデルの任意の位置にシームレスに統合する。
論文 参考訳（メタデータ） (2021-06-07T20:43:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。