論文の概要: STAA: Spatio-Temporal Attention Attribution for Real-Time Interpreting Transformer-based Video Models

• arxiv url: http://arxiv.org/abs/2411.00630v1
• Date: Fri, 01 Nov 2024 14:40:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-05 14:43:23.772678
• Title: STAA: Spatio-Temporal Attention Attribution for Real-Time Interpreting Transformer-based Video Models
• Title（参考訳）: STAA: リアルタイム解釈型トランスフォーマー映像モデルにおける時空間アテンションの寄与
• Authors: Zerui Wang, Yan Liu,
• Abstract要約: トランスフォーマーベースのモデルは、画像やビデオ分析を含む様々なコンピュータビジョンタスクにおいて最先端のパフォーマンスを達成した。 現在の説明可能なAI(XAI)手法は、空間的または時間的説明のいずれにおいても、1次元の特徴的重要性しか提供できない。 本稿では,ビデオトランスフォーマーモデルのXAI手法であるSTAA(Spatio-Temporal Attention Attribution)を紹介する。
• 参考スコア（独自算出の注目度）: 7.500941533148728
• License:
• Abstract: Transformer-based models have achieved state-of-the-art performance in various computer vision tasks, including image and video analysis. However, Transformer's complex architecture and black-box nature pose challenges for explainability, a crucial aspect for real-world applications and scientific inquiry. Current Explainable AI (XAI) methods can only provide one-dimensional feature importance, either spatial or temporal explanation, with significant computational complexity. This paper introduces STAA (Spatio-Temporal Attention Attribution), an XAI method for interpreting video Transformer models. Differ from traditional methods that separately apply image XAI techniques for spatial features or segment contribution analysis for temporal aspects, STAA offers both spatial and temporal information simultaneously from attention values in Transformers. The study utilizes the Kinetics-400 dataset, a benchmark collection of 400 human action classes used for action recognition research. We introduce metrics to quantify explanations. We also apply optimization to enhance STAA's raw output. By implementing dynamic thresholding and attention focusing mechanisms, we improve the signal-to-noise ratio in our explanations, resulting in more precise visualizations and better evaluation results. In terms of computational overhead, our method requires less than 3\% of the computational resources of traditional XAI methods, making it suitable for real-time video XAI analysis applications. STAA contributes to the growing field of XAI by offering a method for researchers and practitioners to analyze Transformer models.
• Abstract（参考訳）: トランスフォーマーベースのモデルは、画像やビデオ分析を含む様々なコンピュータビジョンタスクにおいて最先端のパフォーマンスを達成した。 しかし、トランスフォーマーの複雑なアーキテクチャとブラックボックスの性質は、現実の応用や科学的調査において重要な側面である説明可能性に挑戦する。 現在の説明可能なAI(XAI)手法は、空間的または時間的説明のいずれにおいても、1次元の特徴のみを重要な計算量で提供することができる。 本稿では,ビデオトランスフォーマーモデルのXAI手法であるSTAA(Spatio-Temporal Attention Attribution)を紹介する。 画像XAI技法を空間的特徴や時間的側面のセグメント寄与分析に別々に適用する従来の手法とは異なり、STAAはトランスフォーマーの注意値から空間的情報と時間的情報の両方を同時に提供する。 この研究は、アクション認識研究に使用される400のヒューマンアクションクラスのベンチマークコレクションであるKinetics-400データセットを利用している。 説明の定量化のためにメトリクスを導入します。 また,STAAの生出力向上に最適化を適用した。 ダイナミックなしきい値設定とアテンションフォーカス機構を実装することで、説明における信号と雑音の比率を向上し、より正確な視覚化とより良い評価結果が得られる。 計算オーバーヘッドの面では,従来のXAI手法の計算資源の3倍に満たないため,リアルタイムビデオXAI解析に適している。 STAAは、研究者や実践者がTransformerモデルを分析する方法を提供することで、XAIの成長分野に貢献している。

関連論文リスト

• Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
  タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。 既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。 ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-29T19:02:54Z)
• PointMT: Efficient Point Cloud Analysis with Hybrid MLP-Transformer Architecture [46.266960248570086]
  本研究は,効率的な特徴集約のための複雑局所的注意機構を導入することで,自己注意機構の二次的複雑さに取り組む。 また,各チャネルの注目重量分布を適応的に調整するパラメータフリーチャネル温度適応機構を導入する。 我々は,PointMTが性能と精度の最適なバランスを維持しつつ,最先端手法に匹敵する性能を実現することを示す。
  論文  参考訳（メタデータ） (2024-08-10T10:16:03Z)
• Efficient Visual State Space Model for Image Deblurring [83.57239834238035]
  畳み込みニューラルネットワーク(CNN)とビジョントランスフォーマー(ViT)は、画像復元において優れた性能を発揮している。 本稿では,画像のデブロアに対する簡易かつ効果的な視覚状態空間モデル(EVSSM)を提案する。
  論文  参考訳（メタデータ） (2024-05-23T09:13:36Z)
• EXACT: Towards a platform for empirically benchmarking Machine Learning model explanation methods [1.6383837447674294]
  本稿では、初期ベンチマークプラットフォームにおいて、様々なベンチマークデータセットと新しいパフォーマンス指標をまとめる。 我々のデータセットには、クラス条件の特徴に対する真実の説明が組み込まれています。 このプラットフォームは、それらが生成する説明の品質において、ポストホックなXAIメソッドのパフォーマンスを評価する。
  論文  参考訳（メタデータ） (2024-05-20T14:16:06Z)
• ESTformer: Transformer Utilizing Spatiotemporal Dependencies for EEG Super-resolution [14.2426667945505]
  ESTformerは、Transformerに基づいた一時的な依存関係を利用するEEGフレームワークである。 ESTformerは、空間と時間次元に位置符号化法とマルチヘッド自己認識機構を適用する。
  論文  参考訳（メタデータ） (2023-12-03T12:26:32Z)
• Extending CAM-based XAI methods for Remote Sensing Imagery Segmentation [7.735470452949379]
  我々は,モデルの不確実性を測定するために,「エントロピー」に基づく新しいXAI評価手法とメトリクスを導入する。 本研究では,Entropyを用いて,対象クラス内の画素のセグメンテーションにおけるモデル不確実性を監視することがより適切であることを示す。
  論文  参考訳（メタデータ） (2023-10-03T07:01:23Z)
• A survey on efficient vision transformers: algorithms, techniques, and performance benchmarking [19.65897437342896]
  Vision Transformer (ViT) アーキテクチャは、コンピュータビジョンアプリケーションに取り組むために人気が高まり、広く使われている。 本稿では,ビジョントランスフォーマーを効率的にするための戦略を数学的に定義し,最先端の方法論を記述・議論し,その性能を異なるアプリケーションシナリオで解析する。
  論文  参考訳（メタデータ） (2023-09-05T08:21:16Z)
• Leaping Into Memories: Space-Time Deep Feature Synthesis [93.10032043225362]
  内部モデルから映像を合成するアーキテクチャ非依存の手法であるLEAPSを提案する。 我々は,Kineetics-400に基づく多種多様なアーキテクチャの進化的注目を反転させることにより,LEAPSの適用性を定量的かつ定性的に評価する。
  論文  参考訳（メタデータ） (2023-03-17T12:55:22Z)
• ViTs for SITS: Vision Transformers for Satellite Image Time Series [52.012084080257544]
  ビジョン変換器(ViT)に基づく一般衛星画像時系列(SITS)処理のための完全アテンショナルモデルを提案する。 TSViTはSITSレコードを空間と時間で重複しないパッチに分割し、トークン化し、分解されたテンポロ空間エンコーダで処理する。
  論文  参考訳（メタデータ） (2023-01-12T11:33:07Z)
• Information-Theoretic Odometry Learning [83.36195426897768]
  生体計測推定を目的とした学習動機付け手法のための統合情報理論フレームワークを提案する。 提案フレームワークは情報理論言語の性能評価と理解のためのエレガントなツールを提供する。
  論文  参考訳（メタデータ） (2022-03-11T02:37:35Z)
• Domain Adaptive Robotic Gesture Recognition with Unsupervised Kinematic-Visual Data Alignment [60.31418655784291]
  本稿では,マルチモダリティ知識,すなわちキネマティックデータとビジュアルデータを同時にシミュレータから実ロボットに伝達できる,教師なしドメイン適応フレームワークを提案する。 ビデオの時間的手がかりと、ジェスチャー認識に対するマルチモーダル固有の相関を用いて、トランスファー可能な機能を強化したドメインギャップを修復する。 その結果, 本手法は, ACCでは最大12.91%, F1scoreでは20.16%と, 実際のロボットではアノテーションを使わずに性能を回復する。
  論文  参考訳（メタデータ） (2021-03-06T09:10:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。