Fugu-MT 論文翻訳(概要): Gradient-Skipping Relevance Propagation for Efficient Explainability of Vision Transformers

論文の概要: Gradient-Skipping Relevance Propagation for Efficient Explainability of Vision Transformers

arxiv url: http://arxiv.org/abs/2607.10365v1
Date: Sat, 11 Jul 2026 15:43:09 GMT
ステータス: 翻訳完了
システム内更新日: 2026-07-14 15:40:48.40304
Title: Gradient-Skipping Relevance Propagation for Efficient Explainability of Vision Transformers
Title（参考訳）: 視覚変換器の高効率説明性のためのグラディエント・スキッピング関連性伝播
Abstract要約: 本稿では,適応型頭部重み付けとスキップ対応伝搬に基づく新しいViT関連伝搬法であるGradSkipを紹介する。 ImageNet1KとBloodMNISTの実験では、GradSkipの忠実さを実証し、GFLOPの14倍以上のコストを要した。
参考スコア（独自算出の注目度）: 5.770347328961063
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Vision Transformers (ViTs) are difficult to interpret because current methods of relevance propagation and attention flow do not fully consider some key architectural features, such as the uneven importance of attention heads and residual connections. Prior approaches typically assume uniform importance across attention heads; furthermore, they model skip connections as identity paths, leading to inaccurate relevance attribution. To address these issues, we introduce GradSkip, a novel relevance propagation method for ViTs based on adaptive head weighting and skip-aware propagation. GradSkip models the different importance of the attention heads and dynamically distributes relevance between the attention and residual paths. Experiments on ImageNet1K and BloodMNIST demonstrate a state-of-the-art faithfulness of GradSkip while requiring over 14 times fewer GFLOPs than the best-performing existing approaches. Additional evaluations using transformer-based segmentation confirm improved localization and alignment with ground-truth regions.
Abstract（参考訳）: 視覚変換器(ViT)の解釈は、現在の関係伝播と注意流の手法が、注意頭や残差接続の不均一さなどの重要なアーキテクチャ的特徴を十分に考慮していないため困難である。従来のアプローチでは、注意頭を通して一様の重要性を前提としており、さらに、接続をアイデンティティパスとしてスキップし、不正確な関連性帰属をもたらす。これらの問題に対処するために,適応的な頭部重み付けとスキップ対応伝搬に基づく新しいViTの関連伝搬法であるGradSkipを紹介する。 GradSkipはアテンションヘッドの異なる重要性をモデル化し、アテンションと残留パスの関連性を動的に分散する。 ImageNet1KとBloodMNISTの実験では、GradSkipの最先端の忠実さが実証され、GFLOPの14倍以上のコストが要求される。変圧器を用いたセグメンテーションによる追加評価により,地中構造領域の局所化とアライメントが改善された。

関連論文リスト

HyTBE: Hyperbolic Target-Background Expert Model for Cross-Domain Infrared Small Target Detection [3.6870604311531885]
赤外線小目標検出(IRSTD)は,領域整合性評価の下で大幅に進歩している。ソース・ドメイン関係パターンを拡張するハイパーボリック・ターゲット・バックグラウンド・エキスパート・モデルであるHyTBEを提案する。 NUAA-SIRST、NUDT-SIRST、IRSTD-1Kの実験により、HyTBEは競争ベースラインよりも強力なクロスドメイン一般化を実現することが示された。
論文参考訳（メタデータ） (2026-08-06T09:02:09Z)
Large Vision-Language Models Get Lost in Attention [51.851592109135716]
本稿では,情報理論と幾何に基づく統合フレームワークを提案し,残差更新の幾何的およびエントロピー的性質を定量化する。注意は再設定に焦点を当てたサブスペース言語演算子として機能し、FFNはセマンティックイノベーションを駆動するサブスペース言語演算子として機能します。
論文参考訳（メタデータ） (2026-05-07T04:45:52Z)
Decision-Aware Attention Propagation for Vision Transformer Explainability [1.9116784879310027]
DAP(Decision-Aware Attention Propagation)は、意思決定に関連する事前情報をトランスフォーマーの注意伝達に注入する属性法である。 DAPは従来の注意に基づく手法よりもクラス敏感でコンパクトで忠実な帰属写像を生成する。
論文参考訳（メタデータ） (2026-04-20T11:10:18Z)
Learn to Rank: Visual Attribution by Learning Importance Ranking [58.69028273772474]
コンピュータビジョンモデルのための視覚属性マップを生成する新しい手法を提案する。提案手法は, 任意の数段階の勾配補正を施した1つの前方通過において, 密度の高い画素レベルの属性を生成する。我々の実験は、一貫した定量的改善と、よりシャープで境界に沿った説明を示す。
論文参考訳（メタデータ） (2026-04-07T12:53:22Z)
Multi-Cue Adaptive Visual Token Pruning for Large Vision-Language Models [85.51753014478315]
本稿では,新しいプラグ・アンド・プレイ・トレーニングフリープルーニング手法であるAdaptPruneを紹介する。空間距離とトークン類似性を適応的NMSアプローチと組み合わせることで、従来の注意に基づくプルーニングに基づいている。当社のアプローチはトークンの重要性を総合的に評価することを保証するとともに,プルーニング決定を大幅に改善する。
論文参考訳（メタデータ） (2025-03-11T03:58:17Z)
Scaled and Inter-token Relation Enhanced Transformer for Sample-restricted Residential NILM [0.0]
本稿では,2つの革新点を持つトランスフォーマーアーキテクチャを提案する。提案手法をREDDデータセット上で検証し, 各種アプライアンスに対してF1スコアを10～15%向上させる結果を得た。
論文参考訳（メタデータ） (2024-10-12T18:58:45Z)
MimiQ: Low-Bit Data-Free Quantization of Vision Transformers with Encouraging Inter-Head Attention Similarity [32.532780329341186]
データフリー量子化(DFQ)は、元のトレーニングデータなしで、しばしば合成データセットを通じて、フル精度のネットワークから軽量なネットワークを作成するテクニックである。視覚変換器(ViT)アーキテクチャにはいくつかのDFQ法が提案されているが、低ビット設定では有効性は得られていない。そこで我々は,視覚障害者のための新しいDFQ手法であるMimiQを考案した。
論文参考訳（メタデータ） (2024-07-29T13:57:40Z)
DAT++: Spatially Dynamic Vision Transformer with Deformable Attention [87.41016963608067]
Deformable Attention Transformer (DAT++)を提案する。 DAT++は、85.9%のImageNet精度、54.5および47.0のMS-COCOインスタンスセグメンテーションmAP、51.5のADE20KセマンティックセグメンテーションmIoUで、様々なビジュアル認識ベンチマークで最先端の結果を達成している。
論文参考訳（メタデータ） (2023-09-04T08:26:47Z)
Generic Attention-model Explainability by Weighted Relevance Accumulation [9.816810016935541]
本稿では,トークン値の重要性を考慮に入れた重み付き関連性戦略を提案する。提案手法を評価するために,CLIPをベースとした2段階モデルCLIPmapperを提案する。
論文参考訳（メタデータ） (2023-08-20T12:02:30Z)
Calibrating Undisciplined Over-Smoothing in Transformer for Weakly Supervised Semantic Segmentation [51.14107156747967]
弱教師付きセマンティックセマンティックセマンティクス(WSSS)は、完全な教師付きアプローチよりもアノテーションが少ないため、かなりの注目を集めている。本研究では,非学際的な過密化に対する深い注意を抑えるための適応的再活性化機構 (AReAM) を提案する。 AReAMは既存のWSSS手法と比較してセグメンテーション性能を大幅に改善し、ノイズを低減し、関連するセマンティック領域に焦点を絞る。
論文参考訳（メタデータ） (2023-05-04T19:11:33Z)
From Saliency to DINO: Saliency-guided Vision Transformer for Few-shot Keypoint Detection [36.9781808268263]
FSKD(Few-shot Keypoint Detection)は、参照サンプルに応じて、新規またはベースキーポイントを含むキーポイントをローカライズする。 FSKDは、ユビキタスノイズと曖昧な局所パターンを克服するために、キーポイント類似性学習に意味論的に意味のある関係を必要とする。数発のキーポイント検出のための新しいサリエンシ誘導型視覚変換器であるSalViTを提案する。
論文参考訳（メタデータ） (2023-04-06T15:22:34Z)
Transformer Interpretability Beyond Attention Visualization [87.96102461221415]
自己保持技術、特にトランスフォーマーは、テキスト処理の分野を支配しています。本研究では,トランスフォーマーネットワークの関連性を計算する新しい手法を提案する。
論文参考訳（メタデータ） (2020-12-17T18:56:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。