論文の概要: DAVE: Distribution-aware Attribution via ViT Gradient Decomposition
- arxiv url: http://arxiv.org/abs/2602.06613v1
- Date: Fri, 06 Feb 2026 11:15:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-09 22:18:26.374174
- Title: DAVE: Distribution-aware Attribution via ViT Gradient Decomposition
- Title(参考訳): DAVE: ViTグラディエント分解による分布認識属性
- Abstract要約: 視覚変換器(ViT)はコンピュータビジョンにおいて支配的なアーキテクチャとなっている。
本稿では, DAVE textit(underlineDistribution-aware underlineAttribution via UnderlineViT Gradient DunderlineEcomposition)を紹介する。
- 参考スコア(独自算出の注目度): 48.89010827624572
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Vision Transformers (ViTs) have become a dominant architecture in computer vision, yet producing stable and high-resolution attribution maps for these models remains challenging. Architectural components such as patch embeddings and attention routing often introduce structured artifacts in pixel-level explanations, causing many existing methods to rely on coarse patch-level attributions. We introduce DAVE \textit{(\underline{D}istribution-aware \underline{A}ttribution via \underline{V}iT Gradient D\underline{E}composition)}, a mathematically grounded attribution method for ViTs based on a structured decomposition of the input gradient. By exploiting architectural properties of ViTs, DAVE isolates locally equivariant and stable components of the effective input--output mapping. It separates these from architecture-induced artifacts and other sources of instability.
- Abstract(参考訳): ビジョントランスフォーマー(ViT)はコンピュータビジョンにおいて支配的なアーキテクチャとなっているが、安定かつ高解像度の属性マップを生成することは依然として困難である。
パッチ埋め込みやアテンションルーティングのようなアーキテクチャコンポーネントは、しばしばピクセルレベルの説明で構造化されたアーティファクトを導入し、多くの既存のメソッドがパッチレベルの属性を粗いものにしている。
DAVE \textit{(\underline{D}istribution-aware \underline{A}ttribution via \underline{V}iT Gradient D\underline{E}composition)} は、入力勾配の構造化分解に基づいて、数学的に基底化されたViTの帰属法である。
DAVEは、ViTのアーキテクチャ特性を利用して、効率的な入出力マッピングの局所的同変および安定成分を分離する。
これらは、アーキテクチャによって引き起こされたアーティファクトや他の不安定なソースから分離する。
関連論文リスト
- HiLRP: Toward One Trustworthy Explanation for Vision Transformer: Conservation-Valid Attribution via Attention Primitives [0.4899818550820576]
ビジョントランスフォーマー(ViT)の設計は、コンボリューションステム、ウィンドウド、リニア、マルチ軸アテンション、マージパッチ、空間リダクションを組み合わさって、ますます多様化している。
この多様性は既存の帰属法に問題をもたらし、その仮定はViTの変種をまたいでは成立しないことが多い。
既存の手法が、このアーキテクチャ領域にまたがる統一的な属性フレームワークを提供していないことを示す。
論文 参考訳(メタデータ) (2026-09-01T14:16:08Z) - Degradation-Aware Prompt Learning with Cross-Modal Compensation for Adverse Weather Removal [56.34780145346335]
Degradation-Aware Cross-Modal Prompt Compensation Network (DCMPC-Net)
DCMPC-Netは、CMPG(Cross-Modal Prompt Generator)、PGAAM(Prompt-Guided Attention Alignment Module)、DFCM(Dual Feature Compensation Module)で構成される。
実験により、DCMPC-Netはタスク固有の設定と統一された設定の両方で最先端のメソッドより優れていることが示された。
論文 参考訳(メタデータ) (2026-08-07T08:13:40Z) - When Geometry Aligns: Dihedral Hidden-State Transformations in UNet, ViT, and DiT Architectures [20.803275645784694]
拡散変圧器(DiT)における構造的幾何摂動の影響について検討する。
一貫性のある変換では安定性が向上する一方、一貫性のない変換では予測可能なアーキテクチャ固有の障害が発生します。
これらの結果は、ViTのサポートと制御されたDiT分析とともに、安定な隠れ状態干渉の鍵原理として幾何整合性を確立する。
論文 参考訳(メタデータ) (2026-07-03T19:47:07Z) - Where, What, Why, and Importance: Structured Defect Grounding for Text-to-Image Feedback [51.08692072066352]
テキスト・トゥ・イメージ(T2I)モデルは依然として局所的で微妙で構造的に複雑な失敗を示す。
構造的欠陥接地は, 各欠陥を位置, タイプ, 理由, 重要性としてモデル化し, 構造的集合予測としてT2Iの診断を行う。
我々の検出器は、構造欠陥接地におけるプロプライエタリなVLMよりも優れています。
論文 参考訳(メタデータ) (2026-06-04T13:03:16Z) - When Do Graph Foundation Models Transfer? A Data-Centric Theory [68.54337055801571]
グラフ基盤モデル(GFMs)は、様々なグラフドメインにまたがる単一のバックボーンの再利用を目的としているが、それらの転送は不均一であり、負の転送を示すことがある。
我々は、セットベースおよびメッセージパストークン化の両方に対して、任意のリプシッツバックボーンは、クロスドメイン出力シフトの明示的な分解を認めていることを示す。
我々はスペクトルPEの安定性を保証するとともに、固有ベクトルと部分空間に基づくPEの対比挙動を強調する。
論文 参考訳(メタデータ) (2026-05-28T12:07:27Z) - Hierarchical Consistency Learning for Test-time Adaptation in Camouflage Perception [50.278200968044665]
カモフラージュされた物体検出(COD)は、物理的属性を通して背景から最小限の知覚差を示すターゲットをローカライズすることを目的としている。
既存のメソッドは、静的なTrain-then-freezeパラダイムによって制約されており、ドメインの剛性と依存性のアノテーションに悩まされている。
動的表現再構成のためのテスト時間適応を統合した階層的一貫性学習フレームワークを提案する。
論文 参考訳(メタデータ) (2026-05-25T09:57:46Z) - Diffusion Graph Posterior Sampling for Nonlinear Inverse Problems with Application to Electrical Impedance Tomography [4.444502855364884]
本稿では,グラフ構造化サンプリング(DPS)データを拡張した新しいフレームワークを提案する。
我々は2次元三角形メッシュ上で無条件のスコアベース拡散モデルを構築した。
また、明示的な正規化項を含む正規化変項Sも導入する。
論文 参考訳(メタデータ) (2026-05-19T09:57:10Z) - Beyond Point-Wise Matching: Structural Representation Alignment for Accelerating Diffusion Transformers [93.3976834364707]
本稿では,特徴写像のリレーショナル幾何における整合性を実現する構造的RePresentation AlignmentフレームワークであるsREPAを提案する。
モデルが事前訓練された特徴から全体的空間配置と構造的相関を内包するように促すことにより、sREPAはより高速でより安定した収束を達成する。
論文 参考訳(メタデータ) (2026-05-16T12:01:04Z) - Causal Attribution via Activation Patching [11.144828411529495]
視覚変換器(ViT)のためのアクティベーションパッチング(CAAP)による因果属性を提案する。
CAAPは、内部アクティベーションに直接介入することで、ViTの予測に対する個々のイメージパッチの寄与を推定する。
結果の帰属マップは、パッチに関連する内部表現がモデルの予測に因果効果を反映している。
論文 参考訳(メタデータ) (2026-03-13T23:25:49Z) - Hybrid Dual-Path Linear Transformations for Efficient Transformer Architectures [0.0]
本稿では,アフィン変換を2つのトポロジカルな経路に分解するHybrid Dual-Path Linear (HDPL)演算子について紹介する。
FineWeb-Eduデータセットの実験では、HDPLアーキテクチャが標準のLlamaスタイルのベースラインより優れていることが示されている。
本稿では,トランスフォーマーのバックボーン内での確率的潜在空間の明示的な物質化が,重要な建築的余裕として果たす役割について論じる。
論文 参考訳(メタデータ) (2026-02-05T20:16:10Z) - Equi-ViT: Rotational Equivariant Vision Transformer for Robust Histopathology Analysis [4.388994056961038]
等価な畳み込みカーネルをViTアーキテクチャのパッチ埋め込みステージに統合するEqui-ViTを提案する。
Equi-ViTは、画像の向きによって、良好な回転整合パッチ埋め込みと安定した分類性能を実現する。
論文 参考訳(メタデータ) (2026-01-14T04:03:20Z) - High-Fidelity Differential-information Driven Binary Vision Transformer [38.19452875887032]
ビジョントランスフォーマーのバイナリ化(ViT)は、高い計算/ストレージ要求とエッジデバイスデプロイメントの制約の間のトレードオフに対処する、有望なアプローチを提供する。
本稿では,従来の ViT アーキテクチャと計算効率を両立させながら,高情報化が可能な新しいバイナリ ViT である DIDB-ViT を提案する。
論文 参考訳(メタデータ) (2025-07-03T00:59:53Z) - Towards Differential Handling of Various Blur Regions for Accurate Image Deblurring [0.0]
本稿では,異なるぼかし領域に対して差分処理を行うディファレンシャルハンドリングネットワーク(DHNet)を提案する。
具体的には、非線形特性を劣化ネットワークに統合するVolterraブロック(VBlock)を設計する。
モデルがぼやけた領域の様々な劣化度に適応的に対応できるようにするため,分解度認識エキスパートモジュールを考案した。
論文 参考訳(メタデータ) (2025-02-27T01:37:30Z) - Compressing Image-to-Image Translation GANs Using Local Density
Structures on Their Learned Manifold [69.33930972652594]
GAN(Generative Adversarial Networks)は、画像から画像への変換のための複雑なデータ分散のモデル化において、顕著な成功を収めている。
既存のGAN圧縮法は主に知識蒸留や畳み込み分類器の刈り取り技術に依存している。
学習多様体上の元のパラメータ重モデルの密度構造を保存するために,プルーンドモデルを明示的に促すことにより,新しいアプローチを提案する。
画像変換GANモデルであるPix2PixとCycleGANについて,様々なベンチマークデータセットとアーキテクチャを用いて実験を行い,本手法の有効性を実証した。
論文 参考訳(メタデータ) (2023-12-22T15:43:12Z) - Distance Weighted Trans Network for Image Completion [52.318730994423106]
本稿では,DWT(Distance-based Weighted Transformer)を利用した画像コンポーネント間の関係をよりよく理解するためのアーキテクチャを提案する。
CNNは、粗い事前の局所的なテクスチャ情報を強化するために使用される。
DWTブロックは、特定の粗いテクスチャやコヒーレントな視覚構造を復元するために使用される。
論文 参考訳(メタデータ) (2023-10-11T12:46:11Z) - CAIT: Triple-Win Compression towards High Accuracy, Fast Inference, and Favorable Transferability For ViTs [89.79139531731637]
ビジョントランスフォーマー (ViT) は様々なビジョンタスクの最先端モデルとして登場した。
本稿では,高次アンダーライン精度,高速アンダーライン推論速度,下流タスクに対する好適なアンダーライン変換性を両立させたViTの合同アンダーライン圧縮法を提案する。
論文 参考訳(メタデータ) (2023-09-27T16:12:07Z) - Rethinking the Zigzag Flattening for Image Reading [48.976491898131265]
我々はHilbert fractal flattening (HF) をコンピュータビジョンにおけるシーケンスオーダの別の方法として検討する。
HFは空間的局所性を維持する上で他の曲線よりも優れていることが証明されている。
ほとんどのディープニューラルネットワーク(DNN)に簡単に接続できる。
論文 参考訳(メタデータ) (2022-02-21T13:53:04Z) - Global Vision Transformer Pruning with Hessian-Aware Saliency [93.33895899995224]
この研究はヴィジュアルトランスフォーマー(ViT)モデルの共通設計哲学に挑戦する。
遅延を意識した規則化による直接遅延低減を実現し,すべての層や構造に匹敵する新しいヘッセン型構造解析基準を導出する。
DeiT-Baseモデルで反復的なプルーニングを実行すると、NViT(Novel ViT)と呼ばれる新しいアーキテクチャファミリが生まれ、パラメータをより効率的に利用する新しいパラメータが現れる。
論文 参考訳(メタデータ) (2021-10-10T18:04:59Z) - PnP-DETR: Towards Efficient Visual Analysis with Transformers [146.55679348493587]
近年、DeTRはトランスフォーマーを用いたソリューションビジョンタスクの先駆者であり、画像特徴マップを直接オブジェクト結果に変換する。
最近の変圧器を用いた画像認識モデルとTTは、一貫した効率向上を示す。
論文 参考訳(メタデータ) (2021-09-15T01:10:30Z) - Demystifying Inductive Biases for $\eta$-VAE Based Architectures [19.53632220171481]
私たちは、VAEベースのアーキテクチャの成功に責任を持つ帰納バイアスに光を当てました。
古典的なデータセットでは, 生成因子によって誘導される分散構造は, VAEの目的によって促進される潜伏方向と都合よく一致していることを示す。
論文 参考訳(メタデータ) (2021-02-12T23:57:20Z) - Learning Propagation Rules for Attribution Map Generation [146.71503336770886]
本稿では,属性マップを生成する専用手法を提案する。
具体的には,各ピクセルに対して適応的な伝搬規則を可能にする学習可能なプラグインモジュールを提案する。
導入された学習可能なモジュールは、高階差分サポートを備えた任意のオートグレードフレームワークでトレーニングすることができる。
論文 参考訳(メタデータ) (2020-10-14T16:23:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。