論文の概要: Advancing Vision Transformer with Enhanced Spatial Priors

• arxiv url: http://arxiv.org/abs/2604.18549v1
• Date: Mon, 20 Apr 2026 17:41:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-21 21:52:53.025192
• Title: Advancing Vision Transformer with Enhanced Spatial Priors
• Title（参考訳）: 空間優先の強化による視覚変換器の高速化
• Abstract要約: Vision Transformer (ViT) はコンピュータビジョンコミュニティにおいて大きな注目を集めている。 我々は、一般的な目的のために、空間的先行性を明確にした頑健な視覚バックボーンであるRTTを提案する。 RMTの強みを生かしたEuclidean enhanced Vision Transformer (EVT)は、いくつかの重要な改善を取り入れた拡張版である。
• 参考スコア（独自算出の注目度）: 45.601974887796864
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In recent years, the Vision Transformer (ViT) has garnered significant attention within the computer vision community. However, the core component of ViT, Self-Attention, lacks explicit spatial priors and suffers from quadratic computational complexity, limiting its applicability. To address these issues, we have proposed RMT, a robust vision backbone with explicit spatial priors for general purposes. RMT utilizes Manhattan distance decay to introduce spatial information and employs a horizontal and vertical decomposition attention method to model global information. Building on the strengths of RMT, Euclidean enhanced Vision Transformer (EVT) is an expanded version that incorporates several key improvements. Firstly, EVT uses a more reasonable Euclidean distance decay to enhance the modeling of spatial information, allowing for a more accurate representation of spatial relationships compared to the Manhattan distance used in RMT. Secondly, EVT abandons the decomposed attention mechanism featured in RMT and instead adopts a simpler spatially-independent grouping approach, providing the model with greater flexibility in controlling the number of tokens within each group. By addressing these modifications, EVT offers a more sophisticated and adaptable approach to incorporating spatial priors into the Self-Attention mechanism, thus overcoming some of the limitations associated with RMT and further enhancing its applicability in various computer vision tasks. Extensive experiments on Image Classification, Object Detection, Instance Segmentation, and Semantic Segmentation demonstrate that EVT exhibits exceptional performance. Without additional training data, EVT achieves 86.6% top1-acc on ImageNet-1k.
• Abstract（参考訳）: 近年、ビジョントランスフォーマー (ViT) はコンピュータビジョンコミュニティにおいて大きな注目を集めている。 しかし、ViTのコアコンポーネントであるSelf-Attentionは、空間的先行性がなく、2次計算の複雑さに悩まされており、適用性が制限されている。 これらの問題に対処するため、我々は、一般的な目的のために空間的先行を明示した頑健な視覚バックボーンであるRTTを提案した。 RMTはマンハッタン距離減衰を利用して空間情報を導入し、水平および垂直の分解注意法を用いて大域情報をモデル化する。 RMTの強みを生かしたEuclidean enhanced Vision Transformer (EVT)は、いくつかの重要な改善を取り入れた拡張版である。 まず、EVTはより合理的なユークリッド距離減衰を用いて空間情報のモデリングを強化し、RTTで使用されるマンハッタン距離と比較してより正確な空間関係の表現を可能にする。 第二に、EVTはRTTで特徴付けられる分解された注意機構を放棄し、代わりにより単純な空間非依存のグループ化アプローチを採用し、各グループ内のトークン数を制御する柔軟性を高めたモデルを提供する。 これらの修正に対処することで、EVTはより洗練された適応可能なアプローチを提供し、空間的事前を自己認識機構に組み込むことで、RTTに関連するいくつかの制限を克服し、様々なコンピュータビジョンタスクにおける適用性を高める。 画像分類、オブジェクト検出、インスタンスセグメンテーション、セマンティックセグメンテーションに関する大規模な実験は、EVTが異常な性能を示すことを示した。 追加のトレーニングデータなしでは、EVTはImageNet-1kで86.6%のtop1-accを達成した。

関連論文リスト

• OmniVaT: Single Domain Generalization for Multimodal Visual-Tactile Learning [66.4730970958238]
  視覚触覚学習(VTL)は、視覚(VIS)と触覚(TAC)センサーを統合することで、エンボディエージェントが物理的な世界を知覚することを可能にする。 我々はこれらの課題を,マルチモーダルVTLのための単一領域一般化と呼ばれる新しいタスクとして定式化する。 我々は,OmniVaTフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-01-01T14:11:49Z)
• Integrating ConvNeXt and Vision Transformers for Enhancing Facial Age Estimation [10.995974662579124]
  我々は、畳み込みニューラルネットワーク(CNN)と視覚変換器(ViT)を組み合わせた新しいハイブリッドアーキテクチャを提案する。 提案したConvNeXt-ViTハイブリッドソリューションは,ベンチマーク年齢推定データセットを用いて徹底的に評価した。 以上の結果から,ConvNeXt-ViTハイブリッドは従来の手法よりも優れているだけでなく,将来的な年齢推定の基盤となることが示唆された。
  論文  参考訳（メタデータ） (2025-10-31T09:36:28Z)
• Learning Spatial Decay for Vision Transformers [50.63391799053993]
  視覚変換器(ViT)はコンピュータビジョンに革命をもたらしたが、その自己認識機構には明らかに空間誘導バイアスがない。 既存のアプローチでは、固定距離メトリクスに基づくデータ非依存の空間減衰が導入されている。 データ依存型空間減衰の2次元視覚変換器への適応が最初に成功した例を示す。
  論文  参考訳（メタデータ） (2025-08-13T06:18:32Z)
• DSFormer: A Dual-Scale Cross-Learning Transformer for Visual Place Recognition [16.386674597850778]
  本稿では,TransformerベースのクロスラーニングモジュールであるDual-Scale-Former(DSFormer)と,革新的なブロッククラスタリング戦略を統合する新しいフレームワークを提案する。 提案手法は,ほとんどのベンチマークデータセットにまたがって最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2025-07-24T14:29:30Z)
• Efficient High-Resolution Visual Representation Learning with State Space Model for Human Pose Estimation [60.80423207808076]
  高解像度の視覚表現を維持しながら長距離依存関係をキャプチャすることは、人間のポーズ推定のような密集した予測タスクに不可欠である。 マルチスケールの畳み込み操作で視覚状態空間モデルを拡張する動的ビジュアル状態空間(DVSS)ブロックを提案する。 HRVMambaは効率的な高分解能表現学習のための新しいモデルである。
  論文  参考訳（メタデータ） (2024-10-04T06:19:29Z)
• RMT: Retentive Networks Meet Vision Transformers [55.76528783956601]
  近年,ビジョントランスフォーマー (ViT) がコンピュータビジョンコミュニティで注目を集めている。 自己注意は空間的先行性に欠け、二次的な計算複雑性を持つ。 一般的な目的のために,空間的に明瞭なバックボーンを持つ強力な視覚バックボーンであるRTTを提案する。
  論文  参考訳（メタデータ） (2023-09-20T00:57:48Z)
• DAT++: Spatially Dynamic Vision Transformer with Deformable Attention [87.41016963608067]
  Deformable Attention Transformer (DAT++)を提案する。 DAT++は、85.9%のImageNet精度、54.5および47.0のMS-COCOインスタンスセグメンテーションmAP、51.5のADE20KセマンティックセグメンテーションmIoUで、様々なビジュアル認識ベンチマークで最先端の結果を達成している。
  論文  参考訳（メタデータ） (2023-09-04T08:26:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。