論文の概要: A Sensorimotor Vision Transformer

• arxiv url: http://arxiv.org/abs/2504.02536v1
• Date: Thu, 03 Apr 2025 12:37:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-04 12:56:21.753975
• Title: A Sensorimotor Vision Transformer
• Title（参考訳）: センサモレータ・ビジョン・トランス
• Authors: Konrad Gadzicki, Kerstin Schill, Christoph Zetzsche,
• Abstract要約: Sensorimotor Transformer (SMT) は人間の眼球運動に触発された視覚モデルである。 SMTは、本質的な2次元(i2D)特徴に基づいて、最も健全なパッチを特定し、選択する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: This paper presents the Sensorimotor Transformer (SMT), a vision model inspired by human saccadic eye movements that prioritize high-saliency regions in visual input to enhance computational efficiency and reduce memory consumption. Unlike traditional models that process all image patches uniformly, SMT identifies and selects the most salient patches based on intrinsic two-dimensional (i2D) features, such as corners and occlusions, which are known to convey high-information content and align with human fixation patterns. The SMT architecture uses this biological principle to leverage vision transformers to process only the most informative patches, allowing for a substantial reduction in memory usage that scales with the sequence length of selected patches. This approach aligns with visual neuroscience findings, suggesting that the human visual system optimizes information gathering through selective, spatially dynamic focus. Experimental evaluations on Imagenet-1k demonstrate that SMT achieves competitive top-1 accuracy while significantly reducing memory consumption and computational complexity, particularly when a limited number of patches is used. This work introduces a saccade-like selection mechanism into transformer-based vision models, offering an efficient alternative for image analysis and providing new insights into biologically motivated architectures for resource-constrained applications.
• Abstract（参考訳）: 本稿では,視覚入力における高彩度領域を優先し,計算効率を高め,メモリ消費を低減する視覚モデルであるSensorimotor Transformer (SMT)を提案する。 すべての画像パッチを均一に処理する従来のモデルとは異なり、SMTはコーナーやオクルージョンのような内在的な2次元(i2D)特徴に基づいて最も健全なパッチを特定し、選択する。 SMTアーキテクチャは、この生物学的原理を利用して視覚変換器を利用して最も情報性の高いパッチのみを処理し、選択したパッチのシーケンス長でスケールするメモリ使用量を大幅に削減する。 このアプローチは視覚神経科学の知見と一致し、人間の視覚システムは選択的、空間的ダイナミックな焦点を通しての情報収集を最適化することを示唆している。 Imagenet-1kでの実験的評価は、SMTが競合するトップ1の精度を実現し、特に限られた数のパッチを使用する場合、メモリ消費と計算の複雑さを著しく低減していることを示している。 この研究は、ササードのような選択機構をトランスフォーマーベースの視覚モデルに導入し、画像解析の効率的な代替手段を提供し、リソース制約されたアプリケーションのための生物学的に動機付けられたアーキテクチャに関する新たな洞察を提供する。

関連論文リスト

• DAMamba: Vision State Space Model with Dynamic Adaptive Scan [51.81060691414399]
  状態空間モデル(SSM)は近年、コンピュータビジョンにおいて大きな注目を集めている。 スキャン順序と領域を適応的に割り当てるデータ駆動型動的適応スキャン(DAS)を提案する。 DASをベースとしたビジョンバックボーンDAMambaの提案は,現在のビジョンタスクにおけるMambaモデルよりもはるかに優れている。
  論文  参考訳（メタデータ） (2025-02-18T08:12:47Z)
• Efficient Visual State Space Model for Image Deblurring [83.57239834238035]
  畳み込みニューラルネットワーク(CNN)とビジョントランスフォーマー(ViT)は、画像復元において優れた性能を発揮している。 本稿では,画像のデブロアに対する簡易かつ効果的な視覚状態空間モデル(EVSSM)を提案する。
  論文  参考訳（メタデータ） (2024-05-23T09:13:36Z)
• SeUNet-Trans: A Simple yet Effective UNet-Transformer Model for Medical Image Segmentation [0.0]
  医用画像セグメンテーションのためのシンプルなUNet-Transformer(seUNet-Trans)モデルを提案する。 提案手法では,UNetモデルを特徴抽出器として設計し,入力画像から複数の特徴マップを生成する。 UNetアーキテクチャと自己認識機構を活用することで、我々のモデルはローカルとグローバルの両方のコンテキスト情報を保存するだけでなく、入力要素間の長距離依存関係をキャプチャできる。
  論文  参考訳（メタデータ） (2023-10-16T01:13:38Z)
• Laplacian-Former: Overcoming the Limitations of Vision Transformers in Local Texture Detection [3.784298636620067]
  Vision Transformer (ViT) モデルは、幅広いコンピュータビジョンタスクにおいてブレークスルーを実証している。 これらのモデルは、画像の高周波成分を捉えるのに苦労しており、局所的なテクスチャやエッジ情報を検出する能力を制限することができる。 本稿では,ラプラシアンピラミッド内の周波数情報を適応的に補正することで自己注意マップを向上する新しい手法であるラプラシアン・フォーマーを提案する。
  論文  参考訳（メタデータ） (2023-08-31T19:56:14Z)
• MoViT: Memorizing Vision Transformers for Medical Image Analysis [13.541165687193581]
  トランスフォーマーベースのアーキテクチャのトレーニングとデプロイを成功させるために,大規模なデータセットの必要性を軽減するために,覚醒型ビジョントランスフォーマー(MoViT)を提案する。 MoViTはトレーニングデータのわずか3.0%でViTの競争性能に達することができる。
  論文  参考訳（メタデータ） (2023-03-27T19:12:02Z)
• GM-NeRF: Learning Generalizable Model-based Neural Radiance Fields from Multi-view Images [79.39247661907397]
  本稿では,自由視点画像の合成に有効なフレームワークであるGeneralizable Model-based Neural Radiance Fieldsを提案する。 具体的には、多視点2D画像からの出現コードを幾何学的プロキシに登録するための幾何学誘導型アテンション機構を提案する。
  論文  参考訳（メタデータ） (2023-03-24T03:32:02Z)
• ViTs for SITS: Vision Transformers for Satellite Image Time Series [52.012084080257544]
  ビジョン変換器(ViT)に基づく一般衛星画像時系列(SITS)処理のための完全アテンショナルモデルを提案する。 TSViTはSITSレコードを空間と時間で重複しないパッチに分割し、トークン化し、分解されたテンポロ空間エンコーダで処理する。
  論文  参考訳（メタデータ） (2023-01-12T11:33:07Z)
• Attentive Symmetric Autoencoder for Brain MRI Segmentation [56.02577247523737]
  視覚変換器(ViT)をベースとした3次元脳MRIセグメンテーションタスクのための新しいアテンテーティブシンメトリオートエンコーダを提案する。 事前学習の段階では、提案するオートエンコーダがより注意を払って、勾配測定値に従って情報パッチを再構築する。 実験の結果,提案手法は最先端の自己教師付き学習法や医用画像分割モデルよりも優れていた。
  論文  参考訳（メタデータ） (2022-09-19T09:43:19Z)
• Vision Transformer with Convolutions Architecture Search [72.70461709267497]
  本稿では,畳み込み型アーキテクチャサーチ(VTCAS)を用いたアーキテクチャ探索手法を提案する。 VTCASによって探索された高性能バックボーンネットワークは、畳み込みニューラルネットワークの望ましい特徴をトランスフォーマーアーキテクチャに導入する。 これは、特に低照度屋内シーンにおいて、物体認識のためのニューラルネットワークの堅牢性を高める。
  論文  参考訳（メタデータ） (2022-03-20T02:59:51Z)
• Couplformer:Rethinking Vision Transformer with Coupling Attention Map [7.789667260916264]
  Transformerモデルはコンピュータビジョン領域において優れた性能を示した。 本稿では,2つのサブ行列にアテンションマップを分割する,Couplformerという新しいメモリエコノミーアテンション機構を提案する。 実験の結果、Couplformerは通常のTransformerに比べて28%のメモリ消費を著しく削減できることがわかった。
  論文  参考訳（メタデータ） (2021-12-10T10:05:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。