論文の概要: A recurrent vision transformer shows signatures of primate visual attention

• arxiv url: http://arxiv.org/abs/2502.10955v1
• Date: Sun, 16 Feb 2025 02:22:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-18 14:13:57.617209
• Title: A recurrent vision transformer shows signatures of primate visual attention
• Title（参考訳）: リカレント・ビジョン・トランスフォーマーは霊長類の視覚的注意のサインを表示する
• Authors: Jonathan Morgan, Badr Albanna, James P. Herman,
• Abstract要約: 本稿では、自己アテンションとリカレントメモリを統合したリカレントビジョントランス(Recurrent Vision Transformer, Recurrent ViT)を提案する。 本モデルでは,クエーの精度向上やクエーの応答の高速化など,注意のサインのような霊長類を呈する。 これらの結果から、反復的なフィードバックを自己注意に取り入れることで、霊長類の視覚的注意を捉える重要な側面を捉えることができることが示唆された。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Attention is fundamental to both biological and artificial intelligence, yet research on animal attention and AI self attention remains largely disconnected. We propose a Recurrent Vision Transformer (Recurrent ViT) that integrates self-attention with recurrent memory, allowing both current inputs and stored information to guide attention allocation. Trained solely via sparse reward feedback on a spatially cued orientation change detection task, a paradigm used in primate studies, our model exhibits primate like signatures of attention, including improved accuracy and faster responses for cued stimuli that scale with cue validity. Analysis of self-attention maps reveals dynamic spatial prioritization with reactivation prior to expected changes, and targeted perturbations produce performance shifts similar to those observed in primate frontal eye fields and superior colliculus. These findings demonstrate that incorporating recurrent feedback into self attention can capture key aspects of primate visual attention.
• Abstract（参考訳）: 注意は、生物と人工知能の両方に基本的だが、動物への注意とAIの自己注意の研究は、いまだにほとんど無関係である。 本稿では,自己アテンションとリカレントメモリを統合したリカレントビジョントランス (Recurrent ViT) を提案する。 主観的研究で使用されるパラダイムである空間的指向性変化検出タスクのスパース報酬フィードバックのみで訓練された本モデルは、クエーの妥当性に応じてスケールするクエート刺激に対する精度の向上と応答の高速化を含む注意のサインのような霊長類を呈示する。 自己注意マップの解析では、期待される変化に先立って、反応を伴う動的空間優先順位付けが示され、標的摂動は、霊長類前眼野や上丘で見られるものと類似した性能変化をもたらす。 これらの結果から、反復的なフィードバックを自己注意に取り入れることで、霊長類の視覚的注意を捉える重要な側面を捉えることができることが示唆された。

関連論文リスト

• On the Surprising Effectiveness of Attention Transfer for Vision Transformers [118.83572030360843]
  従来の知恵は、事前学習型視覚変換器(ViT)が有用な表現を学習することで、下流のパフォーマンスを向上させることを示唆している。 予備学習で学んだ特徴や表現は必須ではない。
  論文  参考訳（メタデータ） (2024-11-14T18:59:40Z)
• Learning from Observer Gaze:Zero-Shot Attention Prediction Oriented by Human-Object Interaction Recognition [13.956664101032006]
  まず,740種類の相互作用カテゴリの530,000個の固定点を含む,IGという新しい視線固定データセットを収集した。 次に、ゼロショットインタラクション指向の注意予測タスクZeroIAを紹介し、トレーニング中に遭遇しないインタラクションに対する視覚的手がかりを予測するモデルに挑戦する。 第3に、人間観測者の認知過程をエミュレートしてZeroIA問題に取り組むための対話型注意モデルIAを提案する。
  論文  参考訳（メタデータ） (2024-05-16T09:34:57Z)
• Shifting Focus with HCEye: Exploring the Dynamics of Visual Highlighting and Cognitive Load on User Attention and Saliency Prediction [3.2873782624127834]
  本稿では,視覚強調(永続的・動的)と両タスクによる認知負荷が視線行動に及ぼす影響について検討する。 認知負荷の異なる場合、最先端のサリエンシモデルにより、その性能が向上することを示す。
  論文  参考訳（メタデータ） (2024-04-22T14:45:30Z)
• Top-Down Visual Attention from Analysis by Synthesis [87.47527557366593]
  我々は、古典的分析・合成(AbS)の視覚的視点からトップダウンの注意を考察する。 本稿では,AbSを変動的に近似したトップダウン変調ViTモデルであるAbSViT(Analytic-by-Synthesis Vision Transformer)を提案する。
  論文  参考訳（メタデータ） (2023-03-23T05:17:05Z)
• Do Transformer Models Show Similar Attention Patterns to Task-Specific Human Gaze? [0.0]
  最先端のNLPモデルにおける自己注意機能は、人間の注意と相関することが多い。 本研究では、大規模事前学習言語モデルにおける自己注意が、人間の注意の古典的認知モデルとしての課題読解における人間の眼球固定パターンの予測であるかどうかを検討する。
  論文  参考訳（メタデータ） (2022-04-25T08:23:13Z)
• Visualizing and Understanding Patch Interactions in Vision Transformer [96.70401478061076]
  Vision Transformer (ViT) は様々なコンピュータビジョンタスクにおいて主要なツールとなっている。 本稿では,視覚変換器のパッチ間の重要な注意相互作用を分析し,解釈するための,説明可能な新しい可視化手法を提案する。
  論文  参考訳（メタデータ） (2022-03-11T13:48:11Z)
• Counterfactual Attention Learning for Fine-Grained Visual Categorization and Re-identification [101.49122450005869]
  本稿では,因果推論に基づくより効果的な注意力学習法を提案する。 具体的には,学習した視覚的注意がネットワーク予測に与える影響を分析する。 本手法は,広範囲の粒度認識タスクにおいて評価する。
  論文  参考訳（メタデータ） (2021-08-19T14:53:40Z)
• SparseBERT: Rethinking the Importance Analysis in Self-attention [107.68072039537311]
  トランスフォーマーベースのモデルは、その強力な能力のために自然言語処理(NLP)タスクに人気がある。 事前学習モデルの注意マップの可視化は,自己着脱機構を理解するための直接的な方法の一つである。 本研究では,sparsebert設計の指導にも適用可能な微分可能アテンションマスク(dam)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-02-25T14:13:44Z)
• Unsupervised Behaviour Analysis and Magnification (uBAM) using Deep Learning [5.101123537955207]
  運動行動分析は、運動障害とその介入による変化を特定する非侵襲的戦略を提供する。 偏差の検出と拡大による挙動解析のための自動深層学習アルゴリズムであるuBAM(Unsupervised Behavior Analysis and magnification)について紹介する。 中心となる側面は姿勢と行動表現の教師なし学習であり、運動の客観的比較を可能にする。
  論文  参考訳（メタデータ） (2020-12-16T20:07:36Z)
• Visualizing and Understanding Vision System [0.6510507449705342]
  視覚認識再構成ネットワーク (RRN) を用いて, 発達, 認識, 学習, 忘れるメカニズムについて検討する。 数値認識研究では、RRNが様々な視聴条件下でオブジェクト不変性表現を維持できるのを目撃する。 学習・忘れ研究において、本来のシナプス接続のパターン特異性を保ちつつ、全シナプスを低等級に調整することで、新規な構造認識を行う。
  論文  参考訳（メタデータ） (2020-06-11T07:08:49Z)
• Exploring Self-attention for Image Recognition [151.12000247183636]
  画像認識における自己注意の2つの形態について考察する。 ひとつは、標準的なドット積の注意を一般化する、ペアワイズな自己注意である。 もう1つはパッチワイドな自己認識であり、畳み込みよりも厳格に強力です。
  論文  参考訳（メタデータ） (2020-04-28T16:01:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。