論文の概要: Visual Attention Emerges from Recurrent Sparse Reconstruction

• arxiv url: http://arxiv.org/abs/2204.10962v1
• Date: Sat, 23 Apr 2022 00:35:02 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-26 12:59:31.910719
• Title: Visual Attention Emerges from Recurrent Sparse Reconstruction
• Title（参考訳）: リカレントスパース再建による視覚注意の創出
• Authors: Baifeng Shi, Yale Song, Neel Joshi, Trevor Darrell, Xin Wang
• Abstract要約: 本稿では,人間の視覚的注意機構の2つの特徴,すなわち再発と空間性に基づく新しい注意形態について述べる。 自己注意は単一ステップの最適化と空間制約のないVARSの特殊な場合であることを示す。 VARSは、一般的な視覚変換器における自己注意の代替として容易に利用でき、様々なベンチマークでその堅牢性を一貫して改善することができる。
• 参考スコア（独自算出の注目度）: 82.78753751860603
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Visual attention helps achieve robust perception under noise, corruption, and distribution shifts in human vision, which are areas where modern neural networks still fall short. We present VARS, Visual Attention from Recurrent Sparse reconstruction, a new attention formulation built on two prominent features of the human visual attention mechanism: recurrency and sparsity. Related features are grouped together via recurrent connections between neurons, with salient objects emerging via sparse regularization. VARS adopts an attractor network with recurrent connections that converges toward a stable pattern over time. Network layers are represented as ordinary differential equations (ODEs), formulating attention as a recurrent attractor network that equivalently optimizes the sparse reconstruction of input using a dictionary of "templates" encoding underlying patterns of data. We show that self-attention is a special case of VARS with a single-step optimization and no sparsity constraint. VARS can be readily used as a replacement for self-attention in popular vision transformers, consistently improving their robustness across various benchmarks. Code is released on GitHub (https://github.com/bfshi/VARS).
• Abstract（参考訳）: 視覚の注意は、現代のニューラルネットワークが不足している領域である人間の視覚におけるノイズ、腐敗、分布シフトの下での堅牢な知覚を達成するのに役立つ。 本稿では,人間の視覚的注意機構の2つの特徴に基づく新たな注意体系であるVARS(Recurrent Sparse Restruction)について紹介する。 関連した特徴は、ニューロン間のリカレントな接続を通じてグループ化される。 VARSは、時間とともに安定したパターンに収束する繰り返し接続を持つアトラクタネットワークを採用する。 ネットワーク層は通常の微分方程式(odes)として表現され、データの基本パターンを符号化する"テンプレート"の辞書を使って入力のスパース再構成を等価に最適化する再帰的アトラクタネットワークとして注意を喚起する。 自己注意は単一ステップ最適化と空間制約のないVARSの特殊な場合であることを示す。 VARSは、一般的な視覚変換器における自己注意の代替として容易に利用でき、様々なベンチマークでその堅牢性を一貫して改善することができる。 コードはgithubで公開されている(https://github.com/bfshi/vars)。

関連論文リスト

• The Dynamic Net Architecture: Learning Robust and Holistic Visual Representations Through Self-Organizing Networks [3.9848584845601014]
  動的ネットアーキテクチャ(DNA)と呼ばれる新しいインテリジェントシステムアーキテクチャを提案する。 DNAは繰り返し安定化されたネットワークに依存し、それを視覚に応用するために議論する。
  論文  参考訳（メタデータ） (2024-07-08T06:22:10Z)
• A Primal-Dual Framework for Transformers and Neural Networks [52.814467832108875]
  自己注意は、シーケンスモデリングタスクにおけるトランスフォーマーの顕著な成功の鍵である。 自己アテンションは、支持ベクトル回帰問題から導かれる支持ベクトル展開に対応することを示す。 Batch Normalized Attention (Attention-BN) と Scaled Head (Attention-SH) の2つの新しい注意点を提案する。
  論文  参考訳（メタデータ） (2024-06-19T19:11:22Z)
• Leveraging Low-Rank and Sparse Recurrent Connectivity for Robust Closed-Loop Control [63.310780486820796]
  繰り返し接続のパラメータ化が閉ループ設定のロバスト性にどのように影響するかを示す。 パラメータが少ないクローズドフォーム連続時間ニューラルネットワーク(CfCs)は、フルランクで完全に接続されたニューラルネットワークよりも優れています。
  論文  参考訳（メタデータ） (2023-10-05T21:44:18Z)
• Singular Value Representation: A New Graph Perspective On Neural Networks [0.0]
  ニューラルネットワークの内部状態を表現するための新しい手法であるSVR(Singular Value Representation)を導入する。 完全連結層と畳み込み層に対するスペクトルニューロン間の有意義な接続を識別するための正確な統計的枠組みを導出する。
  論文  参考訳（メタデータ） (2023-02-16T10:10:31Z)
• Optimized Symbolic Interval Propagation for Neural Network Verification [1.8047694351309207]
  DPNeurifyFVは低次元入力空間を持つReLUネットワークの分岐結合解法である。 本稿では,空中衝突回避ネットワークACAS Xuに対するアプローチを評価し,現状のツールと比較して実行時の改善を実証する。
  論文  参考訳（メタデータ） (2022-12-15T14:15:29Z)
• A Generic Shared Attention Mechanism for Various Backbone Neural Networks [53.36677373145012]
  自己注意モジュール(SAM)は、異なる層にまたがる強い相関した注意マップを生成する。 Dense-and-Implicit Attention (DIA)はSAMをレイヤ間で共有し、長期間のメモリモジュールを使用する。 我々のシンプルで効果的なDIAは、様々なネットワークバックボーンを一貫して拡張できます。
  論文  参考訳（メタデータ） (2022-10-27T13:24:08Z)
• Reconstruction-guided attention improves the robustness and shape processing of neural networks [5.156484100374057]
  オブジェクト再構成を生成する反復エンコーダデコーダネットワークを構築し,トップダウンの注目フィードバックとして利用する。 本モデルでは,様々な画像摂動に対して強い一般化性能を示す。 本研究は、再構成に基づくフィードバックのモデリングが、強力な注意機構を持つAIシステムを実現することを示す。
  論文  参考訳（メタデータ） (2022-09-27T18:32:22Z)
• Improving Neural Predictivity in the Visual Cortex with Gated Recurrent Connections [0.0]
  我々は,腹側視覚ストリームのユビキタスな特徴である横方向のリカレント接続を考慮したアーキテクチャに焦点を移し,適応的受容場を創出することを目指している。 本研究は,我々のアプローチの堅牢性と活性化の生物学的忠実性を高めるために,特定のデータ拡張技術を用いている。
  論文  参考訳（メタデータ） (2022-03-22T17:27:22Z)
• Relational Self-Attention: What's Missing in Attention for Video Understanding [52.38780998425556]
  リレーショナル・セルフアテンション(RSA)と呼ばれるリレーショナル・フィーチャー・トランスフォーメーションを導入する。 我々の実験およびアブレーション研究により、RSAネットワークは、畳み込みや自己意図的ネットワークよりも大幅に優れていることが示された。
  論文  参考訳（メタデータ） (2021-11-02T15:36:11Z)
• Robust Person Re-Identification through Contextual Mutual Boosting [77.1976737965566]
  本研究では,歩行者の局地化を目的としたコンテキスト相互ブースティングネットワーク(CMBN)を提案する。 歩行者をローカライズし、文脈情報と統計的推測を効果的に活用することで特徴を再検討する。 ベンチマークの実験は、最先端のアーキテクチャと比較してアーキテクチャの優位性を示している。
  論文  参考訳（メタデータ） (2020-09-16T06:33:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。