論文の概要: Top-Down Visual Attention from Analysis by Synthesis

• arxiv url: http://arxiv.org/abs/2303.13043v2
• Date: Fri, 24 Mar 2023 00:41:48 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-27 11:11:31.903980
• Title: Top-Down Visual Attention from Analysis by Synthesis
• Title（参考訳）: 合成分析によるトップダウン視覚注意
• Authors: Baifeng Shi, Trevor Darrell, Xin Wang
• Abstract要約: 我々は、古典的分析・合成(AbS)の視覚的視点からトップダウンの注意を考察する。 本稿では,AbSを変動的に近似したトップダウン変調ViTモデルであるAbSViT(Analytic-by-Synthesis Vision Transformer)を提案する。
• 参考スコア（独自算出の注目度）: 87.47527557366593
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Current attention algorithms (e.g., self-attention) are stimulus-driven and highlight all the salient objects in an image. However, intelligent agents like humans often guide their attention based on the high-level task at hand, focusing only on task-related objects. This ability of task-guided top-down attention provides task-adaptive representation and helps the model generalize to various tasks. In this paper, we consider top-down attention from a classic Analysis-by-Synthesis (AbS) perspective of vision. Prior work indicates a functional equivalence between visual attention and sparse reconstruction; we show that an AbS visual system that optimizes a similar sparse reconstruction objective modulated by a goal-directed top-down signal naturally simulates top-down attention. We further propose Analysis-by-Synthesis Vision Transformer (AbSViT), which is a top-down modulated ViT model that variationally approximates AbS, and achieves controllable top-down attention. For real-world applications, AbSViT consistently improves over baselines on Vision-Language tasks such as VQA and zero-shot retrieval where language guides the top-down attention. AbSViT can also serve as a general backbone, improving performance on classification, semantic segmentation, and model robustness.
• Abstract（参考訳）: 現在の注意アルゴリズム(例えば、自己注意)は刺激駆動であり、画像内のすべての有能な物体をハイライトする。 しかしながら、人間のような知的エージェントは、手前の高レベルなタスクに基づいて注意を誘導し、タスク関連のオブジェクトのみに焦点を当てることが多い。 このタスク誘導トップダウンアテンションの能力は、タスク適応表現を提供し、モデルが様々なタスクに一般化するのに役立つ。 本稿では,古典的分析合成(AbS)による視覚の視点からトップダウンの注意を考察する。 先行研究は,視覚注意とスパース再構成との間の機能的等価性を示し,目標指向トップダウン信号によって変調される類似スパース再構築目標を最適化するabs視覚システムは,自然にトップダウン注意をシミュレートすることを示す。 さらに、AbSを変動的に近似するトップダウン変調ViTモデルであるAbSViT(Analytic-by-Synthesis Vision Transformer)を提案する。 現実世界のアプリケーションでは、AbSViTは、VQAやゼロショット検索などのビジョン言語タスクのベースラインを一貫して改善し、言語がトップダウンの注意を導く。 AbSViTは一般的なバックボーンとしても機能し、分類、セマンティックセグメンテーション、モデルロバスト性が改善される。

関連論文リスト

• VSP: Assessing the dual challenges of perception and reasoning in spatial planning tasks for VLMs [102.36953558562436]
  視覚言語モデル(VLM)は、エキサイティングな言語モデル(LM)のクラスである。 VLMの未調査能力の1つは、視覚空間計画である。 本研究は,これらのモデルにおける空間計画能力を概ね評価するベンチマークを提案する。
  論文  参考訳（メタデータ） (2024-07-02T00:24:01Z)
• Enhancing Visual-Language Modality Alignment in Large Vision Language Models via Self-Improvement [102.22911097049953]
  SIMAは、自己改善を通じて視覚的および言語的モダリティアライメントを強化するフレームワークである。 コンテキスト内自己批判機構を使用して、プライオリティチューニングのためのレスポンスペアを選択する。 SIMAは従来の手法よりも優れたモダリティアライメントを実現することを実証する。
  論文  参考訳（メタデータ） (2024-05-24T23:09:27Z)
• Improving Vision-and-Language Reasoning via Spatial Relations Modeling [30.477235227733928]
  ビジュアルコモンセンス推論(VCR)は、難しいマルチモーダルタスクである。 提案手法は,より空間的な文脈を維持するために表現を導くことができる。 VCRと他の2つの視覚・言語推論タスクであるVQAとNLVRについて、最先端の結果を得る。
  論文  参考訳（メタデータ） (2023-11-09T11:54:55Z)
• Localizing Active Objects from Egocentric Vision with Symbolic World Knowledge [62.981429762309226]
  タスクの指示をエゴセントリックな視点から積極的に下す能力は、AIエージェントがタスクを達成したり、人間をバーチャルに支援する上で不可欠である。 本稿では,現在進行中のオブジェクトの役割を学習し,指示から正確に抽出することで,アクティブなオブジェクトをローカライズするフレーズグラウンドモデルの性能を向上させることを提案する。 Ego4DおよびEpic-Kitchensデータセットに関するフレームワークの評価を行った。
  論文  参考訳（メタデータ） (2023-10-23T16:14:05Z)
• Evaluating Robustness of Visual Representations for Object Assembly Task Requiring Spatio-Geometrical Reasoning [8.626019848533707]
  本稿では,オブジェクト・アセンブリ・タスクのコンテキストにおける視覚表現の堅牢性の評価と評価に焦点をあてる。 我々は視覚前訓練モデルを視覚エンコーダとして利用するビズモータ政策学習の一般的な枠組みを用いる。 本研究は、両腕操作装置に適用する場合、特にグリップ変動に対して、この枠組みの頑健性について検討する。
  論文  参考訳（メタデータ） (2023-10-15T20:41:07Z)
• Discovering Generalizable Spatial Goal Representations via Graph-based Active Reward Learning [17.58129740811116]
  我々は、報酬学習アプローチ、グラフベースの等価マッピング(GEM)を提案する。 GEMは、オブジェクト間の重要な空間関係を示すグラフと、グラフの各エッジに対する状態同値写像による空間目標仕様を表す。 GEMは,学習目標表現の高次ベースラインに対する一般化性を大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2022-11-24T18:59:06Z)
• GAMR: A Guided Attention Model for (visual) Reasoning [7.919213739992465]
  人間は、複雑な視覚シーンを柔軟に解析し理解する能力において、現代のAIシステムよりも優れています。 視覚的推論のための新しいモジュール,(視覚的)推論のためのガイド付き注意モデル(GAMR)を提案する。 GAMRは、タスク関連視覚情報をメモリに選択してルーティングするために、注意シフトのシーケンスを通じて、脳が複雑な視覚的推論問題を動的に解くことを示唆している。
  論文  参考訳（メタデータ） (2022-06-10T07:52:06Z)
• Learning Task-relevant Representations for Generalization via Characteristic Functions of Reward Sequence Distributions [63.773813221460614]
  同じタスクで異なる環境にまたがる一般化は、視覚的強化学習の成功に不可欠である。 本稿では,タスク関連情報を抽出する手法として,特徴逆列予測(CRESP)を提案する。 実験により、CRESPは目に見えない環境での一般化性能を大幅に向上することが示された。
  論文  参考訳（メタデータ） (2022-05-20T14:52:03Z)
• INFOrmation Prioritization through EmPOWERment in Visual Model-Based RL [90.06845886194235]
  モデルベース強化学習(RL)のための修正目的を提案する。 相互情報に基づく状態空間モデルに,変分エンパワーメントにインスパイアされた用語を統合する。 本研究は,視覚に基づくロボット制御作業における自然な映像背景を用いたアプローチの評価である。
  論文  参考訳（メタデータ） (2022-04-18T23:09:23Z)
• Recurrent Attention Models with Object-centric Capsule Representation for Multi-object Recognition [4.143091738981101]
  反復的な注目を伴うエンコーダ・デコーダモデルにおけるオブジェクト中心の隠れ表現は、注意と認識の効果的な統合をもたらすことを示す。 我々の研究は、再帰的なオブジェクト中心表現を注意を向ける計画に組み込むための一般的なアーキテクチャへの一歩を踏み出した。
  論文  参考訳（メタデータ） (2021-10-11T01:41:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。