論文の概要: Understanding the computational demands underlying visual reasoning
- arxiv url: http://arxiv.org/abs/2108.03603v1
- Date: Sun, 8 Aug 2021 10:46:53 GMT
- ステータス: 処理完了
- システム内更新日: 2021-08-11 06:43:44.026755
- Title: Understanding the computational demands underlying visual reasoning
- Title（参考訳）: 視覚的推論に基づく計算要求の理解
- Authors: Mohit Vaishnav, Remi Cadene, Andrea Alamia, Drew Linsley, Rufin
VanRullen and Thomas Serre
- Abstract要約: 我々は,現代の深層畳み込みニューラルネットワークによる視覚的推論問題の解法を体系的に評価する。
我々の分析は、視覚的推論タスクの新たな分類につながり、主に、その基礎となるルールを構成するために使用される関係の種類と関係の数によって説明できる。
- 参考スコア（独自算出の注目度）: 10.308647202215708
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Visual understanding requires comprehending complex visual relations between
objects within a scene. Here, we seek to characterize the computational demands
for abstract visual reasoning. We do this by systematically assessing the
ability of modern deep convolutional neural networks (CNNs) to learn to solve
the Synthetic Visual Reasoning Test (SVRT) challenge, a collection of
twenty-three visual reasoning problems. Our analysis leads to a novel taxonomy
of visual reasoning tasks, which can be primarily explained by both the type of
relations (same-different vs. spatial-relation judgments) and the number of
relations used to compose the underlying rules. Prior cognitive neuroscience
work suggests that attention plays a key role in human's visual reasoning
ability. To test this, we extended the CNNs with spatial and feature-based
attention mechanisms. In a second series of experiments, we evaluated the
ability of these attention networks to learn to solve the SVRT challenge and
found the resulting architectures to be much more efficient at solving the
hardest of these visual reasoning tasks. Most importantly, the corresponding
improvements on individual tasks partially explained the taxonomy. Overall,
this work advances our understanding of visual reasoning and yields testable
Neuroscience predictions regarding the need for feature-based vs. spatial
attention in visual reasoning.
- Abstract（参考訳）: 視覚理解にはシーン内のオブジェクト間の複雑な視覚関係を理解する必要がある。
ここでは,抽象的視覚的推論の計算要求を特徴付ける。
我々は、現代の深層畳み込みニューラルネットワーク(CNN)による合成ビジュアル推論テスト(SVRT)課題の解決を体系的に評価することで、これを実現している。
本研究は,視覚推論タスクの新しい分類法を導いており,関係の類型(空間的関係判断と同一)と,基礎となる規則を構成するのに使われる関係の数で説明できる。
認知神経科学の先行研究は、人間の視覚推論能力において注意が重要な役割を担っていることを示唆している。
これをテストするために,CNNを空間的および特徴に基づく注意機構で拡張した。
第2の一連の実験で、SVRTの課題を解決するためにこれらの注意ネットワークの能力を評価し、その結果のアーキテクチャは、これらの視覚的推論タスクの最も難しい問題を解くのにずっと効果的であることがわかった。
最も重要なことは、個々のタスクに対する改善が部分的に分類を説明したことである。
全体として、この研究は視覚的推論の理解を深め、視覚推論における特徴ベース対空間的注意の必要性に関するテスト可能な神経科学予測をもたらす。
関連論文リスト
- Evaluating and Analyzing Relationship Hallucinations in Large Vision-Language Models [69.79709804046325]
視覚関係の幻覚を評価するための新しいベンチマークであるR-Benchを紹介する。
R-Benchは、関係の存在に焦点を当てたイメージレベルの質問と、局所的な視覚的理解を評価するインスタンスレベルの質問を特徴としている。
我々は,関係関連性,主観関連性,関係対象性という,幻覚につながる3つの関係共起関係を同定する。
論文 参考訳（メタデータ） (2024-06-24T08:42:42Z) - Learning Differentiable Logic Programs for Abstract Visual Reasoning [18.82429807065658]
微分フォワード推論は、勾配に基づく機械学習パラダイムと推論を統合するために開発された。
NEUMANNはグラフベースの微分可能フォワード推論器で、メッセージをメモリ効率のよい方法で送信し、構造化プログラムを関手で処理する。
NEUMANNは視覚的推論タスクを効率的に解き、神経、象徴的、神経-象徴的ベースラインを上回ります。
論文 参考訳（メタデータ） (2023-07-03T11:02:40Z) - The role of object-centric representations, guided attention, and
external memory on generalizing visual relations [0.6091702876917281]
我々はスロットアテンション、繰り返し誘導されるアテンション、外部メモリなどのメカニズムを統合する一連のディープニューラルネットワーク(DNN)を評価する。
その結果、特定の種類の画像と同一の差分関係を一般化するモデルでは、他のモデルよりも優れている結果が得られたが、この関係を全体にわたって一般化するモデルは得られなかった。
論文 参考訳（メタデータ） (2023-04-14T12:22:52Z) - BI AVAN: Brain inspired Adversarial Visual Attention Network [67.05560966998559]
機能的脳活動から直接人間の視覚的注意を特徴付ける脳誘発対人視覚注意ネットワーク(BI-AVAN)を提案する。
本モデルは,人間の脳が監督されていない方法で焦点を絞った映画フレーム内の視覚的物体を識別・発見するために,注意関連・無視対象間の偏りのある競合過程を模倣する。
論文 参考訳（メタデータ） (2022-10-27T22:20:36Z) - EgoTaskQA: Understanding Human Tasks in Egocentric Videos [89.9573084127155]
EgoTaskQAベンチマークは、現実世界のエゴセントリックなビデオに対する質問回答を通じて、タスク理解の重要な次元を提供する。
我々は,(1)行動依存と効果,(2)意図と目標,(3)エージェントの他者に対する信念の理解を念頭に設計する。
我々は、我々のベンチマークで最先端のビデオ推論モデルを評価し、複雑なゴール指向のエゴセントリックなビデオを理解する上で、人間の間に大きなギャップがあることを示します。
論文 参考訳（メタデータ） (2022-10-08T05:49:05Z) - GAMR: A Guided Attention Model for (visual) Reasoning [7.919213739992465]
人間は、複雑な視覚シーンを柔軟に解析し理解する能力において、現代のAIシステムよりも優れています。
視覚的推論のための新しいモジュール,(視覚的)推論のためのガイド付き注意モデル(GAMR)を提案する。
GAMRは、タスク関連視覚情報をメモリに選択してルーティングするために、注意シフトのシーケンスを通じて、脳が複雑な視覚的推論問題を動的に解くことを示唆している。
論文 参考訳（メタデータ） (2022-06-10T07:52:06Z) - Understanding top-down attention using task-oriented ablation design [0.22940141855172028]
トップダウンの注目により、ニューラルネットワークは、人工的および生物学的の両方において、与えられたタスクに最も関連性の高い情報に集中することができる。
我々は,タスク指向アブレーション設計と呼ばれる一般的なフレームワークに基づく計算実験により,この問題に対処することを目指している。
2つのニューラルネットワークの性能を比較する。
論文 参考訳（メタデータ） (2021-06-08T21:01:47Z) - Compositional Explanations of Neurons [52.71742655312625]
本稿では, 合成論理的概念を同定し, 深部表現におけるニューロンの説明手順について述べる。
本稿では,視覚と自然言語処理のモデルにおける解釈可能性に関するいくつかの疑問に答えるために,この手順を用いる。
論文 参考訳（メタデータ） (2020-06-24T20:37:05Z) - Neuro-Symbolic Visual Reasoning: Disentangling "Visual" from "Reasoning" [49.76230210108583]
本稿では,視覚的質問応答(VQA)の推論的側面をその知覚から分離し,評価する枠組みを提案する。
また,不完全な知覚においても,モデルが推論問題に答えられるような,新しいトップダウンキャリブレーション手法を提案する。
難易度の高いGQAデータセットでは、このフレームワークがよく知られたVQAモデル間の深い非絡み合いの比較に使用される。
論文 参考訳（メタデータ） (2020-06-20T08:48:29Z) - Machine Number Sense: A Dataset of Visual Arithmetic Problems for
Abstract and Relational Reasoning [95.18337034090648]
文法モデルを用いて自動生成される視覚的算術問題からなるデータセット、MNS(Machine Number Sense)を提案する。
これらの視覚的算術問題は幾何学的フィギュアの形をしている。
我々は、この視覚的推論タスクのベースラインとして、4つの主要なニューラルネットワークモデルを用いて、MNSデータセットをベンチマークする。
論文 参考訳（メタデータ） (2020-04-25T17:14:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。