論文の概要: Connectivity-Inspired Network for Context-Aware Recognition
- arxiv url: http://arxiv.org/abs/2409.04360v1
- Date: Fri, 6 Sep 2024 15:42:10 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-09 15:24:36.107820
- Title: Connectivity-Inspired Network for Context-Aware Recognition
- Title（参考訳）: コンテキスト認識のための接続性を考慮したネットワーク
- Authors: Gianluca Carloni, Sara Colantonio,
- Abstract要約: 視覚認知に対処するために,生体脳の回路モチーフを取り入れることの効果に焦点をあてる。
私たちの畳み込みアーキテクチャは、人間の皮質と皮質下の流れの接続にインスパイアされています。
我々はコンテキスト認識をモデル化するための新しいプラグイン・アンド・プレイ・モジュールを提案する。
- 参考スコア（独自算出の注目度）: 1.049712834719005
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The aim of this paper is threefold. We inform the AI practitioner about the human visual system with an extensive literature review; we propose a novel biologically motivated neural network for image classification; and, finally, we present a new plug-and-play module to model context awareness. We focus on the effect of incorporating circuit motifs found in biological brains to address visual recognition. Our convolutional architecture is inspired by the connectivity of human cortical and subcortical streams, and we implement bottom-up and top-down modulations that mimic the extensive afferent and efferent connections between visual and cognitive areas. Our Contextual Attention Block is simple and effective and can be integrated with any feed-forward neural network. It infers weights that multiply the feature maps according to their causal influence on the scene, modeling the co-occurrence of different objects in the image. We place our module at different bottlenecks to infuse a hierarchical context awareness into the model. We validated our proposals through image classification experiments on benchmark data and found a consistent improvement in performance and the robustness of the produced explanations via class activation. Our code is available at https://github.com/gianlucarloni/CoCoReco.
- Abstract（参考訳）: 本論文の目的は3倍である。
我々は、人間の視覚システムについて、広範囲にわたる文献レビューを行い、画像分類のための新しい生物学的動機付けニューラルネットワークを提案し、最後に、コンテキスト認識をモデル化するための新しいプラグイン・アンド・プレイ・モジュールを提案する。
視覚認知に対処するため,生体脳の回路モチーフを取り入れることによる効果に着目した。
我々の畳み込みアーキテクチャは、人間の皮質と皮質下の流れの接続にインスパイアされ、視覚領域と認知領域の間の広範囲な求心的および求心的な接続を模倣するボトムアップとトップダウンの変調を実装します。
私たちのContextual Attention Blockはシンプルで効果的で、任意のフィードフォワードニューラルネットワークと統合できます。
画像内の異なるオブジェクトの共起をモデル化し、特徴マップがシーンに因果的影響に応じて乗算する重みを推論する。
私たちはモジュールをさまざまなボトルネックに配置し、階層的なコンテキスト認識をモデルに注入します。
ベンチマークデータを用いた画像分類実験により提案手法の有効性を検証し,その性能とクラスアクティベーションによる説明の堅牢性について一貫した改善が得られた。
私たちのコードはhttps://github.com/gianlucarloni/CoCoReco.comで公開されています。
関連論文リスト
- Understanding the Role of Pathways in a Deep Neural Network [4.456675543894722]
分類タスクで訓練された畳み込みニューラルネットワーク(CNN)を分析し,個々の画素の拡散経路を抽出するアルゴリズムを提案する。
画像からの個々のピクセルの最も大きな経路は、分類に重要な各層の特徴マップを横断する傾向にある。
論文 参考訳（メタデータ） (2024-02-28T07:53:19Z) - Connecting metrics for shape-texture knowledge in computer vision [1.7785095623975342]
深層ニューラルネットワークは、人間が画像の分類ミスを起こさないような、画像の多くの変化の影響を受けやすいままである。
この異なる振る舞いの一部は、視覚タスクで人間とディープニューラルネットワークが使用する機能の種類によって説明できるかもしれない。
論文 参考訳（メタデータ） (2023-01-25T14:37:42Z) - Semantic Brain Decoding: from fMRI to conceptually similar image
reconstruction of visual stimuli [0.29005223064604074]
本稿では,意味的・文脈的類似性にも依存する脳復号法を提案する。
我々は、自然視のfMRIデータセットを使用し、人間の視覚におけるボトムアップとトップダウンの両方のプロセスの存在にインスパイアされたディープラーニングデコードパイプラインを作成します。
視覚刺激の再現は, それまでの文献において, 本来の内容とセマンティックレベルで非常によく一致し, 芸術の状態を超越している。
論文 参考訳（メタデータ） (2022-12-13T16:54:08Z) - A domain adaptive deep learning solution for scanpath prediction of
paintings [66.46953851227454]
本稿では,ある絵画の視覚的体験における視聴者の眼球運動分析に焦点を当てた。
我々は、人間の視覚的注意を予測するための新しいアプローチを導入し、人間の認知機能に影響を及ぼす。
提案した新しいアーキテクチャは、画像を取り込んでスキャンパスを返す。
論文 参考訳（メタデータ） (2022-09-22T22:27:08Z) - Learning What and Where -- Unsupervised Disentangling Location and
Identity Tracking [0.44040106718326594]
教師なしLOCation and Identity Tracking System(Loci)を導入する。
ローチは脳の背腹側経路にインスパイアされ、自己監督された分離機構を用いて、何とどこにも結合する問題に取り組む。
Lociは、より深い説明指向のビデオ処理のステージを設定できる。
論文 参考訳（メタデータ） (2022-05-26T13:30:14Z) - Functional2Structural: Cross-Modality Brain Networks Representation
Learning [55.24969686433101]
脳ネットワーク上のグラフマイニングは、臨床表現型および神経変性疾患のための新しいバイオマーカーの発見を促進する可能性がある。
本稿では,Deep Signed Brain Networks (DSBN) と呼ばれる新しいグラフ学習フレームワークを提案する。
臨床表現型および神経変性疾患予測の枠組みを,2つの独立した公開データセットを用いて検証した。
論文 参考訳（メタデータ） (2022-05-06T03:45:36Z) - Understanding the Role of Individual Units in a Deep Neural Network [85.23117441162772]
本稿では,画像分類と画像生成ネットワーク内の隠れ単位を系統的に同定する分析フレームワークを提案する。
まず、シーン分類に基づいて訓練された畳み込みニューラルネットワーク(CNN)を分析し、多様なオブジェクト概念にマッチするユニットを発見する。
第2に、シーンを生成するために訓練されたGANモデルについて、同様の分析手法を用いて分析する。
論文 参考訳（メタデータ） (2020-09-10T17:59:10Z) - Visual Relationship Detection with Visual-Linguistic Knowledge from
Multimodal Representations [103.00383924074585]
視覚的関係検出は、画像内の有能なオブジェクト間の関係を推論することを目的としている。
変換器からの視覚言語表現(RVL-BERT)という新しい手法を提案する。
RVL-BERTは、自己教師付き事前学習を通じて学習した視覚的・言語的常識知識を用いて空間推論を行う。
論文 参考訳（メタデータ） (2020-09-10T16:15:09Z) - AssembleNet++: Assembling Modality Representations via Attention
Connections [83.50084190050093]
i)セマンティックオブジェクト情報と生の外観と動きの特徴の相互作用を学習し、(ii)ネットワークの各畳み込みブロックにおける特徴の重要性をよりよく学習するために注意を配置する。
ピアアテンションと呼ばれる新しいネットワークコンポーネントを導入し、別のブロックや入力モダリティを使って動的にアテンションウェイトを学習する。
論文 参考訳（メタデータ） (2020-08-18T17:54:08Z) - Ventral-Dorsal Neural Networks: Object Detection via Selective Attention [51.79577908317031]
我々はVDNet(Ventral-Dorsal Networks)と呼ばれる新しいフレームワークを提案する。
人間の視覚システムの構造にインスパイアされた我々は「Ventral Network」と「Dorsal Network」の統合を提案する。
実験の結果,提案手法は最先端の物体検出手法よりも優れていることがわかった。
論文 参考訳（メタデータ） (2020-05-15T23:57:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。