論文の概要: BIFRNet: A Brain-Inspired Feature Restoration DNN for Partially Occluded
Image Recognition
- arxiv url: http://arxiv.org/abs/2303.01309v1
- Date: Thu, 2 Mar 2023 14:33:43 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-03 14:03:59.242434
- Title: BIFRNet: A Brain-Inspired Feature Restoration DNN for Partially Occluded
Image Recognition
- Title(参考訳): BIFRNet:脳にインスパイアされた画像認識のための機能回復DNN
- Authors: Jiahong Zhang, Lihong Cao, Qiuxia Lai, Binyao Li, Yunxiao Qin
- Abstract要約: 本稿では,脳にインスパイアされた特徴回復ネットワーク(BIFRNet)を提案する。
これは、画像の特徴を抽出する腹側視覚経路と、閉塞された画像領域と可視な画像領域を区別する背側視覚経路を模倣する。
また、オブジェクトの事前知識を保存するのにナレッジモジュールを使用し、可視的特徴と事前知識に基づいて隠蔽された機能を復元するためにコンプリートモジュールを使用する。
- 参考スコア(独自算出の注目度): 8.80867379881193
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The partially occluded image recognition (POIR) problem has been a challenge
for artificial intelligence for a long time. A common strategy to handle the
POIR problem is using the non-occluded features for classification.
Unfortunately, this strategy will lose effectiveness when the image is severely
occluded, since the visible parts can only provide limited information. Several
studies in neuroscience reveal that feature restoration which fills in the
occluded information and is called amodal completion is essential for human
brains to recognize partially occluded images. However, feature restoration is
commonly ignored by CNNs, which may be the reason why CNNs are ineffective for
the POIR problem. Inspired by this, we propose a novel brain-inspired feature
restoration network (BIFRNet) to solve the POIR problem. It mimics a ventral
visual pathway to extract image features and a dorsal visual pathway to
distinguish occluded and visible image regions. In addition, it also uses a
knowledge module to store object prior knowledge and uses a completion module
to restore occluded features based on visible features and prior knowledge.
Thorough experiments on synthetic and real-world occluded image datasets show
that BIFRNet outperforms the existing methods in solving the POIR problem.
Especially for severely occluded images, BIRFRNet surpasses other methods by a
large margin and is close to the human brain performance. Furthermore, the
brain-inspired design makes BIFRNet more interpretable.
- Abstract(参考訳): 部分的に隠蔽された画像認識(POIR)問題は、人工知能の長年の課題である。
POIR問題に対処する一般的な戦略は、非排除機能を使って分類することである。
残念なことに、この戦略は、可視部が限られた情報しか提供できないため、画像がひどく遮蔽されると効果を失う。
神経科学におけるいくつかの研究により、オクルードされた情報を埋め、アモーダル補完と呼ばれる特徴修復は、脳が部分的にオクルードされた画像を認識するために必須であることが明らかとなった。
しかし、機能回復は一般的にCNNによって無視されるので、CNNがPOIR問題に対して効果がない理由かもしれない。
そこで本研究では,脳にインスパイアされた新しい特徴回復ネットワーク(bifrnet)を提案する。
これは腹側視覚経路を模倣し、画像の特徴と背側視覚経路を抽出し、オクルードされた画像領域と可視像領域を識別する。
さらに、オブジェクトの事前知識を保存するのにナレッジモジュールを使用し、可視的特徴と事前知識に基づいて隠蔽された機能の復元にコンプリートモジュールを使用する。
人工的および実世界の隠蔽画像データセットに関する詳細な実験は、BIFRNetがPOIR問題を解決する既存の方法よりも優れていることを示している。
特に排他的画像の場合、BIRFRNetは他の手法をはるかに上回り、人間の脳のパフォーマンスに近い。
さらに、脳にインスパイアされたデザインはbifrnetをより解釈しやすくする。
関連論文リスト
- Interactive Feature Embedding for Infrared and Visible Image Fusion [94.77188069479155]
赤外線と可視画像の融合のための一般的なディープラーニングに基づく手法は、情報保持のための教師なしのメカニズムに依存している。
赤外線および可視画像融合のための自己教師付き学習フレームワークに,インタラクティブな新たな特徴埋め込みを提案する。
論文 参考訳(メタデータ) (2022-11-09T13:34:42Z) - The Brain-Inspired Decoder for Natural Visual Image Reconstruction [4.433315630787158]
本研究では,スパイクトレインの視覚的イメージを再構築するために,生物学的特性を持つディープラーニングニューラルネットワークアーキテクチャを提案する。
私たちのモデルは、ニューラルスパイクトから画像へのエンドツーエンドデコーダです。
提案手法は,画像の再構成に知覚的特徴を効果的に組み合わせることができることを示す。
論文 参考訳(メタデータ) (2022-07-18T13:31:26Z) - SAR Despeckling Using Overcomplete Convolutional Networks [53.99620005035804]
スペックルはSAR画像を劣化させるため、リモートセンシングにおいて重要な問題である。
近年の研究では、畳み込みニューラルネットワーク(CNN)が古典的解法よりも優れていることが示されている。
本研究は、受容場を制限することで低レベルの特徴を学習することに集中するために、過剰なCNNアーキテクチャを用いる。
本稿では,合成および実SAR画像の非特定化手法と比較して,提案手法により非特定化性能が向上することを示す。
論文 参考訳(メタデータ) (2022-05-31T15:55:37Z) - Robustness of Humans and Machines on Object Recognition with Extreme
Image Transformations [0.0]
物体認識タスクにおいて、画像変換の新たなセットを導入し、人間とネットワークの評価を行う。
人間は高い精度で物体を認識できる一方で、いくつかの共通ネットワークの性能は急速に低下することがわかった。
論文 参考訳(メタデータ) (2022-05-09T17:15:54Z) - An Efficient Framework for Zero-Shot Sketch-Based Image Retrieval [36.254157442709264]
ゼロショットのSketchベースのImage Retrieval (ZS-SBIR)は、現実のアプリケーションであるため、コンピュータビジョンコミュニティの注目を集めている。
ZS-SBIRは、コンテンツベースの画像検索(CBIR)、ゼロショット学習、ドメイン適応など、複数のコンピュータビジョン問題の主な課題を継承する。
論文 参考訳(メタデータ) (2021-02-08T06:10:37Z) - Image Restoration by Deep Projected GSURE [115.57142046076164]
Ill-posed inverse problem は、デブロアリングや超解像など、多くの画像処理アプリケーションに現れる。
本稿では,一般化されたSteinUnbiased Risk Estimator(GSURE)の「投影変換」とCNNによる潜在画像のパラメータ化を含む損失関数の最小化に基づく,新たな画像復元フレームワークを提案する。
論文 参考訳(メタデータ) (2021-02-04T08:52:46Z) - Are Deep Neural Architectures Losing Information? Invertibility Is
Indispensable [21.743445133008848]
より深いニューラルネットワークアーキテクチャは、アーキテクチャが可逆である場合に限り、与えられたデータに関する最大詳細を保存可能であることを示す。
Invertible Restoring Autoencoder (IRAE) ネットワークの利点を、3つの摂動画像復元タスクの競合モデルと比較することにより検証する。
論文 参考訳(メタデータ) (2020-09-07T15:39:24Z) - Recurrent Feature Reasoning for Image Inpainting [110.24760191732905]
Recurrent Feature Reasoning (RFR) は主にプラグアンドプレイの Recurrent Feature Reasoning モジュールと Knowledge Consistent Attention (KCA) モジュールで構築されている。
RFRモジュールは、畳み込み特徴写像の穴の境界を反復的に推論し、さらに推論の手がかりとして利用する。
RFRの特徴マップ内の離れた場所からの情報を取得するため、我々はさらにKCAを開発し、RFRに組み込む。
論文 参考訳(メタデータ) (2020-08-09T14:40:04Z) - Neural Sparse Representation for Image Restoration [116.72107034624344]
スパース符号化に基づく画像復元モデルの堅牢性と効率に触発され,深部ネットワークにおけるニューロンの空間性について検討した。
本手法は,隠れたニューロンに対する空間的制約を構造的に強制する。
実験により、複数の画像復元タスクのためのディープニューラルネットワークではスパース表現が不可欠であることが示されている。
論文 参考訳(メタデータ) (2020-06-08T05:15:17Z) - Single image reflection removal via learning with multi-image
constraints [50.54095311597466]
本稿では、上記のアプローチの利点を組み合わせ、その欠点を克服する新しい学習ベースソリューションを提案する。
提案アルゴリズムはディープニューラルネットワークを学習して、複数の入力画像間で強化されたジョイント制約でターゲットを最適化する。
我々のアルゴリズムは実画像上でリアルタイムかつ最先端の反射除去性能で動作する。
論文 参考訳(メタデータ) (2019-12-08T06:10:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。