論文の概要: Finger Multimodal Feature Fusion and Recognition Based on Channel
Spatial Attention
- arxiv url: http://arxiv.org/abs/2209.02368v1
- Date: Tue, 6 Sep 2022 10:48:30 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-07 14:13:44.014435
- Title: Finger Multimodal Feature Fusion and Recognition Based on Channel
Spatial Attention
- Title(参考訳): チャネル空間的注意に基づくフィンガーマルチモーダル特徴の融合と認識
- Authors: Jian Guo, Jiaxiang Tu, Hengyi Ren, Chong Han, Lijuan Sun
- Abstract要約: 指紋と指の静脈に基づく多モーダルバイオメトリック・フュージョン認識アルゴリズムを提案する。
指紋と指の静脈の画像のそれぞれに対して,まず,特徴を抽出するためのシンプルで効果的な畳み込みニューラルネットワーク(CNN)を提案する。
次に,指紋と指の静脈の相補的情報を完全に融合させるマルチモーダル機能融合モジュール(CSAFM,Channel Spatial Attention Fusion Module)を構築した。
- 参考スコア(独自算出の注目度): 8.741051302995755
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Due to the instability and limitations of unimodal biometric systems,
multimodal systems have attracted more and more attention from researchers.
However, how to exploit the independent and complementary information between
different modalities remains a key and challenging problem. In this paper, we
propose a multimodal biometric fusion recognition algorithm based on
fingerprints and finger veins (Fingerprint Finger Veins-Channel Spatial
Attention Fusion Module, FPV-CSAFM). Specifically, for each pair of fingerprint
and finger vein images, we first propose a simple and effective Convolutional
Neural Network (CNN) to extract features. Then, we build a multimodal feature
fusion module (Channel Spatial Attention Fusion Module, CSAFM) to fully fuse
the complementary information between fingerprints and finger veins. Different
from existing fusion strategies, our fusion method can dynamically adjust the
fusion weights according to the importance of different modalities in channel
and spatial dimensions, so as to better combine the information between
different modalities and improve the overall recognition performance. To
evaluate the performance of our method, we conduct a series of experiments on
multiple public datasets. Experimental results show that the proposed FPV-CSAFM
achieves excellent recognition performance on three multimodal datasets based
on fingerprints and finger veins.
- Abstract(参考訳): ユニモーダルバイオメトリックシステムの不安定性と限界のために、マルチモーダルシステムは研究者の注目を集めている。
しかし、異なるモダリティ間で独立かつ補完的な情報をどう活用するかは、依然として重要かつ困難な問題である。
本稿では,指紋と指静脈(フィンガープリントフィンガー静脈-チャネル空間注意融合モジュール,fpv-csafm)に基づくマルチモーダル生体認証アルゴリズムを提案する。
具体的には、指紋と指の静脈の画像のそれぞれに対して、まず特徴を抽出するためのシンプルで効果的な畳み込みニューラルネットワーク(CNN)を提案する。
次に,指紋と指の静脈の相補的情報を完全に融合させるマルチモーダル機能融合モジュール(CSAFM,Channel Spatial Attention Fusion Module)を構築した。
既存の核融合戦略と異なり, チャネル次元と空間次元の異なるモードの重要性に応じて, 融合重量を動的に調整し, 異なるモード間の情報をよりうまく組み合わせ, 全体的な認識性能を向上させる。
提案手法の性能を評価するため,複数の公開データセットに対して一連の実験を行った。
実験の結果,FPV-CSAFMは指紋と指の静脈に基づく3つのマルチモーダルデータセットの認識性能に優れていた。
関連論文リスト
- DiffVein: A Unified Diffusion Network for Finger Vein Segmentation and
Authentication [50.017055360261665]
DiffVeinは、静脈分割と認証タスクを同時に処理する統合拡散モデルベースのフレームワークである。
これら2つのブランチ間の機能相互作用を改善するために,2つの特別なモジュールを導入する。
このようにして、我々のフレームワークは拡散とセグメンテーションの埋め込みの間の動的相互作用を可能にする。
論文 参考訳(メタデータ) (2024-02-03T06:49:42Z) - Multi-Modality Multi-Loss Fusion Network [4.217982035156333]
感情検出を改善するために,複数のモーダルにまたがる特徴の最適選択と融合について検討した。
我々は、異なる融合法を比較し、マルチモダリティ融合ネットワークにおけるマルチロストレーニングの影響について検討する。
我々の最良のモデルは、3つのデータセットに対して最先端のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2023-08-01T03:54:27Z) - Just Noticeable Visual Redundancy Forecasting: A Deep Multimodal-driven
Approach [11.600496805298778]
JND(Just noticeable difference)とは、人間の目が知覚できない最大の視覚変化を指す用語である。
本稿では,JNDモデリングをエンドツーエンドのマルチモーダル,すなわちhmJND-Netの観点から検討する。
論文 参考訳(メタデータ) (2023-03-18T09:36:59Z) - AFR-Net: Attention-Driven Fingerprint Recognition Network [47.87570819350573]
指紋認識を含む生体認証における視覚変換器(ViT)の使用に関する初期研究を改善する。
ネットワーク内の中間特徴マップから抽出した局所的な埋め込みを用いて,グローバルな埋め込みを低確かさで洗練する手法を提案する。
この戦略は、既存のディープラーニングネットワーク(アテンションベース、CNNベース、あるいはその両方を含む)のラッパーとして適用することで、パフォーマンスを向上させることができる。
論文 参考訳(メタデータ) (2022-11-25T05:10:39Z) - MMLatch: Bottom-up Top-down Fusion for Multimodal Sentiment Analysis [84.7287684402508]
マルチモーダル融合に対する最近のディープラーニングアプローチは、ハイレベルおよびミドルレベルの潜在モダリティ表現のボトムアップ融合に依存している。
人間の知覚モデルでは、高レベルの表現が感覚入力の知覚に影響を及ぼすトップダウン融合の重要性を強調している。
本稿では,ネットワークトレーニング中のフォワードパスにおけるフィードバック機構を用いて,トップダウンのクロスモーダルインタラクションをキャプチャするニューラルネットワークを提案する。
論文 参考訳(メタデータ) (2022-01-24T17:48:04Z) - A cross-modal fusion network based on self-attention and residual
structure for multimodal emotion recognition [7.80238628278552]
マルチモーダル感情認識のための自己注意構造と残像構造(CFN-SR)に基づく新たなクロスモーダル融合ネットワークを提案する。
提案手法の有効性を検証するため,RAVDESSデータセットを用いて実験を行った。
実験結果から,提案したCFN-SRは最先端技術を実現し,精度が75.76%,パラメータが26.30Mであることが確認された。
論文 参考訳(メタデータ) (2021-11-03T12:24:03Z) - Bi-Bimodal Modality Fusion for Correlation-Controlled Multimodal
Sentiment Analysis [96.46952672172021]
Bi-Bimodal Fusion Network (BBFN) は、2対のモダリティ表現で融合を行う新しいエンドツーエンドネットワークである。
モデルは、モダリティ間の既知の情報不均衡により、2つのバイモーダルペアを入力として取る。
論文 参考訳(メタデータ) (2021-07-28T23:33:42Z) - Multimodal Object Detection via Bayesian Fusion [59.31437166291557]
我々は、RGBとサーマルカメラでマルチモーダルオブジェクト検出を研究します。後者は照明不良下ではるかに強力なオブジェクトシグネチャを提供することができます。
我々の重要な貢献は、異なるモードのボックス検出を融合する非学習遅延融合法である。
このアプローチは、整列(KAIST)と非整列(FLIR)のマルチモーダルセンサーデータを含むベンチマークに適用されます。
論文 参考訳(メタデータ) (2021-04-07T04:03:20Z) - MSAF: Multimodal Split Attention Fusion [6.460517449962825]
我々は,すべてのモダリティにまたがるより帰属的な特徴を強調する新しいマルチモーダル融合モジュールを提案する。
提案手法は,各タスクにおける競合的な結果を達成し,アプリケーション固有のネットワークやマルチモーダル融合ベンチマークより優れている。
論文 参考訳(メタデータ) (2020-12-13T22:42:41Z) - Deep Multimodal Fusion by Channel Exchanging [87.40768169300898]
本稿では,異なるモードのサブネットワーク間で動的にチャネルを交換するパラメータフリーマルチモーダル融合フレームワークを提案する。
このような交換プロセスの有効性は、畳み込みフィルタを共有してもBN層をモダリティで分離しておくことで保証される。
論文 参考訳(メタデータ) (2020-11-10T09:53:20Z) - Multi-modal Fusion for Single-Stage Continuous Gesture Recognition [45.19890687786009]
テンポラル・マルチモーダル・フュージョン(TMMF)と呼ばれる単一段階連続ジェスチャー認識フレームワークを導入する。
TMMFは、単一のモデルでビデオ内の複数のジェスチャーを検出し、分類することができる。
このアプローチは、前処理のセグメンテーションステップを必要とせずに、ジェスチャーと非ジェスチャーの自然な遷移を学習する。
論文 参考訳(メタデータ) (2020-11-10T07:09:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。