論文の概要: mEBAL2 Database and Benchmark: Image-based Multispectral Eyeblink Detection

• arxiv url: http://arxiv.org/abs/2309.07880v1
• Date: Thu, 14 Sep 2023 17:25:25 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-15 12:05:58.927163
• Title: mEBAL2 Database and Benchmark: Image-based Multispectral Eyeblink Detection
• Title（参考訳）: mEBAL2データベースとベンチマーク:画像に基づくマルチスペクトルアイリンク検出
• Authors: Roberto Daza, Aythami Morales, Julian Fierrez, Ruben Tolosana, Ruben Vera-Rodriguez
• Abstract要約: 本研究は、RGBおよび近赤外(NIR)個々の画像における新しいマルチスペクトルデータベースとアイブリンク検出のための新しいアプローチを導入する。 mEBAL2は、現存する最大のアイリンクデータベースである。 mEBAL2は180人の学生から21,100の画像シーケンスを含んでいる。
• 参考スコア（独自算出の注目度）: 15.076644065442167
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This work introduces a new multispectral database and novel approaches for eyeblink detection in RGB and Near-Infrared (NIR) individual images. Our contributed dataset (mEBAL2, multimodal Eye Blink and Attention Level estimation, Version 2) is the largest existing eyeblink database, representing a great opportunity to improve data-driven multispectral approaches for blink detection and related applications (e.g., attention level estimation and presentation attack detection in face biometrics). mEBAL2 includes 21,100 image sequences from 180 different students (more than 2 million labeled images in total) while conducting a number of e-learning tasks of varying difficulty or taking a real course on HTML initiation through the edX MOOC platform. mEBAL2 uses multiple sensors, including two Near-Infrared (NIR) and one RGB camera to capture facial gestures during the execution of the tasks, as well as an Electroencephalogram (EEG) band to get the cognitive activity of the user and blinking events. Furthermore, this work proposes a Convolutional Neural Network architecture as benchmark for blink detection on mEBAL2 with performances up to 97%. Different training methodologies are implemented using the RGB spectrum, NIR spectrum, and the combination of both to enhance the performance on existing eyeblink detectors. We demonstrate that combining NIR and RGB images during training improves the performance of RGB eyeblink detectors (i.e., detection based only on a RGB image). Finally, the generalization capacity of the proposed eyeblink detectors is validated in wilder and more challenging environments like the HUST-LEBW dataset to show the usefulness of mEBAL2 to train a new generation of data-driven approaches for eyeblink detection.
• Abstract（参考訳）: 本研究は、RGBおよび近赤外線(NIR)画像における新しいマルチスペクトルデータベースとアイブリンク検出手法を導入する。 提案するデータセット (mEBAL2, multimodal Eye Blink and Attention Level Estimation, Version 2) は,blink検出および関連アプリケーション(例えば,顔バイオメトリックスにおける注目レベル推定と提示攻撃検出)に対する,データ駆動型マルチスペクトルアプローチを改善するための大きな機会である。 mEBAL2には180の異なる学生(合計200万以上のラベル付き画像)から21,100のイメージシーケンスが含まれており、難易度が異なる多くのeラーニングタスクを実行したり、EDX MOOCプラットフォームを通じてHTML開始の実際のコースを受講している。 mEBAL2は2つの近赤外線(NIR)と1つのRGBカメラを含む複数のセンサーを使用し、タスクの実行中の顔のジェスチャーをキャプチャする。 さらに、mEBAL2のブリンク検出のベンチマークとして、最大97%のパフォーマンスを持つ畳み込みニューラルネットワークアーキテクチャを提案する。 既存のアイブリンク検出器の性能を高めるため、RGBスペクトル、NIRスペクトル、両方の組み合わせを用いて異なるトレーニング手法が実装されている。 トレーニング中にNIRとRGB画像を組み合わせることで、RGBアイリンク検出器(RGB画像のみに基づく検出)の性能が向上することを示した。 最後に、提案するeyeblink検出器の一般化能力は、hust-lebwデータセットのようなより荒野でより困難な環境で検証され、eyeblink検出のための新しい世代のデータ駆動アプローチを訓練するmebal2の有用性を示す。

関連論文リスト

• Multi-Modal Human Authentication Using Silhouettes, Gait and RGB [59.46083527510924]
  全体認証は、遠隔生体認証のシナリオにおいて有望なアプローチである。 本稿では,RGBデータとシルエットデータを組み合わせたDME(Dual-Modal Ensemble)を提案する。 DME内では、従来の歩行分析に使用される二重ヘリカル歩行パターンにインスパイアされたGaitPatternを提案する。
  論文  参考訳（メタデータ） (2022-10-08T15:17:32Z)
• CIR-Net: Cross-modality Interaction and Refinement for RGB-D Salient Object Detection [144.66411561224507]
  本稿では,CIR-Netと呼ばれる畳み込みニューラルネットワーク(CNN)モデルを提案する。 我々のネットワークは、定性的かつ定量的に最先端の塩分濃度検出器より優れています。
  論文  参考訳（メタデータ） (2022-10-06T11:59:19Z)
• Target-aware Dual Adversarial Learning and a Multi-scenario Multi-Modality Benchmark to Fuse Infrared and Visible for Object Detection [65.30079184700755]
  本研究は、物体検出のために異なるように見える赤外線と可視画像の融合の問題に対処する。 従来のアプローチでは、2つのモダリティの根底にある共通点を発見し、反復最適化またはディープネットワークによって共通空間に融合する。 本稿では、融合と検出の連立問題に対する二段階最適化の定式化を提案し、その後、核融合と一般的に使用される検出ネットワークのためのターゲット認識デュアル逆学習(TarDAL)ネットワークに展開する。
  論文  参考訳（メタデータ） (2022-03-30T11:44:56Z)
• Boosting RGB-D Saliency Detection by Leveraging Unlabeled RGB Images [89.81919625224103]
  RGB-D Salient Object Detection (SOD) のための深層モデルの訓練は、しばしば多数のラベル付きRGB-D画像を必要とする。 本稿では、ラベルのないRGB画像を活用するために、Dual-Semi RGB-D Salient Object Detection Network (DS-Net)を提案する。
  論文  参考訳（メタデータ） (2022-01-01T03:02:27Z)
• ALEBk: Feasibility Study of Attention Level Estimation via Blink Detection applied to e-Learning [6.325464216802613]
  オンラインセッションにおける学生の視線点滅率と注意度との関係を実験的に評価した。 その結果, 点眼周波数と注意レベルとの逆相関が示唆された。 本研究は,今後のeラーニングプラットフォームに注目度推定技術を導入するための新しい研究ラインを開設する。
  論文  参考訳（メタデータ） (2021-12-16T19:23:56Z)
• Cross-Modal Object Tracking: Modality-Aware Representations and A Unified Benchmark [8.932487291107812]
  多くの視覚系では、視覚的トラッキングはしばしばRGB画像シーケンスに基づいており、一部のターゲットは低照度環境では無効である。 追従過程におけるRGBとNIRの出現ギャップを軽減するために,モダリティを意識したターゲット表現を学習する新しいアルゴリズムを提案する。 無料の学術的利用のためにデータセットをリリースし、データセットのダウンロードリンクとコードを近くリリースします。
  論文  参考訳（メタデータ） (2021-11-08T03:58:55Z)
• Semantic-embedded Unsupervised Spectral Reconstruction from Single RGB Images in the Wild [48.44194221801609]
  この課題に対処するため、我々は、新しい軽量でエンドツーエンドの学習ベースのフレームワークを提案する。 我々は、効率的なカメラスペクトル応答関数推定により、検索されたHS画像から入力されたRGB画像と再投影されたRGB画像の差を徐々に広げる。 提案手法は最先端の教師なし手法よりも優れており,いくつかの設定下では最新の教師付き手法よりも優れている。
  論文  参考訳（メタデータ） (2021-08-15T05:19:44Z)
• Cross-Spectral Periocular Recognition with Conditional Adversarial Networks [59.17685450892182]
  本研究では,近赤外・近赤外スペクトル間の近赤外画像の変換を訓練した条件付き生成逆相関ネットワークを提案する。 EER=1%, GAR>99% @ FAR=1%, ポリUデータベースの最先端技術に匹敵するスペクトル近視性能を得た。
  論文  参考訳（メタデータ） (2020-08-26T15:02:04Z)
• Cascade Graph Neural Networks for RGB-D Salient Object Detection [41.57218490671026]
  色情報と深度情報の両方を用いて,RGB-D画像に対する正当性物体検出(SOD)の問題点を考察する。 この2つのデータソース間の相互利益を総合的に蒸留し推論できる統合フレームワークであるCascade Graph Neural Networks(Cas-Gnn)を紹介する。 Cas-Gnnは、いくつかの広く使用されているベンチマークにおいて、既存のRGB-DSODアプローチよりも大幅にパフォーマンスが向上している。
  論文  参考訳（メタデータ） (2020-08-07T10:59:04Z)
• mEBAL: A Multimodal Database for Eye Blink Detection and Attention Level Estimation [17.279661852408335]
  mEBALはアイリンクの検出とアテンションレベル推定のためのマルチモーダルデータベースである。 6,000のサンプルと38人の学生の注意レベルで構成されている。
  論文  参考訳（メタデータ） (2020-06-09T15:05:08Z)
• Cross-Spectrum Dual-Subspace Pairing for RGB-infrared Cross-Modality Person Re-Identification [15.475897856494583]
  従来の人物識別はRGBカラー画像しか扱えないが、暗い条件下では失敗する。 RGB赤外線ReID(Infrared-Visible ReID、Visible-Thermal ReIDとも呼ばれる)が提案されている。 本稿では, 新たなマルチスペクトル画像生成手法を提案し, 生成したサンプルを用いて, ネットワークの識別情報検索を支援する。
  論文  参考訳（メタデータ） (2020-02-29T09:01:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。