論文の概要: Real-time Multi-person Eyeblink Detection in the Wild for Untrimmed Video

• arxiv url: http://arxiv.org/abs/2303.16053v2
• Date: Mon, 21 Aug 2023 14:18:55 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-23 00:25:59.093163
• Title: Real-time Multi-person Eyeblink Detection in the Wild for Untrimmed Video
• Title（参考訳）: 野生動物における実時間マルチパーソンアイブリンク検出
• Authors: Wenzheng Zeng, Yang Xiao, Sicheng Wei, Jinfang Gan, Xintao Zhang, Zhiguo Cao, Zhiwen Fang, Joey Tianyi Zhou
• Abstract要約: 野生のリアルタイムアイブリンク検出は、疲労検出、顔の反偽造、感情分析などに広く役立ちます。 私たちはこの研究分野に初めて光を当て、データセット、理論、プラクティスに不可欠な貢献をしました。
• 参考スコア（独自算出の注目度）: 41.4300990443683
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Real-time eyeblink detection in the wild can widely serve for fatigue detection, face anti-spoofing, emotion analysis, etc. The existing research efforts generally focus on single-person cases towards trimmed video. However, multi-person scenario within untrimmed videos is also important for practical applications, which has not been well concerned yet. To address this, we shed light on this research field for the first time with essential contributions on dataset, theory, and practices. In particular, a large-scale dataset termed MPEblink that involves 686 untrimmed videos with 8748 eyeblink events is proposed under multi-person conditions. The samples are captured from unconstrained films to reveal "in the wild" characteristics. Meanwhile, a real-time multi-person eyeblink detection method is also proposed. Being different from the existing counterparts, our proposition runs in a one-stage spatio-temporal way with end-to-end learning capacity. Specifically, it simultaneously addresses the sub-tasks of face detection, face tracking, and human instance-level eyeblink detection. This paradigm holds 2 main advantages: (1) eyeblink features can be facilitated via the face's global context (e.g., head pose and illumination condition) with joint optimization and interaction, and (2) addressing these sub-tasks in parallel instead of sequential manner can save time remarkably to meet the real-time running requirement. Experiments on MPEblink verify the essential challenges of real-time multi-person eyeblink detection in the wild for untrimmed video. Our method also outperforms existing approaches by large margins and with a high inference speed.
• Abstract（参考訳）: 野生のリアルタイムアイブリンク検出は、疲労検出、顔の反偽造、感情分析などに広く役立ちます。 既存の研究は、トリミングビデオに対して単身のケースに焦点を当てている。 しかし、未トリミングビデオ内のマルチパーソンシナリオは、まだあまり関心が持たない実用アプリケーションにおいても重要である。 これに対処するため、私たちはこの研究分野に初めて光を当て、データセット、理論、実践に本質的な貢献をした。 8748のアイブリンクイベントを含む686の未トリミングビデオを含むmpeblinkと呼ばれる大規模データセットがマルチパーソン条件下で提案されている。 サンプルは無拘束のフィルムから撮影され、"in the wild"の特徴を明らかにする。 また,リアルタイムなマルチパーソンアイブリンク検出手法を提案する。 既存のものと異なるので、私たちの提案は、エンドツーエンドの学習能力を持つ、一段階の時空間的な方法で実行されます。 具体的には、顔検出、顔追跡、および人間のインスタンスレベルのアイブリンク検出のサブタスクを同時に処理する。 1) 顔のグローバルコンテキスト(例えば頭部のポーズや照明条件など)を通じて、協調的な最適化と相互作用によってアイブリンク機能が容易になり、(2) これらのサブタスクをシーケンシャルな方法で並列に処理することで、リアルタイムな実行要件を満たすための時間を著しく節約できる。 MPEblinkの実験は、非トリミングビデオのための野生におけるリアルタイム多対人アイブリンク検出の必須課題を検証する。 また,提案手法は既存の手法よりも大きなマージンと高い推論速度で性能を向上する。

関連論文リスト

• Latent Spatiotemporal Adaptation for Generalized Face Forgery Video Detection [22.536129731902783]
  顔画像の一般的な検出を容易にするためのLatemporal Spatio(LAST)アプローチを提案する。 まず、各フレームの局所的な空間的特徴を抽出するために、軽量CNNを組み込むことで、ビデオの時間的パターンをモデル化する。 次に、静止空間ビデオの長期的表現を学習し、画素空間よりも多くの手がかりを含むべきである。
  論文  参考訳（メタデータ） (2023-09-09T13:40:44Z)
• Spatiotemporal Pyramidal CNN with Depth-Wise Separable Convolution for Eye Blinking Detection in the Wild [0.0]
  点眼検出は、誤認検出、運転疲労検出などにおいて重要な役割を担っている。 眼球点眼検出モデルは、様々な条件下で異なる眼球画像の解像度から効率的に学習する方法と、より高速な推論時間で検出モデルのサイズを減らす方法の2つに対処されている。
  論文  参考訳（メタデータ） (2023-06-20T04:59:09Z)
• Detection of Real-time DeepFakes in Video Conferencing with Active Probing and Corneal Reflection [43.272069005626584]
  本稿では,リアルタイムのDeepFakeを検出するための新しい法医学的手法について述べる。 我々は、画面上に異なるパターンを表示し、通話参加者の顔の画像から抽出した角膜反射を用いて、ビデオ通話を認証する。 このパターンは、共有画面に表示された呼び出し参加者またはビデオコールクライアントに直接統合された呼び出し参加者によって誘導される。
  論文  参考訳（メタデータ） (2022-10-21T23:31:17Z)
• Multi-view Tracking Using Weakly Supervised Human Motion Prediction [60.972708589814125]
  さらに効果的なアプローチは、時間とともに人々の動きを予測し、それらから個々のフレームにおける人々の存在を推定することである、と我々は主張する。 これにより、時間とともに、また1つの時間フレームのビューにわたって一貫性を強制できる。 PETS2009およびWILDTRACKデータセットに対する我々のアプローチを検証するとともに、最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-10-19T17:58:23Z)
• Leveraging Real Talking Faces via Self-Supervision for Robust Forgery Detection [112.96004727646115]
  本研究では,実話を用いた顔操作映像の検出手法を開発した。 本手法は, クロスマニピュレーションの一般化とロバストネス実験における最先端性能を実現する。 以上の結果から、より堅牢な顔偽造検知器の開発には、自然ビデオと未表示ビデオの活用が有望な方向であることが示唆された。
  論文  参考訳（メタデータ） (2022-01-18T17:14:54Z)
• JOKR: Joint Keypoint Representation for Unsupervised Cross-Domain Motion Retargeting [53.28477676794658]
  ビデオにおける教師なしの動作は ディープ・ニューラル・ネットワークによって 大幅に進歩しました JOKR(Joint Keypoint Representation)は、オブジェクトの事前やデータ収集を必要とせずに、ソースとターゲットのビデオの両方を処理する。 本手法は質的かつ定量的に評価し,異なる動物,異なる花,人間など,さまざまなクロスドメインシナリオを扱うことを示す。
  論文  参考訳（メタデータ） (2021-06-17T17:32:32Z)
• Blind Video Temporal Consistency via Deep Video Prior [61.062900556483164]
  視覚的ビデオの時間的整合性に対する新規で一般的なアプローチを提案する。 本手法は,一対のオリジナルビデオとプロセッシングビデオを直接トレーニングするのみである。 本稿では,Deep Video Priorを用いてビデオ上の畳み込みネットワークをトレーニングすることにより,時間的一貫性を実現することができることを示す。
  論文  参考訳（メタデータ） (2020-10-22T16:19:20Z)
• TubeTK: Adopting Tubes to Track Multi-Object in a One-Step Training Model [51.14840210957289]
  マルチオブジェクトトラッキングは、長い間研究されてきた基本的な視覚問題である。 Tracking by Detection (TBD)の成功にもかかわらず、この2段階の手法はエンドツーエンドでトレーニングするには複雑すぎる。 本稿では,短いビデオクリップ中の物体の時間空間位置を示すために,バウンディングチューブを導入することで,一段階のトレーニングしか必要としない簡潔なエンドツーエンドモデルチューブTKを提案する。
  論文  参考訳（メタデータ） (2020-06-10T06:45:05Z)
• Deep Frequent Spatial Temporal Learning for Face Anti-Spoofing [9.435020319411311]
  対面防止は, 提示攻撃による侵入を避けることにより, 顔認識システムのセキュリティに不可欠である。 従来の研究は、この課題に深度と時間的監督を用いることの有効性を示した。 本稿では, 頻繁, 空間的, 時間的情報を同時に活用する顔アンチスプーフィングのための新しい2つのストリームFreqSaptialTemporalNetを提案する。
  論文  参考訳（メタデータ） (2020-01-20T06:02:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。