論文の概要: FacialFlowNet: Advancing Facial Optical Flow Estimation with a Diverse Dataset and a Decomposed Model
- arxiv url: http://arxiv.org/abs/2409.05396v1
- Date: Mon, 9 Sep 2024 07:49:13 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-10 15:30:45.217998
- Title: FacialFlowNet: Advancing Facial Optical Flow Estimation with a Diverse Dataset and a Decomposed Model
- Title（参考訳）: FacialFlowNet: 逆データセットと分解モデルによる顔の光学的フロー推定の改善
- Authors: Jianzhi Lu, Ruian He, Shili Zhou, Weimin Tan, Bo Yan,
- Abstract要約: 本稿では,新しい大規模顔光フローデータセットであるFacalFlowNet(FFN)とDecomposed Facial Flow Model(DecFlow)を提案する。
FFNは9,635のアイデンティティと105,970のイメージペアで構成され、顔と頭部の詳細な動作分析に前例のない多様性を提供する。
DecFlowは、顔のセマンティックなデコーダを備え、顔のフローを頭と表情のコンポーネントに正確に分解する。
- 参考スコア（独自算出の注目度）: 15.525822826375371
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Facial movements play a crucial role in conveying altitude and intentions, and facial optical flow provides a dynamic and detailed representation of it. However, the scarcity of datasets and a modern baseline hinders the progress in facial optical flow research. This paper proposes FacialFlowNet (FFN), a novel large-scale facial optical flow dataset, and the Decomposed Facial Flow Model (DecFlow), the first method capable of decomposing facial flow. FFN comprises 9,635 identities and 105,970 image pairs, offering unprecedented diversity for detailed facial and head motion analysis. DecFlow features a facial semantic-aware encoder and a decomposed flow decoder, excelling in accurately estimating and decomposing facial flow into head and expression components. Comprehensive experiments demonstrate that FFN significantly enhances the accuracy of facial flow estimation across various optical flow methods, achieving up to an 11% reduction in Endpoint Error (EPE) (from 3.91 to 3.48). Moreover, DecFlow, when coupled with FFN, outperforms existing methods in both synthetic and real-world scenarios, enhancing facial expression analysis. The decomposed expression flow achieves a substantial accuracy improvement of 18% (from 69.1% to 82.1%) in micro-expressions recognition. These contributions represent a significant advancement in facial motion analysis and optical flow estimation. Codes and datasets can be found.
- Abstract（参考訳）: 顔の動きは、高度と意図を伝える上で重要な役割を担い、顔の光学的流れは、そのダイナミックで詳細な表現を提供する。
しかし、データセットの不足と現代のベースラインは、顔光フロー研究の進歩を妨げる。
本稿では,新しい大規模顔光フローデータセットであるFacalFlowNet(FFN)と,顔フローを分解できる最初の方法であるDecomposed Facial Flow Model(DecFlow)を提案する。
FFNは9,635のアイデンティティと105,970のイメージペアで構成され、顔と頭部の詳細な動作分析に前例のない多様性を提供する。
DecFlowは、顔のセマンティック認識エンコーダと分解フローデコーダを備え、顔のフローを正確に推定し、頭と表情コンポーネントに分解する。
総合的な実験により、FFNは様々な光学的フロー法で顔の流れ推定の精度を著しく向上させ、エンドポイントエラー(EPE)を最大11%減少させる(3.91から3.48)。
さらに、DecFlowはFFNと組み合わせることで、合成シナリオと実世界のシナリオの両方において既存の手法よりも優れ、表情解析の強化を実現している。
分解された表現フローは、マイクロ表現認識において18%(69.1%から82.1%)の精度向上を達成する。
これらの貢献は、顔の動き解析と光学的フロー推定において重要な進歩を示している。
コードとデータセットが見つかる。
関連論文リスト
- SciFlow: Empowering Lightweight Optical Flow Models with Self-Cleaning Iterations [44.92134227376008]
本稿では,SCI(Self-Cleaning Iteration)とRFL(Regression Focal Loss)の2つの相乗的手法を紹介する。
SCIとRFLは、反復洗練された光学流モデルにおいて、特に誤差伝播の緩和に有効である。
今回提案したSCIおよびRFL技術の有効性は,2つの異なる光フローモデルアーキテクチャで実証された。
論文 参考訳（メタデータ） (2024-04-11T21:41:55Z) - DiffusionFace: Towards a Comprehensive Dataset for Diffusion-Based Face Forgery Analysis [71.40724659748787]
DiffusionFaceは、最初の拡散ベースのフェイスフォージェリーデータセットである。
非条件およびテキストガイドの顔画像生成、Img2Img、Inpaint、Diffusionベースの顔交換アルゴリズムなど、さまざまなフォージェリーカテゴリをカバーする。
重要なメタデータと、評価のための実世界のインターネットソースの偽顔画像データセットを提供する。
論文 参考訳（メタデータ） (2024-03-27T11:32:44Z) - Rethinking Optical Flow from Geometric Matching Consistent Perspective [38.014569953980754]
本稿では,従来の光流量推定法について再考する。
我々は,より優れた特徴表現を持つ光フロー推定(MatchFlow)のための事前学習タスクとして,GIMを使用している。
Sintel クリーンパスと KITTI テストセットの GMA から 11.5% と 10.1% の誤差削減を実現した。
論文 参考訳（メタデータ） (2023-03-15T06:00:38Z) - BlinkFlow: A Dataset to Push the Limits of Event-based Optical Flow Estimation [76.66876888943385]
イベントカメラは、高時間精度、低データレート、高ダイナミックレンジ視覚知覚を提供する。
イベントベース光フローのための大規模データを高速に生成するための新しいシミュレータBlinkSimを提案する。
論文 参考訳（メタデータ） (2023-03-14T09:03:54Z) - Learning Optical Flow with Adaptive Graph Reasoning [35.348449774221656]
光フローとして知られるビデオフレーム間のピクセルごとの運動を推定することは、ビデオの理解と分析において長年の課題である。
我々は,光フローにおけるシーン/コンテキスト情報の価値を強調するために,光フローに対する適応グラフ推論(AGFlow)と呼ばれる新しいグラフベースのアプローチを導入する。
AGFlowは1.43ピクセルと2.47ピクセルのEPEで最高の精度を達成し、それぞれ11.2%、13.6%の最先端のアプローチを上回っている。
論文 参考訳（メタデータ） (2022-02-08T13:41:20Z) - GMFlow: Learning Optical Flow via Global Matching [124.57850500778277]
光フロー推定学習のためのGMFlowフレームワークを提案する。
機能拡張のためのカスタマイズトランスフォーマー、グローバル機能マッチングのための相関層とソフトマックス層、フロー伝搬のための自己保持層である。
我々の新しいフレームワークは、挑戦的なSintelベンチマークにおいて、32項目RAFTのパフォーマンスより優れています。
論文 参考訳（メタデータ） (2021-11-26T18:59:56Z) - Dense Optical Flow from Event Cameras [55.79329250951028]
本稿では,イベントカメラからの高密度光フロー推定に特徴相関と逐次処理を導入することを提案する。
提案手法は、高密度光流を計算し、MVSEC上での終点誤差を23%削減する。
論文 参考訳（メタデータ） (2021-08-24T07:39:08Z) - PCA Event-Based Otical Flow for Visual Odometry [0.0]
本稿では,イベントベース光流量推定問題に対する主成分分析手法を提案する。
提案手法の最良の変種は,ビジュアルオドメトリーのリアルタイムコンテキストを対象とし,最先端実装と比較して約2倍高速であることを示す。
論文 参考訳（メタデータ） (2021-05-08T18:30:44Z) - Self-Supervised Approach for Facial Movement Based Optical Flow [8.19666118455293]
顔のキーポイントを用いて顔画像の光学的流れグラウンド真理を生成する。
FlowNetSアーキテクチャをトレーニングして、生成されたデータセットのパフォーマンスをテストする。
本研究で得られた光学的流れは表情解析に有望な応用がある。
論文 参考訳（メタデータ） (2021-05-04T02:38:11Z) - Optical Flow Estimation from a Single Motion-blurred Image [66.2061278123057]
画像内の動きのぼかしは、基本的なコンピュータビジョンの問題に実用的な関心を持つ可能性があります。
本研究では,単一動画像からの光流れをエンドツーエンドで推定する新しい枠組みを提案する。
論文 参考訳（メタデータ） (2021-03-04T12:45:18Z) - The FaceChannel: A Fast & Furious Deep Neural Network for Facial
Expression Recognition [71.24825724518847]
顔の表情の自動認識(FER)の最先端モデルは、非常に深いニューラルネットワークに基づいており、訓練には効果的だがかなり高価である。
私たちは、一般的なディープニューラルネットワークよりもはるかに少ないパラメータを持つ軽量ニューラルネットワークであるFaceChannelを形式化します。
我々は、私たちのモデルがFERの現在の最先端技術に匹敵するパフォーマンスを達成する方法を実証する。
論文 参考訳（メタデータ） (2020-09-15T09:25:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。