Fugu-MT 論文翻訳(概要): Self-Supervised Approach for Facial Movement Based Optical Flow

論文の概要: Self-Supervised Approach for Facial Movement Based Optical Flow

arxiv url: http://arxiv.org/abs/2105.01256v1
Date: Tue, 4 May 2021 02:38:11 GMT
ステータス: 処理完了
システム内更新日: 2021-05-05 20:02:16.403722
Title: Self-Supervised Approach for Facial Movement Based Optical Flow
Title（参考訳）: 顔の動きに基づく光学的流れに対する自己監督的アプローチ
Authors: Muhannad Alkaddour, Usman Tariq, Abhinav Dhall
Abstract要約: 顔のキーポイントを用いて顔画像の光学的流れグラウンド真理を生成する。 FlowNetSアーキテクチャをトレーニングして、生成されたデータセットのパフォーマンスをテストする。本研究で得られた光学的流れは表情解析に有望な応用がある。
参考スコア（独自算出の注目度）: 8.19666118455293
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Computing optical flow is a fundamental problem in computer vision. However, deep learning-based optical flow techniques do not perform well for non-rigid movements such as those found in faces, primarily due to lack of the training data representing the fine facial motion. We hypothesize that learning optical flow on face motion data will improve the quality of predicted flow on faces. The aim of this work is threefold: (1) exploring self-supervised techniques to generate optical flow ground truth for face images; (2) computing baseline results on the effects of using face data to train Convolutional Neural Networks (CNN) for predicting optical flow; and (3) using the learned optical flow in micro-expression recognition to demonstrate its effectiveness. We generate optical flow ground truth using facial key-points in the BP4D-Spontaneous dataset. The generated optical flow is used to train the FlowNetS architecture to test its performance on the generated dataset. The performance of FlowNetS trained on face images surpassed that of other optical flow CNN architectures, demonstrating its usefulness. Our optical flow features are further compared with other methods using the STSTNet micro-expression classifier, and the results indicate that the optical flow obtained using this work has promising applications in facial expression analysis.
Abstract（参考訳）: 光フローの計算はコンピュータビジョンの基本的な問題である。しかし、深層学習に基づく光学フロー技術は、顔に見られるような非剛性運動に対して、主に顔の動きを表す訓練データが欠如しているため、うまく機能しない。顔の動きデータによるオプティカルフローの学習は、顔上の予測フローの質を向上させると仮定する。本研究の目的は,(1)顔画像の光学的フローグラウンド真理を生成するための自己指導的手法の探索,(2)顔データによる光フロー予測のための畳み込みニューラルネットワーク(CNN)の訓練効果の計算基準,(3)マイクロ圧縮認識における学習された光学的フローの利用による効果の実証である。 BP4D-Spontaneous datasetにおける顔のキーポイントを用いて光フローグラウンド真理を生成する。生成された光学フローは、FlowNetSアーキテクチャをトレーニングして、生成されたデータセットのパフォーマンスをテストするために使用される。顔画像上でトレーニングされたFlowNetSの性能は、他の光フローCNNアーキテクチャよりも優れており、その有用性を示している。本研究は,STSTNetマイクロ圧縮分類器を用いた他の手法と比較し,本手法を用いて得られた光学フローが表情解析に有望な応用であることを示す。

関連論文リスト

FacialFlowNet: Advancing Facial Optical Flow Estimation with a Diverse Dataset and a Decomposed Model [15.525822826375371]
本稿では,新しい大規模顔光フローデータセットであるFacalFlowNet(FFN)とDecomposed Facial Flow Model(DecFlow)を提案する。 FFNは9,635のアイデンティティと105,970のイメージペアで構成され、顔と頭部の詳細な動作分析に前例のない多様性を提供する。 DecFlowは、顔のセマンティックなデコーダを備え、顔のフローを頭と表情のコンポーネントに正確に分解する。
論文参考訳（メタデータ） (2024-09-09T07:49:13Z)
Vision-Informed Flow Image Super-Resolution with Quaternion Spatial Modeling and Dynamic Flow Convolution [49.45309818782329]
フロー画像超解像(FISR)は、低分解能フロー画像から高分解能乱流速度場を復元することを目的としている。既存のFISR法は主に自然画像パターンのフロー画像を処理する。第一流れの視覚特性インフォームドFISRアルゴリズムを提案する。
論文参考訳（メタデータ） (2024-01-29T06:48:16Z)
UFD-PRiME: Unsupervised Joint Learning of Optical Flow and Stereo Depth through Pixel-Level Rigid Motion Estimation [4.445751695675388]
光の流れとステレオの相違は画像の一致であり、そのため関節トレーニングの恩恵を受けることができる。我々は、フローと格差を共同で推定し、監督なしに訓練される最初のネットワークを設計する。第2のネットワークは、第1のネットワークから擬似ラベルとして光学的流れを訓練し、第1のネットワークから格差を取り、各ピクセルにおける3次元剛性運動を推定し、再び光学的流れを再構築する。
論文参考訳（メタデータ） (2023-10-07T07:08:25Z)
Skin the sheep not only once: Reusing Various Depth Datasets to Drive the Learning of Optical Flow [25.23550076996421]
本稿では,光学的フロー推定とステレオマッチングの幾何学的接続を活用することを提案する。モノクラー深度データセットを仮想的不均一性によってステレオデータに変換する。また、ステレオデータに仮想カメラの動きを導入し、垂直方向に沿って追加のフローを生成する。
論文参考訳（メタデータ） (2023-10-03T06:56:07Z)
Neuromorphic Optical Flow and Real-time Implementation with Event Cameras [47.11134388304464]
イベントベースのビジョンとスパイクニューラルネットワークの最新の開発の上に構築しています。我々は、最先端の自己監督型光フロー精度を向上させる新しいネットワークアーキテクチャを提案する。約2桁の複雑さで高速な光流予測を行う。
論文参考訳（メタデータ） (2023-04-14T14:03:35Z)
Deep 360$^\circ$ Optical Flow Estimation Based on Multi-Projection Fusion [10.603670927163002]
本稿では,広範に普及しているVRアプリケーションをサポートするために,ディープニューラルネットワークを用いた360ドル周光フロー推定に焦点を当てる。異なる投射法を用いて訓練されたモデルにより予測される光の流れを融合する新しい多射影融合フレームワークを提案する。また、ニューラルネットワークのトレーニングとパノラマ光フロー推定手法の評価を支援するために、最初の大規模パノラマ光フローデータセットを構築した。
論文参考訳（メタデータ） (2022-07-27T16:48:32Z)
Sensor-Guided Optical Flow [53.295332513139925]
本稿では、未知の領域や未知の領域において、より優れた精度を実現するために、外部キューを用いた光フローネットワークを誘導するフレームワークを提案する。能動センサからの深度測定と幾何および手作り光学フローアルゴリズムを組み合わせることで,これらがどのように得られるかを示す。
論文参考訳（メタデータ） (2021-09-30T17:59:57Z)
Dense Optical Flow from Event Cameras [55.79329250951028]
本稿では,イベントカメラからの高密度光フロー推定に特徴相関と逐次処理を導入することを提案する。提案手法は、高密度光流を計算し、MVSEC上での終点誤差を23%削減する。
論文参考訳（メタデータ） (2021-08-24T07:39:08Z)
PCA Event-Based Otical Flow for Visual Odometry [0.0]
本稿では,イベントベース光流量推定問題に対する主成分分析手法を提案する。提案手法の最良の変種は,ビジュアルオドメトリーのリアルタイムコンテキストを対象とし,最先端実装と比較して約2倍高速であることを示す。
論文参考訳（メタデータ） (2021-05-08T18:30:44Z)
Learning optical flow from still images [53.295332513139925]
我々は,容易に利用可能な単一の実画像から,高精度な光学的フローアノテーションを迅速かつ多量に生成するフレームワークを提案する。既知の動きベクトルと回転角を持つ再構成された環境でカメラを仮想的に移動させる。我々のデータでトレーニングすると、最先端の光フローネットワークは、実データを見るのに優れた一般化を実現する。
論文参考訳（メタデータ） (2021-04-08T17:59:58Z)
Optical Flow Estimation from a Single Motion-blurred Image [66.2061278123057]
画像内の動きのぼかしは、基本的なコンピュータビジョンの問題に実用的な関心を持つ可能性があります。本研究では,単一動画像からの光流れをエンドツーエンドで推定する新しい枠組みを提案する。
論文参考訳（メタデータ） (2021-03-04T12:45:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。