論文の概要: Lagrangian Motion Magnification with Double Sparse Optical Flow
Decomposition
- arxiv url: http://arxiv.org/abs/2204.07636v1
- Date: Fri, 15 Apr 2022 20:24:11 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-21 05:37:35.130426
- Title: Lagrangian Motion Magnification with Double Sparse Optical Flow
Decomposition
- Title(参考訳): 二重スパース光流分解によるラグランジュ運動拡大
- Authors: Philipp Flotho, Cosmas Heiss, Gabriele Steidl, Daniel J. Strauss
- Abstract要約: 顔面微小運動の局所的なラグランジアン運動倍率に対する新しいアプローチを提案する。
コントリビューションは3倍であり、まず、光流のリカレント全対場変換を微調整する。
第二に、顔の微小運動は空間と時間の両方で局所的であるので、空間と時間の両方でスパース成分によって光学流場を近似することを提案する。
- 参考スコア(独自算出の注目度): 0.20072624123275526
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Motion magnification techniques aim at amplifying and hence revealing subtle
motion in videos. There are basically two main approaches to reach this goal,
namely via Eulerian or Lagrangian techniques. While the first one magnifies
motion implicitly by operating directly on image pixels, the Lagrangian
approach uses optical flow techniques to extract and amplify pixel
trajectories. Microexpressions are fast and spatially small facial expressions
that are difficult to detect. In this paper, we propose a novel approach for
local Lagrangian motion magnification of facial micromovements. Our
contribution is three-fold: first, we fine-tune the recurrent all-pairs field
transforms for optical flows (RAFT) deep learning approach for faces by adding
ground truth obtained from the variational dense inverse search (DIS) for
optical flow algorithm applied to the CASME II video set of faces. This enables
us to produce optical flows of facial videos in an efficient and sufficiently
accurate way. Second, since facial micromovements are both local in space and
time, we propose to approximate the optical flow field by sparse components
both in space and time leading to a double sparse decomposition. Third, we use
this decomposition to magnify micro-motions in specific areas of the face,
where we introduce a new forward warping strategy using a triangular splitting
of the image grid and barycentric interpolation of the RGB vectors at the
corners of the transformed triangles. We demonstrate the very good performance
of our approach by various examples.
- Abstract(参考訳): モーション拡大技術は、動画の微妙な動きを増幅し、明らかにすることを目的としている。
基本的には、この目標を達成するための2つの主要なアプローチがあります。
最初のものは画像ピクセルを直接操作することで暗黙的に動きを拡大するが、ラグランジアンアプローチは光学フロー技術を用いて画素軌跡を抽出し増幅する。
マイクロ表現は高速かつ空間的に小さな表情であり、検出が困難である。
本稿では,顔面微小運動の局所的なラグランジアン運動倍率に対する新しいアプローチを提案する。
まず、顔のCASME IIビデオ集合に適用された光フローアルゴリズムの変動密度逆探索(DIS)から得られた基底真理を付加することにより、顔の光フロー(RAFT)深層学習のための再帰的な全対場変換を微調整する。
これにより、効率的かつ十分な精度で顔ビデオの光学的流れを生成できる。
第2に, 顔のマイクロムーブメントは空間的および時間的に局所的であるため, 空間的および時間的にスパース成分によって光学的流れ場を近似し, 二重スパース分解を導くことを提案する。
第3に、この分解を用いて顔の特定の領域における微小な動きを拡大し、画像グリッドの三角形分割と、変換された三角形の角におけるRGBベクトルのバリ中心補間を用いた新しい前方ワープ戦略を導入する。
我々は、様々な例によって、我々のアプローチの非常に優れた性能を示す。
関連論文リスト
- Gyroscope-Assisted Motion Deblurring Network [11.404195533660717]
本稿では、慣性計測ユニット(IMU)データを用いて、動きのぼかし画像の合成と復元を行う枠組みを提案する。
このフレームワークは、3重項生成のトレーニング戦略と、ぼやけた画像復元のためのジャイロスコープ支援モーションデブロアリング(GAMD)ネットワークを含む。
論文 参考訳(メタデータ) (2024-02-10T01:30:24Z) - Decouple Content and Motion for Conditional Image-to-Video Generation [6.634105805557556]
条件付きイメージ・トゥ・ビデオ(cI2V)生成は、条件、すなわち1つの画像とテキストから始まり、信じられる新しいビデオを作成することである。
従来のcI2V生成法は、従来のRGBピクセル空間において、動きの一貫性と視覚的連続性のモデリングに制限がある。
本稿では,対象のRGB画素を空間的内容と時間的動きの2つの異なる成分に分解する手法を提案する。
論文 参考訳(メタデータ) (2023-11-24T06:08:27Z) - Forward Flow for Novel View Synthesis of Dynamic Scenes [97.97012116793964]
本稿では,前向きワープを用いた動的シーンの新たなビュー合成のためのニューラルラジアンス場(NeRF)アプローチを提案する。
本手法は、新しいビューレンダリングとモーションモデリングの両方において、既存の手法よりも優れている。
論文 参考訳(メタデータ) (2023-09-29T16:51:06Z) - ExBluRF: Efficient Radiance Fields for Extreme Motion Blurred Images [58.24910105459957]
極端運動ぼかし画像の新しいビュー合成法であるExBluRFを提案する。
提案手法は,6-DOFカメラトラジェクトリをベースとしたモーションブラー定式化と,ボクセルをベースとした放射場からなる。
既存の作業と比較して、トレーニング時間とGPUメモリ使用量の10倍の順序で、よりシャープな3Dシーンを復元する。
論文 参考訳(メタデータ) (2023-09-16T11:17:25Z) - 3D Motion Magnification: Visualizing Subtle Motions with Time Varying
Radiance Fields [58.6780687018956]
本研究では,移動カメラが捉えたシーンからの微妙な動きを拡大できる3次元運動倍率法を提案する。
時間変化のラディアンス場を用いてシーンを表現し、運動倍率のユーレリア原理を利用する。
我々は,様々なカメラ装置で撮影した合成シーンと実世界のシーンの両方において,本手法の有効性を評価する。
論文 参考訳(メタデータ) (2023-08-07T17:59:59Z) - DFR: Depth from Rotation by Uncalibrated Image Rectification with
Latitudinal Motion Assumption [6.369764116066747]
そこで我々は,非校正回転カメラのための新しい画像補正ソリューションDfRを提案する。
具体的には、カメラが一定の緯度で球上で回転するときに回転するカメラの動きをモデル化する。
2点解析解法は2つの画像の修正変換を直接計算することから導かれる。
論文 参考訳(メタデータ) (2023-07-11T09:11:22Z) - MorphGANFormer: Transformer-based Face Morphing and De-Morphing [55.211984079735196]
顔変形に対するスタイルGANベースのアプローチが主要な技術である。
本稿では,顔の変形に対する変換器ベースの代替手段を提案し,その利点をStyleGANベースの方法と比較した。
論文 参考訳(メタデータ) (2023-02-18T19:09:11Z) - Grasping the Arrow of Time from the Singularity: Decoding Micromotion in
Low-dimensional Latent Spaces from StyleGAN [105.99762358450633]
顔生成のためのStyleGAN-v2モデルの潜在空間から抽出した低ランク空間で「マイクロモーション」を表現できることを示す。
これは、その潜在的特徴に対するアフィン変換として単純なものとして表すことができる。
局所的な特徴幾何は、ある種類のマイクロモーションに対応し、異なる顔の被写体に整列していることが示される。
論文 参考訳(メタデータ) (2022-04-27T04:38:39Z) - Learning to Segment Rigid Motions from Two Frames [72.14906744113125]
本研究では, 運動場から独立物体の動きを復元する幾何学的解析により, モジュラーネットワークを提案する。
2つの連続フレームを入力とし、背景のセグメンテーションマスクと複数の剛体移動オブジェクトを予測し、3次元の剛体変換によってパラメータ化する。
本手法はkittiおよびsintelにおける剛体運動セグメンテーションの最先端性能を実現する。
論文 参考訳(メタデータ) (2021-01-11T04:20:30Z) - Polarimetric SAR Image Semantic Segmentation with 3D Discrete Wavelet
Transform and Markov Random Field [32.59900433812833]
本稿では,文脈的PolSAR画像セマンティックセグメンテーション手法を提案する。
3D-DWT手法は,新たに定義したチャネル的に一貫した特徴を入力として,スペックルノイズに頑健な識別的マルチスケール特徴を抽出する。
3D-DWT機能とMRFプリエントを同時に活用することにより、セグメンテーション中にコンテキスト情報が完全に統合され、正確かつスムーズなセグメンテーションが保証される。
論文 参考訳(メタデータ) (2020-08-05T08:28:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。