Fugu-MT 論文翻訳(概要): Lagrangian Motion Magnification with Double Sparse Optical Flow Decomposition

論文の概要: Lagrangian Motion Magnification with Double Sparse Optical Flow Decomposition

arxiv url: http://arxiv.org/abs/2204.07636v1
Date: Fri, 15 Apr 2022 20:24:11 GMT
ステータス: 処理完了
システム内更新日: 2022-04-21 05:37:35.130426
Title: Lagrangian Motion Magnification with Double Sparse Optical Flow Decomposition
Title（参考訳）: 二重スパース光流分解によるラグランジュ運動拡大
Authors: Philipp Flotho, Cosmas Heiss, Gabriele Steidl, Daniel J. Strauss
Abstract要約: 顔面微小運動の局所的なラグランジアン運動倍率に対する新しいアプローチを提案する。コントリビューションは3倍であり、まず、光流のリカレント全対場変換を微調整する。第二に、顔の微小運動は空間と時間の両方で局所的であるので、空間と時間の両方でスパース成分によって光学流場を近似することを提案する。
参考スコア（独自算出の注目度）: 0.20072624123275526
License: http://creativecommons.org/publicdomain/zero/1.0/
Abstract: Motion magnification techniques aim at amplifying and hence revealing subtle motion in videos. There are basically two main approaches to reach this goal, namely via Eulerian or Lagrangian techniques. While the first one magnifies motion implicitly by operating directly on image pixels, the Lagrangian approach uses optical flow techniques to extract and amplify pixel trajectories. Microexpressions are fast and spatially small facial expressions that are difficult to detect. In this paper, we propose a novel approach for local Lagrangian motion magnification of facial micromovements. Our contribution is three-fold: first, we fine-tune the recurrent all-pairs field transforms for optical flows (RAFT) deep learning approach for faces by adding ground truth obtained from the variational dense inverse search (DIS) for optical flow algorithm applied to the CASME II video set of faces. This enables us to produce optical flows of facial videos in an efficient and sufficiently accurate way. Second, since facial micromovements are both local in space and time, we propose to approximate the optical flow field by sparse components both in space and time leading to a double sparse decomposition. Third, we use this decomposition to magnify micro-motions in specific areas of the face, where we introduce a new forward warping strategy using a triangular splitting of the image grid and barycentric interpolation of the RGB vectors at the corners of the transformed triangles. We demonstrate the very good performance of our approach by various examples.
Abstract（参考訳）: モーション拡大技術は、動画の微妙な動きを増幅し、明らかにすることを目的としている。基本的には、この目標を達成するための2つの主要なアプローチがあります。最初のものは画像ピクセルを直接操作することで暗黙的に動きを拡大するが、ラグランジアンアプローチは光学フロー技術を用いて画素軌跡を抽出し増幅する。マイクロ表現は高速かつ空間的に小さな表情であり、検出が困難である。本稿では,顔面微小運動の局所的なラグランジアン運動倍率に対する新しいアプローチを提案する。まず、顔のCASME IIビデオ集合に適用された光フローアルゴリズムの変動密度逆探索(DIS)から得られた基底真理を付加することにより、顔の光フロー(RAFT)深層学習のための再帰的な全対場変換を微調整する。これにより、効率的かつ十分な精度で顔ビデオの光学的流れを生成できる。第2に, 顔のマイクロムーブメントは空間的および時間的に局所的であるため, 空間的および時間的にスパース成分によって光学的流れ場を近似し, 二重スパース分解を導くことを提案する。第3に、この分解を用いて顔の特定の領域における微小な動きを拡大し、画像グリッドの三角形分割と、変換された三角形の角におけるRGBベクトルのバリ中心補間を用いた新しい前方ワープ戦略を導入する。我々は、様々な例によって、我々のアプローチの非常に優れた性能を示す。

関連論文リスト

Textual Decomposition Then Sub-motion-space Scattering for Open-Vocabulary Motion Generation [74.94730615777212]
テキスト・トゥ・モーション・ジェネレーションはコンピュータビジョンにおいて重要なタスクであり、与えられたテキストによってターゲットとなる3Dモーションを生成する。現在の注釈付きデータセットの限られたスケールでは、サブテキストスペースからサブモーションスペースへのマッピングしか実現できない。本稿では,原子運動を中間表現として活用し,テキスト分解とサブモーション空間散乱という2つの秩序に結合したステップを活用することを提案する。
論文参考訳（メタデータ） (2024-11-06T17:57:43Z)
SpotFormer: Multi-Scale Spatio-Temporal Transformer for Facial Expression Spotting [11.978551396144532]
本稿では,表情スポッティングのための効率的なフレームワークを提案する。まず,スライディングウィンドウを用いたマルチリゾリューション・オプティカルフロー(SW-MRO)機能を提案する。第2に,SW-MRO特徴の顔時間関係を同時に符号化し,フレームレベルの精度推定を行うマルチスケール時間変換器であるSpotFormerを提案する。第3に,異なる種類の表現の識別性を高めるために,教師付きコントラスト学習をSpotFormerに導入する。
論文参考訳（メタデータ） (2024-07-30T13:02:08Z)
Motion-adaptive Separable Collaborative Filters for Blind Motion Deblurring [71.60457491155451]
様々な動きによって生じる画像のぼかしを除去することは、難しい問題である。本研究では,動き適応型分離型協調フィルタと呼ばれる実世界のデブロアリングフィルタモデルを提案する。本手法は,実世界の動きのぼかし除去に有効な解法を提供し,最先端の性能を実現する。
論文参考訳（メタデータ） (2024-04-19T19:44:24Z)
Gyroscope-Assisted Motion Deblurring Network [11.404195533660717]
本稿では、慣性計測ユニット(IMU)データを用いて、動きのぼかし画像の合成と復元を行う枠組みを提案する。このフレームワークは、3重項生成のトレーニング戦略と、ぼやけた画像復元のためのジャイロスコープ支援モーションデブロアリング(GAMD)ネットワークを含む。
論文参考訳（メタデータ） (2024-02-10T01:30:24Z)
Decouple Content and Motion for Conditional Image-to-Video Generation [6.634105805557556]
条件付きイメージ・トゥ・ビデオ(cI2V)生成は、条件、すなわち1つの画像とテキストから始まり、信じられる新しいビデオを作成することである。従来のcI2V生成法は、従来のRGBピクセル空間において、動きの一貫性と視覚的連続性のモデリングに制限がある。本稿では,対象のRGB画素を空間的内容と時間的動きの2つの異なる成分に分解する手法を提案する。
論文参考訳（メタデータ） (2023-11-24T06:08:27Z)
ExBluRF: Efficient Radiance Fields for Extreme Motion Blurred Images [58.24910105459957]
極端運動ぼかし画像の新しいビュー合成法であるExBluRFを提案する。提案手法は,6-DOFカメラトラジェクトリをベースとしたモーションブラー定式化と,ボクセルをベースとした放射場からなる。既存の作業と比較して、トレーニング時間とGPUメモリ使用量の10倍の順序で、よりシャープな3Dシーンを復元する。
論文参考訳（メタデータ） (2023-09-16T11:17:25Z)
3D Motion Magnification: Visualizing Subtle Motions with Time Varying Radiance Fields [58.6780687018956]
本研究では,移動カメラが捉えたシーンからの微妙な動きを拡大できる3次元運動倍率法を提案する。時間変化のラディアンス場を用いてシーンを表現し、運動倍率のユーレリア原理を利用する。我々は,様々なカメラ装置で撮影した合成シーンと実世界のシーンの両方において,本手法の有効性を評価する。
論文参考訳（メタデータ） (2023-08-07T17:59:59Z)
DFR: Depth from Rotation by Uncalibrated Image Rectification with Latitudinal Motion Assumption [6.369764116066747]
そこで我々は,非校正回転カメラのための新しい画像補正ソリューションDfRを提案する。具体的には、カメラが一定の緯度で球上で回転するときに回転するカメラの動きをモデル化する。 2点解析解法は2つの画像の修正変換を直接計算することから導かれる。
論文参考訳（メタデータ） (2023-07-11T09:11:22Z)
MorphGANFormer: Transformer-based Face Morphing and De-Morphing [55.211984079735196]
顔変形に対するスタイルGANベースのアプローチが主要な技術である。本稿では,顔の変形に対する変換器ベースの代替手段を提案し,その利点をStyleGANベースの方法と比較した。
論文参考訳（メタデータ） (2023-02-18T19:09:11Z)
Grasping the Arrow of Time from the Singularity: Decoding Micromotion in Low-dimensional Latent Spaces from StyleGAN [105.99762358450633]
顔生成のためのStyleGAN-v2モデルの潜在空間から抽出した低ランク空間で「マイクロモーション」を表現できることを示す。これは、その潜在的特徴に対するアフィン変換として単純なものとして表すことができる。局所的な特徴幾何は、ある種類のマイクロモーションに対応し、異なる顔の被写体に整列していることが示される。
論文参考訳（メタデータ） (2022-04-27T04:38:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。