論文の概要: Lagrangian Motion Magnification with Double Sparse Optical Flow Decomposition

• arxiv url: http://arxiv.org/abs/2204.07636v2
• Date: Mon, 15 Jan 2024 11:11:23 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-18 04:11:18.217505
• Title: Lagrangian Motion Magnification with Double Sparse Optical Flow Decomposition
• Title（参考訳）: 二重スパース光流分解によるラグランジュ運動拡大
• Authors: Philipp Flotho, Cosmas Heiss, Gabriele Steidl, Daniel J. Strauss
• Abstract要約: 顔面微小運動の局所的なラグランジアン運動倍率に対する新しいアプローチを提案する。 まず、顔を深層学習するために、リカレントな全ペアフィールド変換(RAFT)を微調整する。 第二に、顔の微小運動は空間と時間の両方で局所的であるので、空間と時間の両方でスパース成分を分解し、二重スパース分解をもたらすOF場を近似することを提案する。
• 参考スコア（独自算出の注目度）: 2.1028463367241033
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Microexpressions are fast and spatially small facial expressions that are difficult to detect. Therefore motion magnification techniques, which aim at amplifying and hence revealing subtle motion in videos, appear useful for handling such expressions. There are basically two main approaches, namely via Eulerian or Lagrangian techniques. While the first one magnifies motion implicitly by operating directly on image pixels, the Lagrangian approach uses optical flow (OF) techniques to extract and magnify pixel trajectories. In this paper, we propose a novel approach for local Lagrangian motion magnification of facial micro-motions. Our contribution is three-fold: first, we fine tune the recurrent all-pairs field transforms (RAFT) for OFs deep learning approach for faces by adding ground truth obtained from the variational dense inverse search (DIS) for OF algorithm applied to the CASME II video set of facial micro expressions. This enables us to produce OFs of facial videos in an efficient and sufficiently accurate way. Second, since facial micro-motions are both local in space and time, we propose to approximate the OF field by sparse components both in space and time leading to a double sparse decomposition. Third, we use this decomposition to magnify micro-motions in specific areas of the face, where we introduce a new forward warping strategy using a triangular splitting of the image grid and barycentric interpolation of the RGB vectors at the corners of the transformed triangles. We demonstrate the feasibility of our approach by various examples.
• Abstract（参考訳）: マイクロ表現は高速かつ空間的に小さな表情であり、検出が困難である。 したがって、動画の微妙な動きを増幅・明らかにする動き拡大技術は、そのような表現を扱うのに有用である。 基本的には2つの主要なアプローチがある: eulerian または lagrangian technique である。 最初のものは画像ピクセルを直接操作することで暗黙的に動きを拡大するが、ラグランジアンアプローチは光学フロー(OF)技術を用いて画素軌跡の抽出と拡大を行う。 本稿では,顔面微小運動の局所的なラグランジアン運動倍率に対する新しいアプローチを提案する。 まず,CASME II の顔マイクロ表現の映像集合に適用したアルゴリズムに対して,変化密度逆探索 (DIS) から得られた基底真理を付加することにより,顔に対する深層学習アプローチのための再帰的全対場変換 (RAFT) を微調整する。 これにより、効率的かつ十分に正確な方法で、顔ビデオのofを作成できる。 第二に, 顔のマイクロモーションは空間的, 時間的にも局所的であるため, 空間的, 時間的にもスパース成分によって近似し, 二重スパース分解を導くことを提案する。 第3に、この分解を用いて顔の特定の領域における微小な動きを拡大し、画像グリッドの三角形分割と、変換された三角形の角におけるRGBベクトルのバリ中心補間を用いた新しい前方ワープ戦略を導入する。 様々な例でアプローチの実現可能性を示す。

関連論文リスト

• Textual Decomposition Then Sub-motion-space Scattering for Open-Vocabulary Motion Generation [74.94730615777212]
  テキスト・トゥ・モーション・ジェネレーションはコンピュータビジョンにおいて重要なタスクであり、与えられたテキストによってターゲットとなる3Dモーションを生成する。 現在の注釈付きデータセットの限られたスケールでは、サブテキストスペースからサブモーションスペースへのマッピングしか実現できない。 本稿では,原子運動を中間表現として活用し,テキスト分解とサブモーション空間散乱という2つの秩序に結合したステップを活用することを提案する。
  論文  参考訳（メタデータ） (2024-11-06T17:57:43Z)
• SpotFormer: Multi-Scale Spatio-Temporal Transformer for Facial Expression Spotting [11.978551396144532]
  本稿では,表情スポッティングのための効率的なフレームワークを提案する。 まず,スライディングウィンドウを用いたマルチリゾリューション・オプティカルフロー(SW-MRO)機能を提案する。 第2に,SW-MRO特徴の顔時間関係を同時に符号化し,フレームレベルの精度推定を行うマルチスケール時間変換器であるSpotFormerを提案する。 第3に,異なる種類の表現の識別性を高めるために,教師付きコントラスト学習をSpotFormerに導入する。
  論文  参考訳（メタデータ） (2024-07-30T13:02:08Z)
• Motion-adaptive Separable Collaborative Filters for Blind Motion Deblurring [71.60457491155451]
  様々な動きによって生じる画像のぼかしを除去することは、難しい問題である。 本研究では,動き適応型分離型協調フィルタと呼ばれる実世界のデブロアリングフィルタモデルを提案する。 本手法は,実世界の動きのぼかし除去に有効な解法を提供し,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2024-04-19T19:44:24Z)
• Gyroscope-Assisted Motion Deblurring Network [11.404195533660717]
  本稿では、慣性計測ユニット(IMU)データを用いて、動きのぼかし画像の合成と復元を行う枠組みを提案する。 このフレームワークは、3重項生成のトレーニング戦略と、ぼやけた画像復元のためのジャイロスコープ支援モーションデブロアリング(GAMD)ネットワークを含む。
  論文  参考訳（メタデータ） (2024-02-10T01:30:24Z)
• Decouple Content and Motion for Conditional Image-to-Video Generation [6.634105805557556]
  条件付きイメージ・トゥ・ビデオ(cI2V)生成は、条件、すなわち1つの画像とテキストから始まり、信じられる新しいビデオを作成することである。 従来のcI2V生成法は、従来のRGBピクセル空間において、動きの一貫性と視覚的連続性のモデリングに制限がある。 本稿では,対象のRGB画素を空間的内容と時間的動きの2つの異なる成分に分解する手法を提案する。
  論文  参考訳（メタデータ） (2023-11-24T06:08:27Z)
• ExBluRF: Efficient Radiance Fields for Extreme Motion Blurred Images [58.24910105459957]
  極端運動ぼかし画像の新しいビュー合成法であるExBluRFを提案する。 提案手法は,6-DOFカメラトラジェクトリをベースとしたモーションブラー定式化と,ボクセルをベースとした放射場からなる。 既存の作業と比較して、トレーニング時間とGPUメモリ使用量の10倍の順序で、よりシャープな3Dシーンを復元する。
  論文  参考訳（メタデータ） (2023-09-16T11:17:25Z)
• 3D Motion Magnification: Visualizing Subtle Motions with Time Varying Radiance Fields [58.6780687018956]
  本研究では,移動カメラが捉えたシーンからの微妙な動きを拡大できる3次元運動倍率法を提案する。 時間変化のラディアンス場を用いてシーンを表現し、運動倍率のユーレリア原理を利用する。 我々は,様々なカメラ装置で撮影した合成シーンと実世界のシーンの両方において,本手法の有効性を評価する。
  論文  参考訳（メタデータ） (2023-08-07T17:59:59Z)
• DFR: Depth from Rotation by Uncalibrated Image Rectification with Latitudinal Motion Assumption [6.369764116066747]
  そこで我々は,非校正回転カメラのための新しい画像補正ソリューションDfRを提案する。 具体的には、カメラが一定の緯度で球上で回転するときに回転するカメラの動きをモデル化する。 2点解析解法は2つの画像の修正変換を直接計算することから導かれる。
  論文  参考訳（メタデータ） (2023-07-11T09:11:22Z)
• MorphGANFormer: Transformer-based Face Morphing and De-Morphing [55.211984079735196]
  顔変形に対するスタイルGANベースのアプローチが主要な技術である。 本稿では,顔の変形に対する変換器ベースの代替手段を提案し,その利点をStyleGANベースの方法と比較した。
  論文  参考訳（メタデータ） (2023-02-18T19:09:11Z)
• Grasping the Arrow of Time from the Singularity: Decoding Micromotion in Low-dimensional Latent Spaces from StyleGAN [105.99762358450633]
  顔生成のためのStyleGAN-v2モデルの潜在空間から抽出した低ランク空間で「マイクロモーション」を表現できることを示す。 これは、その潜在的特徴に対するアフィン変換として単純なものとして表すことができる。 局所的な特徴幾何は、ある種類のマイクロモーションに対応し、異なる顔の被写体に整列していることが示される。
  論文  参考訳（メタデータ） (2022-04-27T04:38:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。