論文の概要: Correcting Face Distortion in Wide-Angle Videos
- arxiv url: http://arxiv.org/abs/2111.09950v1
- Date: Thu, 18 Nov 2021 21:28:17 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-22 15:53:10.109053
- Title: Correcting Face Distortion in Wide-Angle Videos
- Title（参考訳）: 広角映像における顔の歪み補正
- Authors: Wei-Sheng Lai, YiChang Shih, Chia-Kai Liang, Ming-Hsuan Yang
- Abstract要約: これらの歪みを補正するビデオワープアルゴリズムを提案する。
私たちのキーとなるアイデアは、顔領域に局所的に立体投影を適用することです。
性能評価のために,焦点距離の広い広角ビデオデータセットを開発した。
- 参考スコア（独自算出の注目度）: 85.88898349347149
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Video blogs and selfies are popular social media formats, which are often
captured by wide-angle cameras to show human subjects and expanded background.
Unfortunately, due to perspective projection, faces near corners and edges
exhibit apparent distortions that stretch and squish the facial features,
resulting in poor video quality. In this work, we present a video warping
algorithm to correct these distortions. Our key idea is to apply stereographic
projection locally on the facial regions. We formulate a mesh warp problem
using spatial-temporal energy minimization and minimize background deformation
using a line-preservation term to maintain the straight edges in the
background. To address temporal coherency, we constrain the temporal smoothness
on the warping meshes and facial trajectories through the latent variables. For
performance evaluation, we develop a wide-angle video dataset with a wide range
of focal lengths. The user study shows that 83.9% of users prefer our algorithm
over other alternatives based on perspective projection.
- Abstract（参考訳）: ビデオブログや自撮りはソーシャルメディアのフォーマットとして人気があり、広角カメラが人の対象と背景を映し出す。
残念なことに、視点の投影により、角や縁付近に明らかな歪みがあり、顔の特徴を伸縮させ、ビデオ品質を損なう。
本研究では,これらの歪みを補正するビデオワーピングアルゴリズムを提案する。
私たちのキーとなるアイデアは、顔領域に局所的に立体投影を適用することです。
本研究では,空間的時間的エネルギー最小化を用いてメッシュワープ問題を定式化し,線形保存項を用いて背景変形を最小限に抑える。
時間的コヒーレンシに対処するために,反りメッシュの時間的滑らかさと潜在変数による顔の軌跡を制約する。
性能評価のために,焦点距離の広い広角ビデオデータセットを開発した。
ユーザ調査によると、83.9%のユーザが、視点予測に基づく他の選択肢よりもアルゴリズムを好んでいる。
関連論文リスト
- Kalman-Inspired Feature Propagation for Video Face Super-Resolution [78.84881180336744]
時間前に安定した顔を維持するための新しい枠組みを導入する。
カルマンフィルタの原理は,従来の復元フレームからの情報を用いて,現在のフレームの復元過程をガイドし,調整することができる。
ビデオフレーム間で顔の細部を連続的にキャプチャする手法の有効性を実験により実証した。
論文 参考訳（メタデータ） (2024-08-09T17:57:12Z) - Controllable One-Shot Face Video Synthesis With Semantic Aware Prior [10.968343822308812]
ワンショットトーキングヘッド合成タスクは、ソースイメージを他のポーズと表現にアニメーションすることを目的としており、これは駆動フレームによって予測される。
近年の手法では,スパースキーポイントから推定される運動場を教師なしの方法で学習することにより,ソースから抽出した外観特徴のゆがみに頼っている。
本稿では,豊かな顔の事前情報を活用する新しい手法を提案する。
論文 参考訳（メタデータ） (2023-04-27T19:17:13Z) - Parallax-Tolerant Unsupervised Deep Image Stitching [57.76737888499145]
本稿では,パララックス耐性の非教師あり深層画像縫合技術であるUDIS++を提案する。
まず,グローバルなホモグラフィから局所的な薄板スプライン運動への画像登録をモデル化するための,頑健で柔軟なワープを提案する。
本研究では, 縫合された画像をシームレスに合成し, シーム駆動合成マスクの教師なし学習を行うことを提案する。
論文 参考訳（メタデータ） (2023-02-16T10:40:55Z) - Video2StyleGAN: Encoding Video in Latent Space for Manipulation [63.03250800510085]
本稿では,顔映像のセマンティックな操作のために,顔映像をStyleGANの潜在空間に符号化する新しいネットワークを提案する。
提案手法は,リアルタイム(66fps)の高速化を実現しつつ,既存の単一画像手法よりも大幅に優れる。
論文 参考訳（メタデータ） (2022-06-27T06:48:15Z) - Parametric Reshaping of Portraits in Videos [24.428095383264456]
本研究では,映像中のポートレートを再現し,スムーズな修正結果を生成するための,頑健で使いやすいパラメトリック手法を提案する。
入力されたポートレートビデオは,2つの主要なステージ – 安定した顔再構成と連続的なビデオ再構成 – から構成される。
第2段階では、まず、顔の重量変化を反映したパラメトリック・リフォーミングモデルを用いて、再構成された3次元面を再構成し、その形状を変えて映像フレームの変形を誘導する。
論文 参考訳（メタデータ） (2022-05-05T09:55:16Z) - Unsupervised Action Localization Crop in Video Retargeting for 3D
ConvNets [0.0]
3D CNNは、元々の寸法の正方形のビデオを必要とする。使用中のランダムまたはセンターカッピング技術は、ビデオの主題を完全に取り除くかもしれない。
本稿では,これを空間的・映像間合成問題として,教師なしのビデオトリミング手法を提案する。
合成ビデオは1:1のアスペクト比を維持し、サイズが小さく、一定期間にわたってビデオオブジェクトをターゲットにしている。
論文 参考訳（メタデータ） (2021-11-14T19:27:13Z) - Consistent Depth of Moving Objects in Video [52.72092264848864]
移動カメラで撮影した通常の映像から任意の移動物体を含む動的シーンの深さを推定する手法を提案する。
我々は、この目的を、深度予測CNNを入力ビデオ全体にわたって補助的なシーンフロー予測でタンデムで訓練する新しいテストタイムトレーニングフレームワークで定式化する。
我々は、さまざまな移動物体(ペット、人、車)とカメラの動きを含む様々な挑戦的なビデオに対して、正確かつ時間的に一貫性のある結果を示す。
論文 参考訳（メタデータ） (2021-08-02T20:53:18Z) - Practical Wide-Angle Portraits Correction with Deep Structured Models [17.62752136436382]
本稿では,写真から視線歪みを取り除くための深層学習手法について紹介する。
入力として広角ポートレートが与えられると、LineNet、ShapeNet、トランジションモジュールからなるカスケードネットワークを構築します。
定量的評価には,ラインの整合性と面の整合性という2つの新しい指標を導入する。
論文 参考訳（メタデータ） (2021-04-26T10:47:35Z) - Video Semantic Segmentation with Distortion-Aware Feature Correction [32.00672651803015]
フレーム単位のイメージセグメンテーションは、計算コストが高いため、実際には受け入れられない。
本稿では,問題を緩和する歪み認識機能補正を提案する。
提案手法は,ビデオセマンティックセグメンテーションの精度を大幅に向上させることができる。
論文 参考訳（メタデータ） (2020-06-18T09:30:00Z) - Consistent Video Depth Estimation [57.712779457632024]
モノクロ映像中の全画素に対して, 密度, 幾何的に整合した深度を再構成するアルゴリズムを提案する。
動画中の画素の幾何的制約を確立するために、従来の動きから再構成した構造を利用する。
我々のアルゴリズムは、手持ちの映像をある程度のダイナミックな動きで処理することができる。
論文 参考訳（メタデータ） (2020-04-30T17:59:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。