論文の概要: Zoom in to the details of human-centric videos

• arxiv url: http://arxiv.org/abs/2005.13222v1
• Date: Wed, 27 May 2020 08:04:47 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-28 09:15:17.396713
• Title: Zoom in to the details of human-centric videos
• Title（参考訳）: 人間中心のビデオの細部までズームインする
• Authors: Guanghan Li, Yaping Zhao, Mengqi Ji, Xiaoyun Yuan, Lu Fang
• Abstract要約: 既存のアルゴリズムは、Im-ageパッチの普遍的および低レベルの先行性のみを考慮して、問題を緩和する。 我々のアルゴリズムは、HR人間の外見によって定義された高レベルな事前定義を生かして、人体超解像に対するバイアスを受けている。
• 参考スコア（独自算出の注目度）: 22.138316541569758
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Presenting high-resolution (HR) human appearance is always critical for the human-centric videos. However, current imagery equipment can hardly capture HR details all the time. Existing super-resolution algorithms barely mitigate the problem by only considering universal and low-level priors of im-age patches. In contrast, our algorithm is under bias towards the human body super-resolution by taking advantage of high-level prior defined by HR human appearance. Firstly, a motion analysis module extracts inherent motion pattern from the HR reference video to refine the pose estimation of the low-resolution (LR) sequence. Furthermore, a human body reconstruction module maps the HR texture in the reference frames onto a 3D mesh model. Consequently, the input LR videos get super-resolved HR human sequences are generated conditioned on the original LR videos as well as few HR reference frames. Experiments on an existing dataset and real-world data captured by hybrid cameras show that our approach generates superior visual quality of human body compared with the traditional method.
• Abstract（参考訳）: 人間の外観を高解像度(HR)で見せることは、人間中心のビデオにとって常に重要である。 しかし、現在の画像装置は、常にHRの詳細を把握できない。 既存の超解像アルゴリズムは、Im-ageパッチの普遍的および低レベルの先行性のみを考慮して、問題を緩和する。 対照的に、我々のアルゴリズムは、HR人間の外見によって定義された高レベルな事前定義を生かして、人体超解像に対するバイアスを受けている。 まず、動き解析モジュールは、HR基準ビデオから固有の動きパターンを抽出し、低分解能(LR)シーケンスのポーズ推定を洗練する。 さらに、人体再構成モジュールは、基準フレーム内のHRテクスチャを3Dメッシュモデルにマッピングする。 これにより、入力されたLRビデオは、元のLRビデオと少ないHR参照フレームに、超解決されたHRヒューマンシーケンスを生成する。 既存のデータセットとハイブリッドカメラで取得した実世界データを用いた実験により,従来の手法と比較して,人体の視覚品質が優れた結果が得られた。

関連論文リスト

• ARTS: Semi-Analytical Regressor using Disentangled Skeletal Representations for Human Mesh Recovery from Videos [18.685856290041283]
  ARTSは、一般的なベンチマークにおけるフレーム単位の精度と時間的一貫性の両方において、既存の最先端のビデオベースの手法を超越している。 ビデオから3Dスケルトンを推定するために,スケルトン推定およびアンタングルメントモジュールを提案する。 回帰器は、Temporal Inverse Kinematics (TIK), bone-guided Shape Fitting (BSF), Motion-Centric Refinement (MCR)の3つのモジュールで構成されている。
  論文  参考訳（メタデータ） (2024-10-21T02:06:43Z)
• Generalizable Human Gaussians from Single-View Image [52.100234836129786]
  単視点一般化可能なHuman Gaussian Model(HGM)を導入する。 提案手法では, 粗い予測されたヒトガウスの背景画像を改良するために, ControlNet を用いる。 非現実的な人間のポーズや形状の潜在的な発生を緩和するために、SMPL-Xモデルからの人間の先行を二重分岐として組み込む。
  論文  参考訳（メタデータ） (2024-06-10T06:38:11Z)
• Score-Guided Diffusion for 3D Human Recovery [10.562998991986102]
  Score-Guided Human Mesh Recovery (ScoreHMR)を提案する。 ScoreHMRはモデルフィッティングアプローチを模倣するが、拡散モデルの潜在空間におけるスコアガイダンスによって画像観察との整合が達成される。 提案手法は, (i) 単フレームモデルフィッティング, (ii) 複数視点からの再構成, (iii) ビデオシーケンスで人間を再構成することである。
  論文  参考訳（メタデータ） (2024-03-14T17:56:14Z)
• Human from Blur: Human Pose Tracking from Blurry Images [89.65036443997103]
  ほぼぼやけた画像から3次元人間のポーズを推定する手法を提案する。 中心となる考え方は、人間の3次元モデル、テクスチャマップ、人間の動きを記述するポーズの列で前方の問題をモデル化することで、画像劣化の逆問題に取り組むことである。 微分可能なステップを用いることで、画素ワイズ再投影誤差をバックプロパゲートして、最適な人間の動作表現を復元することで、逆問題を解決することができる。
  論文  参考訳（メタデータ） (2023-03-30T08:05:59Z)
• Zolly: Zoom Focal Length Correctly for Perspective-Distorted Human Mesh Reconstruction [66.10717041384625]
  Zollyは、視点歪みの画像に焦点を当てた最初の3DHMR法である。 人体の2次元密度ゆらぎスケールを記述した新しいカメラモデルと新しい2次元歪み画像を提案する。 このタスク用に調整された2つの現実世界のデータセットを拡張します。
  論文  参考訳（メタデータ） (2023-03-24T04:22:41Z)
• Decoupling Human and Camera Motion from Videos in the Wild [67.39432972193929]
  本研究では,野生の映像から地球規模の人間の軌道を再構築する手法を提案する。 カメラと人間の動きを分離することで、人間を同じ世界座標系に配置することができる。
  論文  参考訳（メタデータ） (2023-02-24T18:59:15Z)
• Vid2Avatar: 3D Avatar Reconstruction from Videos in the Wild via Self-supervised Scene Decomposition [40.46674919612935]
  Vid2Avatarは、モノクラー・イン・ザ・ワイルドビデオから人間のアバターを学習する手法である。 提案手法は,大規模な人間のスキャンデータから抽出した基礎的監督や先行データを必要としない。 シーンの人間と背景の両方を共同でモデル化することで、シーンの分解と表面の再構築を3Dで直接行う。
  論文  参考訳（メタデータ） (2023-02-22T18:59:17Z)
• Self-Supervised Human Depth Estimation from Monocular Videos [99.39414134919117]
  人間の深度を推定する従来の方法は、しばしば地上の真実の深度データを用いた教師あり訓練を必要とする。 本稿では,YouTubeビデオの奥行きを知ることなく,自己指導型手法を提案する。 実験により,本手法はより一般化され,野生のデータに対してより優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2020-05-07T09:45:11Z)
• PULSE: Self-Supervised Photo Upsampling via Latent Space Exploration of Generative Models [77.32079593577821]
  PULSE (Photo Upsampling via Latent Space Exploration) は、それまで文献になかった解像度で高解像度でリアルな画像を生成する。 本手法は, 従来よりも高分解能, スケールファクターの知覚品質において, 最先端の手法よりも優れていた。
  論文  参考訳（メタデータ） (2020-03-08T16:44:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。