論文の概要: Human from Blur: Human Pose Tracking from Blurry Images

• arxiv url: http://arxiv.org/abs/2303.17209v2
• Date: Tue, 29 Aug 2023 23:47:49 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-31 17:22:28.367213
• Title: Human from Blur: Human Pose Tracking from Blurry Images
• Title（参考訳）: ぼんやりした画像から人間を追跡できる「Blur」
• Authors: Yiming Zhao, Denys Rozumnyi, Jie Song, Otmar Hilliges, Marc Pollefeys, Martin R. Oswald
• Abstract要約: ほぼぼやけた画像から3次元人間のポーズを推定する手法を提案する。 中心となる考え方は、人間の3次元モデル、テクスチャマップ、人間の動きを記述するポーズの列で前方の問題をモデル化することで、画像劣化の逆問題に取り組むことである。 微分可能なステップを用いることで、画素ワイズ再投影誤差をバックプロパゲートして、最適な人間の動作表現を復元することで、逆問題を解決することができる。
• 参考スコア（独自算出の注目度）: 89.65036443997103
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose a method to estimate 3D human poses from substantially blurred images. The key idea is to tackle the inverse problem of image deblurring by modeling the forward problem with a 3D human model, a texture map, and a sequence of poses to describe human motion. The blurring process is then modeled by a temporal image aggregation step. Using a differentiable renderer, we can solve the inverse problem by backpropagating the pixel-wise reprojection error to recover the best human motion representation that explains a single or multiple input images. Since the image reconstruction loss alone is insufficient, we present additional regularization terms. To the best of our knowledge, we present the first method to tackle this problem. Our method consistently outperforms other methods on significantly blurry inputs since they lack one or multiple key functionalities that our method unifies, i.e. image deblurring with sub-frame accuracy and explicit 3D modeling of non-rigid human motion.
• Abstract（参考訳）: ほぼぼやけた画像から3次元人間のポーズを推定する手法を提案する。 鍵となるアイデアは、3次元の人間モデル、テクスチャマップ、および人間の動きを記述するポーズの列で前方問題をモデル化することで、画像デブラリングの逆問題に取り組むことである。 そして、そのぼやけた過程を時間画像集約ステップでモデル化する。 微分可能なレンダラを用いることで、画素毎の再投影誤差をバックプロパゲーションし、1つまたは複数の入力画像を説明する最高の人間の動き表現を復元することで、逆問題を解くことができる。 画像再構成損失だけでは不十分であるため,追加の正規化条件を示す。 私たちの知る限りでは、この問題に取り組む最初の方法を紹介します。 提案手法は,サブフレーム精度と非剛性動作の明示的な3次元モデリングをともなう画像デブラリングを1つまたは複数の主要機能に欠くため,不明瞭な入力に対する他の手法を一貫して上回っている。

関連論文リスト

• Personalized 3D Human Pose and Shape Refinement [19.082329060985455]
  回帰に基づく手法は3次元人間のポーズと形状推定の分野を支配してきた。 本稿では,初期人間のモデル推定値と対応する画像との密接な対応性を構築することを提案する。 提案手法は画像モデルアライメントの改善だけでなく,3次元精度の向上にも寄与する。
  論文  参考訳（メタデータ） (2024-03-18T10:13:53Z)
• Score-Guided Diffusion for 3D Human Recovery [10.562998991986102]
  Score-Guided Human Mesh Recovery (ScoreHMR)を提案する。 ScoreHMRはモデルフィッティングアプローチを模倣するが、拡散モデルの潜在空間におけるスコアガイダンスによって画像観察との整合が達成される。 提案手法は, (i) 単フレームモデルフィッティング, (ii) 複数視点からの再構成, (iii) ビデオシーケンスで人間を再構成することである。
  論文  参考訳（メタデータ） (2024-03-14T17:56:14Z)
• Synthesizing Moving People with 3D Control [88.68284137105654]
  対象とする3次元運動系列の単一画像から人物をアニメーションする拡散モデルに基づくフレームワークを提案する。 まず,1つの画像が与えられた人の見えない部分を幻覚させる拡散モデルについて学習する。 第2に,3次元人間のポーズによって制御される拡散に基づくレンダリングパイプラインを開発する。
  論文  参考訳（メタデータ） (2024-01-19T18:59:11Z)
• SiTH: Single-view Textured Human Reconstruction with Image-Conditioned Diffusion [35.73448283467723]
  SiTHは、イメージ条件付き拡散モデルと3Dメッシュ再構築ワークフローを統合する、新しいパイプラインである。 我々は、入力画像に基づいて、見えないバックビューの外観を幻覚させるために、強力な生成拡散モデルを用いる。 後者では,入力画像とバックビュー画像から全身のテクスチャメッシュを復元するためのガイダンスとして,肌付きボディーメッシュを利用する。
  論文  参考訳（メタデータ） (2023-11-27T14:22:07Z)
• Refining 3D Human Texture Estimation from a Single Image [3.8761064607384195]
  1枚の画像から3次元の人間のテクスチャを推定することは、グラフィックと視覚に不可欠である。 本稿では,オフセットが深層ニューラルネットワークを介して学習される変形可能な畳み込みによって,入力を適応的にサンプリングするフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-06T19:53:50Z)
• Decoupling Human and Camera Motion from Videos in the Wild [67.39432972193929]
  本研究では,野生の映像から地球規模の人間の軌道を再構築する手法を提案する。 カメラと人間の動きを分離することで、人間を同じ世界座標系に配置することができる。
  論文  参考訳（メタデータ） (2023-02-24T18:59:15Z)
• Shape from Blur: Recovering Textured 3D Shape and Motion of Fast Moving Objects [115.71874459429381]
  本研究では, 物体の3次元形状, テクスチャ, 動きを単一動画像から共同で再構成する新しい課題について述べる。 従来の手法では2次元画像領域でのみ遅延問題に対処するが、3次元領域における全ての物体特性の厳密なモデリングは任意の物体の動きの正確な記述を可能にする。
  論文  参考訳（メタデータ） (2021-06-16T13:18:08Z)
• Single Image Non-uniform Blur Kernel Estimation via Adaptive Basis Decomposition [1.854931308524932]
  本研究では,高密度な非一様運動ボケ推定のための一般非パラメトリックモデルを提案する。 提案手法は,既存の不均一な動きのぼかし推定の限界を克服することを示す。
  論文  参考訳（メタデータ） (2021-02-01T18:02:31Z)
• Coherent Reconstruction of Multiple Humans from a Single Image [68.3319089392548]
  本研究では,1枚の画像から多人数の3Dポーズ推定を行う問題に対処する。 この問題のトップダウン設定における典型的な回帰アプローチは、まずすべての人間を検出し、それぞれを独立して再構築する。 我々のゴールは、これらの問題を回避し、現場のすべての人間のコヒーレントな3D再構成を生成するために学習する単一のネットワークをトレーニングすることである。
  論文  参考訳（メタデータ） (2020-06-15T17:51:45Z)
• Chained Representation Cycling: Learning to Estimate 3D Human Pose and Shape by Cycling Between Representations [73.11883464562895]
  本稿では,教師なし,あるいは教師なしの学習を容易にする新しいアーキテクチャを提案する。 本研究では,非ペア画像と無注釈画像から3次元人物のポーズと形状を学習することにより,その手法を実証する。 人間をモデル化するための結果を示す一方で、私たちの定式化は一般的であり、他の視覚問題にも適用できる。
  論文  参考訳（メタデータ） (2020-01-06T14:54:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。