論文の概要: Learning non-rigid surface reconstruction from spatio-temporal image
patches
- arxiv url: http://arxiv.org/abs/2006.10841v1
- Date: Thu, 18 Jun 2020 20:25:15 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-19 13:58:15.919727
- Title: Learning non-rigid surface reconstruction from spatio-temporal image
patches
- Title（参考訳）: 時空間画像パッチによる非剛性表面再構成の学習
- Authors: Matteo Pedone, Abdelrahman Mostafa, Janne heikkil\"a
- Abstract要約: ビデオシーケンスから変形可能な物体の高密度時間深度マップを再構成する手法を提案する。
映像の非時間的パッチで深度推定をローカルに行い、それらを組み合わせることで全形状のフル深度映像を復元する。
本手法をKinectデータとKinectデータの両方で検証し,従来の非剛体構造のような他の手法に比べて再構成誤差が有意に低いことを実験的に観察した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present a method to reconstruct a dense spatio-temporal depth map of a
non-rigidly deformable object directly from a video sequence. The estimation of
depth is performed locally on spatio-temporal patches of the video, and then
the full depth video of the entire shape is recovered by combining them
together. Since the geometric complexity of a local spatio-temporal patch of a
deforming non-rigid object is often simple enough to be faithfully represented
with a parametric model, we artificially generate a database of small deforming
rectangular meshes rendered with different material properties and light
conditions, along with their corresponding depth videos, and use such data to
train a convolutional neural network. We tested our method on both synthetic
and Kinect data and experimentally observed that the reconstruction error is
significantly lower than the one obtained using other approaches like
conventional non-rigid structure from motion.
- Abstract（参考訳）: 本稿では,ビデオシーケンスから直接非剛性変形可能な物体の高密度時空間深度マップを再構成する手法を提案する。
映像の時空間パッチ上で深度を局所的に推定し、それらを組み合わせて全形状の深さ映像を復元する。
変形非剛体物体の局所時空間パッチの幾何学的複雑さは、しばしばパラメトリックモデルで忠実に表現できるほど単純であるため、異なる材料特性と光条件で描画された小さな変形長方形メッシュのデータベースを、対応する深度ビデオとともに人工的に生成し、そのようなデータを用いて畳み込みニューラルネットワークを訓練する。
本手法を合成データとkinectデータの両方で検証し, 従来の非剛体構造などの手法で得られた手法に比べて, 復元誤差が有意に低いことを実験的に観察した。
関連論文リスト
- High-Quality Mesh Blendshape Generation from Face Videos via Neural Inverse Rendering [15.009484906668737]
メッシュをベースとしたブレンドシェイプリグを,シングルあるいはスパースなマルチビュービデオから再構成する新しい手法を提案する。
実験により,シングルあるいはスパースなマルチビュービデオのフレキシブルな入力により,パーソナライズされた高忠実度ブレンドサップを再構築することを示した。
論文 参考訳（メタデータ） (2024-01-16T14:41:31Z) - SceNeRFlow: Time-Consistent Reconstruction of General Dynamic Scenes [75.9110646062442]
我々はSceNeRFlowを提案し、時間的一貫性のある方法で一般的な非剛体シーンを再構築する。
提案手法は,カメラパラメータを入力として,静止カメラからのマルチビューRGBビデオと背景画像を取得する。
実験により,小規模動作のみを扱う先行作業とは異なり,スタジオスケール動作の再構築が可能であることが示された。
論文 参考訳（メタデータ） (2023-08-16T09:50:35Z) - Object-Centric Learning for Real-World Videos by Predicting Temporal
Feature Similarities [30.564704737585558]
本稿では,時間的特徴類似性損失の形で事前学習した特徴を利用する新しい方法を提案する。
この損失は、画像パッチ間の意味的および時間的相関を符号化し、オブジェクト発見のための動きバイアスを導入する自然な方法である。
この損失は、挑戦的な合成MOViデータセット上での最先端のパフォーマンスにつながることを実証する。
論文 参考訳（メタデータ） (2023-06-07T23:18:14Z) - Learning Topology from Synthetic Data for Unsupervised Depth Completion [66.26787962258346]
画像から高密度深度マップとスパース深度測定を推定する手法を提案する。
我々は,疎点雲と密度の高い自然形状の関係を学習し,その画像を用いて予測深度マップの検証を行う。
論文 参考訳（メタデータ） (2021-06-06T00:21:12Z) - Multi-view Depth Estimation using Epipolar Spatio-Temporal Networks [87.50632573601283]
一つのビデオから多視点深度を推定する新しい手法を提案する。
提案手法は,新しいEpipolar Spatio-Temporal Transformer(EST)を用いて時間的コヒーレントな深度推定を行う。
最近のMixture-of-Expertsモデルにインスパイアされた計算コストを削減するため、我々はコンパクトなハイブリッドネットワークを設計する。
論文 参考訳（メタデータ） (2020-11-26T04:04:21Z) - Category Level Object Pose Estimation via Neural Analysis-by-Synthesis [64.14028598360741]
本稿では、勾配に基づくフィッティング法とパラメトリックニューラルネットワーク合成モジュールを組み合わせる。
画像合成ネットワークは、ポーズ設定空間を効率的に分散するように設計されている。
本研究では,2次元画像のみから高精度に物体の向きを復元できることを実験的に示す。
論文 参考訳（メタデータ） (2020-08-18T20:30:47Z) - A Plug-and-play Scheme to Adapt Image Saliency Deep Model for Video Data [54.198279280967185]
本稿では,ビデオデータに対して予め訓練された画像の鮮度深度モデルを弱めに再学習する新しいプラグイン・アンド・プレイ方式を提案する。
本手法は,既訓練画像の深度モデルに適応して高品質な映像の鮮度検出を実現するのに有効である。
論文 参考訳（メタデータ） (2020-08-02T13:23:14Z) - Consistent Video Depth Estimation [57.712779457632024]
モノクロ映像中の全画素に対して, 密度, 幾何的に整合した深度を再構成するアルゴリズムを提案する。
動画中の画素の幾何的制約を確立するために、従来の動きから再構成した構造を利用する。
我々のアルゴリズムは、手持ちの映像をある程度のダイナミックな動きで処理することができる。
論文 参考訳（メタデータ） (2020-04-30T17:59:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。