論文の概要: DeFMO: Deblurring and Shape Recovery of Fast Moving Objects
- arxiv url: http://arxiv.org/abs/2012.00595v3
- Date: Tue, 30 Mar 2021 09:14:34 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-30 19:35:46.089292
- Title: DeFMO: Deblurring and Shape Recovery of Fast Moving Objects
- Title(参考訳): DeFMO:高速移動物体の劣化と形状回復
- Authors: Denys Rozumnyi, Martin R. Oswald, Vittorio Ferrari, Jiri Matas, Marc
Pollefeys
- Abstract要約: 生成モデルは、ぼやけたオブジェクトのイメージを潜在空間表現に埋め込み、背景を歪め、シャープな外観を描画する。
DeFMOは芸術の状態を上回り、高品質の時間超解像フレームを生成する。
- 参考スコア(独自算出の注目度): 139.67524021201103
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Objects moving at high speed appear significantly blurred when captured with
cameras. The blurry appearance is especially ambiguous when the object has
complex shape or texture. In such cases, classical methods, or even humans, are
unable to recover the object's appearance and motion. We propose a method that,
given a single image with its estimated background, outputs the object's
appearance and position in a series of sub-frames as if captured by a
high-speed camera (i.e. temporal super-resolution). The proposed generative
model embeds an image of the blurred object into a latent space representation,
disentangles the background, and renders the sharp appearance. Inspired by the
image formation model, we design novel self-supervised loss function terms that
boost performance and show good generalization capabilities. The proposed DeFMO
method is trained on a complex synthetic dataset, yet it performs well on
real-world data from several datasets. DeFMO outperforms the state of the art
and generates high-quality temporal super-resolution frames.
- Abstract(参考訳): 高速で動く物体は、カメラで撮影すると著しくぼやけているように見える。
物体が複雑な形状やテクスチャを持つ場合、特にぼやけた外観は曖昧である。
このような場合、古典的な方法や人間でさえ、物体の外観や動きを回復できない。
本研究では,1枚の画像の背景を推定して,物体の外観と位置を,高速カメラで捉えたかのように一連のサブフレームで出力する手法を提案する。
時間分解能)。
提案した生成モデルは、ぼやけた物体の画像を潜在空間表現に埋め込み、背景を乱し、シャープな外観を描画する。
画像形成モデルに触発されて、性能を高め、優れた一般化能力を示す新しい自己教師付き損失関数を設計する。
提案したDeFMO法は複雑な合成データセットに基づいて訓練されるが,複数のデータセットの実際のデータに対して良好に動作する。
DeFMOは芸術の状態を上回り、高品質の時間超解像フレームを生成する。
関連論文リスト
- Retrieval Robust to Object Motion Blur [54.34823913494456]
本研究では,動きのぼやけの影響を受けやすい画像のオブジェクト検索手法を提案する。
ぼやけたオブジェクト検索のための最初の大規模データセットを提示する。
提案手法は,新しいぼやけた検索データセット上で,最先端の検索手法より優れている。
論文 参考訳(メタデータ) (2024-04-27T23:22:39Z) - SceNeRFlow: Time-Consistent Reconstruction of General Dynamic Scenes [75.9110646062442]
我々はSceNeRFlowを提案し、時間的一貫性のある方法で一般的な非剛体シーンを再構築する。
提案手法は,カメラパラメータを入力として,静止カメラからのマルチビューRGBビデオと背景画像を取得する。
実験により,小規模動作のみを扱う先行作業とは異なり,スタジオスケール動作の再構築が可能であることが示された。
論文 参考訳(メタデータ) (2023-08-16T09:50:35Z) - ScatterNeRF: Seeing Through Fog with Physically-Based Inverse Neural
Rendering [83.75284107397003]
本稿では,シーンをレンダリングし,霧のない背景を分解するニューラルネットワークレンダリング手法であるScatterNeRFを紹介する。
本研究では,散乱量とシーンオブジェクトの非絡み合い表現を提案し,物理に着想を得た損失を伴ってシーン再構成を学習する。
マルチビューIn-the-Wildデータをキャプチャして,大規模な霧室内でのキャプチャを制御し,本手法の有効性を検証した。
論文 参考訳(メタデータ) (2023-05-03T13:24:06Z) - FlexNeRF: Photorealistic Free-viewpoint Rendering of Moving Humans from
Sparse Views [71.77680030806513]
本稿では,モノクラー映像からの人間の動きの光リアルなフリービューポイントレンダリング法FlexNeRFを提案する。
提案手法は,被験者が高速/複雑動作を示す場合の難解なシナリオであるスパースビューとうまく連携する。
我々の新しい時間的および周期的一貫性の制約のおかげで、観察されたビューがスペーサーになるにつれて、我々のアプローチは高品質な出力を提供する。
論文 参考訳(メタデータ) (2023-03-25T05:47:08Z) - Learning Object-Centric Neural Scattering Functions for Free-Viewpoint
Relighting and Scene Composition [28.533032162292297]
本稿では,物体の外観を画像のみから再構成する物体中心型ニューラル散乱関数を提案する。
OSFは、自由視点オブジェクトのリライトをサポートするが、不透明なオブジェクトと半透明なオブジェクトの両方をモデル化することもできる。
実データと合成データの実験では、OSFは不透明な物体と半透明な物体の両方の外観を正確に再構成している。
論文 参考訳(メタデータ) (2023-03-10T18:55:46Z) - Event-based Non-Rigid Reconstruction from Contours [17.049602518532847]
本稿では,イベントベースカメラを用いた新しい変形再構成手法を提案する。
全てのイベントが動きによって生成される静的な背景の仮定の下で、我々の手法はオブジェクトの輪郭で生成されたイベントからオブジェクトの変形を推定する。
イベントを輪郭のメッシュフェイスに関連付け、イベントピクセルと関連する顔との間の視線のアライメントを最大化する。
論文 参考訳(メタデータ) (2022-10-12T14:53:11Z) - Shape from Blur: Recovering Textured 3D Shape and Motion of Fast Moving
Objects [115.71874459429381]
本研究では, 物体の3次元形状, テクスチャ, 動きを単一動画像から共同で再構成する新しい課題について述べる。
従来の手法では2次元画像領域でのみ遅延問題に対処するが、3次元領域における全ての物体特性の厳密なモデリングは任意の物体の動きの正確な記述を可能にする。
論文 参考訳(メタデータ) (2021-06-16T13:18:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。