論文の概要: Sampling Based Scene-Space Video Processing

• arxiv url: http://arxiv.org/abs/2102.03011v1
• Date: Fri, 5 Feb 2021 05:55:04 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-08 12:56:34.295672
• Title: Sampling Based Scene-Space Video Processing
• Title（参考訳）: サンプリングに基づくシーン空間映像処理
• Authors: Felix Klose and Oliver Wang and Jean-Charles Bazin and Marcus Magnor and Alexander Sorkine-Hornung
• Abstract要約: ビデオ処理のための新しいサンプリングベースのフレームワークを提案する。 奥行きのミスやカメラのポーズ推定がある場合、高品質なシーン空間ビデオ効果を可能にする。 カジュアルにキャプチャーされた、手持ちの、動く、圧縮された、モノラルなビデオの結果を提示する。
• 参考スコア（独自算出の注目度）: 89.49726406622842
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Many compelling video processing effects can be achieved if per-pixel depth information and 3D camera calibrations are known. However, the success of such methods is highly dependent on the accuracy of this "scene-space" information. We present a novel, sampling-based framework for processing video that enables high-quality scene-space video effects in the presence of inevitable errors in depth and camera pose estimation. Instead of trying to improve the explicit 3D scene representation, the key idea of our method is to exploit the high redundancy of approximate scene information that arises due to most scene points being visible multiple times across many frames of video. Based on this observation, we propose a novel pixel gathering and filtering approach. The gathering step is general and collects pixel samples in scene-space, while the filtering step is application-specific and computes a desired output video from the gathered sample sets. Our approach is easily parallelizable and has been implemented on GPU, allowing us to take full advantage of large volumes of video data and facilitating practical runtimes on HD video using a standard desktop computer. Our generic scene-space formulation is able to comprehensively describe a multitude of video processing applications such as denoising, deblurring, super resolution, object removal, computational shutter functions, and other scene-space camera effects. We present results for various casually captured, hand-held, moving, compressed, monocular videos depicting challenging scenes recorded in uncontrolled environments.
• Abstract（参考訳）: ピクセルごとの深度情報と3dカメラのキャリブレーションが知られている場合、多くの魅力的なビデオ処理効果が得られる。 しかし、このような手法の成功は、この「シーン空間」情報の正確さに大きく依存している。 本稿では,深度とカメラのポーズ推定において避けられない誤差が存在する場合に,高品質なシーン空間映像効果を実現する,新しいサンプリングベースの映像処理フレームワークを提案する。 本手法では,3次元シーンの明示的な表現を改善する代わりに,多くのシーンポイントが複数のビデオフレームに複数回可視化されているため,シーン情報に近似した高い冗長性を利用する。 そこで本研究では,新しい画素収集とフィルタリング手法を提案する。 収集ステップは一般的に、シーン空間でピクセルサンプルを収集し、フィルタリングステップはアプリケーション固有であり、収集されたサンプルセットから所望の出力ビデオを計算します。 当社のアプローチは並列化が容易で,GPU上で実装されているので,大量のビデオデータをフル活用し,標準デスクトップコンピュータによるHDビデオの実用的な実行を容易にすることができる。 汎用的なシーン空間定式化は,デノイジング,デブラリング,スーパーレゾリューション,オブジェクト除去,計算シャッター機能,その他のシーン空間カメラ効果など,多数の映像処理アプリケーションを包括的に記述することができる。 そこで本研究では,無制御環境において記録された課題場面を再現した,手持ち・移動・圧縮・単眼映像のカジュアルな撮影結果について報告する。

関連論文リスト

• EF-3DGS: Event-Aided Free-Trajectory 3D Gaussian Splatting [76.02450110026747]
  生物学的ビジョンにインスパイアされたイベントカメラは、時間分解能の高い画素の強度を非同期に記録する。 本稿では,イベントカメラの利点を3DGSにシームレスに統合するイベント支援フリートラジェクトリ3DGSを提案する。 提案手法を,パブリックタンクとテンプルのベンチマークと,新たに収集した実世界のデータセットであるRealEv-DAVISで評価した。
  論文  参考訳（メタデータ） (2024-10-20T13:44:24Z)
• FlowCam: Training Generalizable 3D Radiance Fields without Camera Poses via Pixel-Aligned Scene Flow [26.528667940013598]
  ポーズ画像からの3次元ニューラルネットワークの再構成は、自己教師付き表現学習の有望な方法として現れている。 これらの3Dシーンの学習者が大規模ビデオデータに展開するのを防ぐ重要な課題は、構造から移動までの正確なカメラポーズに依存することである。 本稿では,オンラインと1つのフォワードパスでカメラポーズと3Dニューラルシーン表現を共同で再構築する手法を提案する。
  論文  参考訳（メタデータ） (2023-05-31T20:58:46Z)
• DynIBaR: Neural Dynamic Image-Based Rendering [79.44655794967741]
  複雑な動的シーンを描写したモノクロ映像から新しいビューを合成する問題に対処する。 我々は,近傍のビューから特徴を集約することで,新しい視点を合成するボリューム画像ベースのレンダリングフレームワークを採用する。 動的シーンデータセットにおける最先端手法の大幅な改善を示す。
  論文  参考訳（メタデータ） (2022-11-20T20:57:02Z)
• Deep 3D Mask Volume for View Synthesis of Dynamic Scenes [49.45028543279115]
  120FPSのカスタム10カメラリグでキャプチャしたマルチビュービデオデータセットを提案する。 データセットには、屋外シーンにおけるさまざまな視覚効果と人間の相互作用を示す96の高品質なシーンが含まれている。 我々は,静的カメラで捉えた動的シーンの双眼映像から時間的に安定な視線外挿を可能にする新しいアルゴリズムであるDeep 3D Mask Volumeを開発した。
  論文  参考訳（メタデータ） (2021-08-30T17:55:28Z)
• Consistent Depth of Moving Objects in Video [52.72092264848864]
  移動カメラで撮影した通常の映像から任意の移動物体を含む動的シーンの深さを推定する手法を提案する。 我々は、この目的を、深度予測CNNを入力ビデオ全体にわたって補助的なシーンフロー予測でタンデムで訓練する新しいテストタイムトレーニングフレームワークで定式化する。 我々は、さまざまな移動物体(ペット、人、車)とカメラの動きを含む様々な挑戦的なビデオに対して、正確かつ時間的に一貫性のある結果を示す。
  論文  参考訳（メタデータ） (2021-08-02T20:53:18Z)
• DeepMultiCap: Performance Capture of Multiple Characters Using Sparse Multiview Cameras [63.186486240525554]
  deep multicapは、スパースマルチビューカメラを用いたマルチパーソンパフォーマンスキャプチャのための新しい手法である。 本手法では,事前走査型テンプレートモデルを用いることなく,時間変化した表面の詳細をキャプチャできる。
  論文  参考訳（メタデータ） (2021-05-01T14:32:13Z)
• Real-time dense 3D Reconstruction from monocular video data captured by low-cost UAVs [0.3867363075280543]
  リアルタイム3d再構築は,ナビゲーションや緊急時のライブ評価など,多数のアプリケーションにメリットがある環境の高速密マッピングを可能にする。 ほとんどのリアルタイム対応のアプローチとは対照的に、我々のアプローチは明示的な深度センサーを必要としない。 建物周辺を斜め視で飛行する無人航空機(UAV)の自己動作を利用して、選択された画像のカメラ軌道と深度の両方を、十分な新規な内容で推定します。
  論文  参考訳（メタデータ） (2021-04-21T13:12:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。