論文の概要: 3D Multi-frame Fusion for Video Stabilization
- arxiv url: http://arxiv.org/abs/2404.12887v1
- Date: Fri, 19 Apr 2024 13:43:14 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-22 14:57:17.376814
- Title: 3D Multi-frame Fusion for Video Stabilization
- Title（参考訳）: ビデオ安定化のための3次元多フレーム融合
- Authors: Zhan Peng, Xinyi Ye, Weiyue Zhao, Tianqi Liu, Huiqiang Sun, Baopu Li, Zhiguo Cao,
- Abstract要約: 本稿では、ボリュームレンダリングによる3次元多フレーム融合を統合する、ビデオ安定化のための新しいフレームワークであるRStabを紹介する。
我々のアプローチの中核は、ボリュームレンダリングモジュールである安定化レンダリング(SR)であり、3次元空間で多フレーム情報を融合している。
SRは複数のフレームから投影することで特徴や色を歪め、それをディスクリプタに融合させて安定画像をレンダリングする。
そこで本研究では,提案手法を応用したARR (Adaptive Ray Range) モジュールを導入し,プロジェクションプロセスのサンプリング範囲を適応的に定義する。
- 参考スコア（独自算出の注目度）: 32.42910053491574
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we present RStab, a novel framework for video stabilization that integrates 3D multi-frame fusion through volume rendering. Departing from conventional methods, we introduce a 3D multi-frame perspective to generate stabilized images, addressing the challenge of full-frame generation while preserving structure. The core of our approach lies in Stabilized Rendering (SR), a volume rendering module, which extends beyond the image fusion by incorporating feature fusion. The core of our RStab framework lies in Stabilized Rendering (SR), a volume rendering module, fusing multi-frame information in 3D space. Specifically, SR involves warping features and colors from multiple frames by projection, fusing them into descriptors to render the stabilized image. However, the precision of warped information depends on the projection accuracy, a factor significantly influenced by dynamic regions. In response, we introduce the Adaptive Ray Range (ARR) module to integrate depth priors, adaptively defining the sampling range for the projection process. Additionally, we propose Color Correction (CC) assisting geometric constraints with optical flow for accurate color aggregation. Thanks to the three modules, our RStab demonstrates superior performance compared with previous stabilizers in the field of view (FOV), image quality, and video stability across various datasets.
- Abstract（参考訳）: 本稿では、ボリュームレンダリングによる3次元多フレーム融合を統合する、ビデオ安定化のための新しいフレームワークRStabを提案する。
従来の手法とは別に,安定化画像を生成するための3次元多フレーム視点を導入し,構造を保ちながらフルフレーム生成の課題に対処する。
我々のアプローチの核となるのはボリュームレンダリングモジュールである安定化レンダリング(SR)である。
私たちのRStabフレームワークの中核は、ボリュームレンダリングモジュールである安定化レンダリング(SR)にあります。
具体的には、SRは複数のフレームから投影することで特徴や色を歪め、それをディスクリプタに融合させ、安定した画像をレンダリングする。
しかし、歪んだ情報の精度はプロジェクション精度に依存しており、これは動的領域の影響を大きく受けている。
そこで本研究では,提案手法を応用したARR (Adaptive Ray Range) モジュールを導入し,プロジェクションプロセスのサンプリング範囲を適応的に定義する。
また,カラーアグリゲーションの精度向上のために,光学流による幾何的制約を支援するカラー補正(CC)を提案する。
これら3つのモジュールのおかげで、RStabは、さまざまなデータセットにわたる視野(FOV)における以前の安定化器、画質、ビデオの安定性よりも優れた性能を示す。
関連論文リスト
- Boost 3D Reconstruction using Diffusion-based Monocular Camera Calibration [34.18403601269181]
DM-Calibは単一の入力画像からピンホールカメラ固有のパラメータを推定するための拡散に基づくアプローチである。
我々は、カメラ画像と呼ばれる新しい画像ベース表現を導入し、数値カメラの内在を無意味に符号化する。
一つのRGB入力からカメラ画像を生成するための安定拡散モデルを微調整することにより、RANSAC操作を介してカメラ固有の特徴を抽出することができる。
論文 参考訳（メタデータ） (2024-11-26T09:04:37Z) - PF3plat: Pose-Free Feed-Forward 3D Gaussian Splatting [54.7468067660037]
PF3platは、設計選択を検証した包括的なアブレーション研究によってサポートされた、すべてのベンチマークに新しい最先端を設定します。
本フレームワークは,3DGSの高速,スケーラビリティ,高品質な3D再構成とビュー合成機能を活用している。
論文 参考訳（メタデータ） (2024-10-29T15:28:15Z) - MultiDiff: Consistent Novel View Synthesis from a Single Image [60.04215655745264]
MultiDiffは、単一のRGB画像からシーンを一貫した新しいビュー合成のための新しいアプローチである。
以上の結果から,MultiDiffは,課題の多いリアルタイムデータセットであるRealEstate10KとScanNetにおいて,最先端の手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2024-06-26T17:53:51Z) - WE-GS: An In-the-wild Efficient 3D Gaussian Representation for Unconstrained Photo Collections [8.261637198675151]
制約のない写真コレクションからの新規ビュー合成(NVS)は、コンピュータグラフィックスでは困難である。
写真コレクションからのシーン再構築のための効率的なポイントベース微分可能レンダリングフレームワークを提案する。
提案手法は、新しいビューのレンダリング品質と、高収束・レンダリング速度の外観合成において、既存のアプローチよりも優れている。
論文 参考訳（メタデータ） (2024-06-04T15:17:37Z) - FusionFormer: A Multi-sensory Fusion in Bird's-Eye-View and Temporal
Consistent Transformer for 3D Object Detection [14.457844173630667]
本稿では,FusionFormerと呼ばれる,エンドツーエンドのマルチモーダル・フュージョン・トランスフォーマーベースのフレームワークを提案する。
均一なサンプリング戦略を開発することにより,2次元画像と3次元ボクセルの特徴を自発的に抽出することができる。
テスト時間増強を伴わない3次元物体検出タスクにおいて,72.6% mAP と 75.1% NDS の最先端シングルモデル性能を実現する。
論文 参考訳（メタデータ） (2023-09-11T06:27:25Z) - Towards Nonlinear-Motion-Aware and Occlusion-Robust Rolling Shutter
Correction [54.00007868515432]
既存の手法では、一様速度仮定による補正の精度を推定する上で、課題に直面している。
本稿では,個々の画素の高次補正場を正確に推定する,幾何的回転シャッター(QRS)運動解法を提案する。
提案手法は,Carla-RS,Fastec-RS,BS-RSCの各データセット上で,PSNRの+4.98,+0.77,+4.33を超える。
論文 参考訳（メタデータ） (2023-03-31T15:09:18Z) - Out-of-boundary View Synthesis Towards Full-Frame Video Stabilization [82.56853587380168]
ウォーピングベースのビデオ安定器は、各ピクセルの変位とワープフレームを不安定なものから制限することにより、カメラの軌道を円滑にする。
OVSは、既存のワーピングベースの安定化器にプラグアンドプレイモジュールとして統合することができ、安定した結果の収穫率を大幅に改善することができる。
論文 参考訳（メタデータ） (2021-08-20T08:07:47Z) - ARVo: Learning All-Range Volumetric Correspondence for Video Deblurring [92.40655035360729]
ビデオデブラリングモデルは連続フレームを利用して、カメラの揺動や物体の動きからぼやけを取り除く。
特徴空間におけるボケフレーム間の空間的対応を学習する新しい暗黙的手法を提案する。
提案手法は,新たに収集したビデオデブレーション用ハイフレームレート(1000fps)データセットとともに,広く採用されているDVDデータセット上で評価される。
論文 参考訳（メタデータ） (2021-03-07T04:33:13Z) - Neural Re-rendering for Full-frame Video Stabilization [144.9918806873405]
まず,高密度ワープ場を推定し,フルフレーム映像安定化のためのアルゴリズムを提案する。
フルフレーム安定化フレームは、隣接するフレームから歪んだコンテンツを融合することで合成することができる。
論文 参考訳（メタデータ） (2021-02-11T18:59:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。