論文の概要: 3D Multi-frame Fusion for Video Stabilization
- arxiv url: http://arxiv.org/abs/2404.12887v1
- Date: Fri, 19 Apr 2024 13:43:14 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-22 14:57:17.376814
- Title: 3D Multi-frame Fusion for Video Stabilization
- Title(参考訳): ビデオ安定化のための3次元多フレーム融合
- Authors: Zhan Peng, Xinyi Ye, Weiyue Zhao, Tianqi Liu, Huiqiang Sun, Baopu Li, Zhiguo Cao,
- Abstract要約: 本稿では、ボリュームレンダリングによる3次元多フレーム融合を統合する、ビデオ安定化のための新しいフレームワークであるRStabを紹介する。
我々のアプローチの中核は、ボリュームレンダリングモジュールである安定化レンダリング(SR)であり、3次元空間で多フレーム情報を融合している。
SRは複数のフレームから投影することで特徴や色を歪め、それをディスクリプタに融合させて安定画像をレンダリングする。
そこで本研究では,提案手法を応用したARR (Adaptive Ray Range) モジュールを導入し,プロジェクションプロセスのサンプリング範囲を適応的に定義する。
- 参考スコア(独自算出の注目度): 32.42910053491574
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we present RStab, a novel framework for video stabilization that integrates 3D multi-frame fusion through volume rendering. Departing from conventional methods, we introduce a 3D multi-frame perspective to generate stabilized images, addressing the challenge of full-frame generation while preserving structure. The core of our approach lies in Stabilized Rendering (SR), a volume rendering module, which extends beyond the image fusion by incorporating feature fusion. The core of our RStab framework lies in Stabilized Rendering (SR), a volume rendering module, fusing multi-frame information in 3D space. Specifically, SR involves warping features and colors from multiple frames by projection, fusing them into descriptors to render the stabilized image. However, the precision of warped information depends on the projection accuracy, a factor significantly influenced by dynamic regions. In response, we introduce the Adaptive Ray Range (ARR) module to integrate depth priors, adaptively defining the sampling range for the projection process. Additionally, we propose Color Correction (CC) assisting geometric constraints with optical flow for accurate color aggregation. Thanks to the three modules, our RStab demonstrates superior performance compared with previous stabilizers in the field of view (FOV), image quality, and video stability across various datasets.
- Abstract(参考訳): 本稿では、ボリュームレンダリングによる3次元多フレーム融合を統合する、ビデオ安定化のための新しいフレームワークRStabを提案する。
従来の手法とは別に,安定化画像を生成するための3次元多フレーム視点を導入し,構造を保ちながらフルフレーム生成の課題に対処する。
我々のアプローチの核となるのはボリュームレンダリングモジュールである安定化レンダリング(SR)である。
私たちのRStabフレームワークの中核は、ボリュームレンダリングモジュールである安定化レンダリング(SR)にあります。
具体的には、SRは複数のフレームから投影することで特徴や色を歪め、それをディスクリプタに融合させ、安定した画像をレンダリングする。
しかし、歪んだ情報の精度はプロジェクション精度に依存しており、これは動的領域の影響を大きく受けている。
そこで本研究では,提案手法を応用したARR (Adaptive Ray Range) モジュールを導入し,プロジェクションプロセスのサンプリング範囲を適応的に定義する。
また,カラーアグリゲーションの精度向上のために,光学流による幾何的制約を支援するカラー補正(CC)を提案する。
これら3つのモジュールのおかげで、RStabは、さまざまなデータセットにわたる視野(FOV)における以前の安定化器、画質、ビデオの安定性よりも優れた性能を示す。
関連論文リスト
- RPEFlow: Multimodal Fusion of RGB-PointCloud-Event for Joint Optical
Flow and Scene Flow Estimation [43.358140897849616]
本稿では,RGB画像,ポイント雲,イベントを多段階多モード融合モデルであるRPEFlowに組み込む。
合成データと実データの両方の実験により、我々のモデルは既存の最先端技術よりも広いマージンで優れています。
論文 参考訳(メタデータ) (2023-09-26T17:23:55Z) - FusionFormer: A Multi-sensory Fusion in Bird's-Eye-View and Temporal
Consistent Transformer for 3D Object Detection [14.457844173630667]
本稿では,FusionFormerと呼ばれる,エンドツーエンドのマルチモーダル・フュージョン・トランスフォーマーベースのフレームワークを提案する。
均一なサンプリング戦略を開発することにより,2次元画像と3次元ボクセルの特徴を自発的に抽出することができる。
テスト時間増強を伴わない3次元物体検出タスクにおいて,72.6% mAP と 75.1% NDS の最先端シングルモデル性能を実現する。
論文 参考訳(メタデータ) (2023-09-11T06:27:25Z) - Towards Nonlinear-Motion-Aware and Occlusion-Robust Rolling Shutter
Correction [54.00007868515432]
既存の手法では、一様速度仮定による補正の精度を推定する上で、課題に直面している。
本稿では,個々の画素の高次補正場を正確に推定する,幾何的回転シャッター(QRS)運動解法を提案する。
提案手法は,Carla-RS,Fastec-RS,BS-RSCの各データセット上で,PSNRの+4.98,+0.77,+4.33を超える。
論文 参考訳(メタデータ) (2023-03-31T15:09:18Z) - VPFusion: Joint 3D Volume and Pixel-Aligned Feature Fusion for Single
and Multi-view 3D Reconstruction [23.21446438011893]
VPFusionは、3D特徴量の両方を使って高品質な再構築を実現し、3D構造対応コンテキストをキャプチャする。
既存のアプローチでは、RNN、フィーチャープーリング、および多視点融合のために各ビューで独立に計算された注意を使用する。
変換器を用いたペアワイズ・ビュー・アソシエーションの確立により,マルチビュー・フィーチャー・フュージョンが改善された。
論文 参考訳(メタデータ) (2022-03-14T23:30:58Z) - Out-of-boundary View Synthesis Towards Full-Frame Video Stabilization [82.56853587380168]
ウォーピングベースのビデオ安定器は、各ピクセルの変位とワープフレームを不安定なものから制限することにより、カメラの軌道を円滑にする。
OVSは、既存のワーピングベースの安定化器にプラグアンドプレイモジュールとして統合することができ、安定した結果の収穫率を大幅に改善することができる。
論文 参考訳(メタデータ) (2021-08-20T08:07:47Z) - EA-Net: Edge-Aware Network for Flow-based Video Frame Interpolation [101.75999290175412]
補間フレーム内のエッジを保存することにより,画像のぼかしを低減し,オブジェクトの明確な形状を得る。
提案するエッジアウェアネットワーク(eanet)は、エッジ情報をフレームタスクに統合する。
フローマップの推定において,フレームエッジを強調する3つのエッジアウェア機構が開発されている。
論文 参考訳(メタデータ) (2021-05-17T08:44:34Z) - ARVo: Learning All-Range Volumetric Correspondence for Video Deblurring [92.40655035360729]
ビデオデブラリングモデルは連続フレームを利用して、カメラの揺動や物体の動きからぼやけを取り除く。
特徴空間におけるボケフレーム間の空間的対応を学習する新しい暗黙的手法を提案する。
提案手法は,新たに収集したビデオデブレーション用ハイフレームレート(1000fps)データセットとともに,広く採用されているDVDデータセット上で評価される。
論文 参考訳(メタデータ) (2021-03-07T04:33:13Z) - Neural Re-rendering for Full-frame Video Stabilization [144.9918806873405]
まず,高密度ワープ場を推定し,フルフレーム映像安定化のためのアルゴリズムを提案する。
フルフレーム安定化フレームは、隣接するフレームから歪んだコンテンツを融合することで合成することができる。
論文 参考訳(メタデータ) (2021-02-11T18:59:45Z) - Towards Fast, Accurate and Stable 3D Dense Face Alignment [73.01620081047336]
本稿では,速度,精度,安定性のバランスをとる3DDFA-V2という新しい回帰フレームワークを提案する。
本研究では,静止画を平面内と面外の動きを取り入れた映像に変換する仮想合成法を提案する。
論文 参考訳(メタデータ) (2020-09-21T15:37:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。