論文の概要: Out-of-boundary View Synthesis Towards Full-Frame Video Stabilization

• arxiv url: http://arxiv.org/abs/2108.09041v1
• Date: Fri, 20 Aug 2021 08:07:47 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-23 13:26:38.323783
• Title: Out-of-boundary View Synthesis Towards Full-Frame Video Stabilization
• Title（参考訳）: フルフレームビデオ安定化に向けた境界外映像合成
• Authors: Yufei Xu, Jing Zhang, Dacheng Tao
• Abstract要約: ウォーピングベースのビデオ安定器は、各ピクセルの変位とワープフレームを不安定なものから制限することにより、カメラの軌道を円滑にする。 OVSは、既存のワーピングベースの安定化器にプラグアンドプレイモジュールとして統合することができ、安定した結果の収穫率を大幅に改善することができる。
• 参考スコア（独自算出の注目度）: 82.56853587380168
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Warping-based video stabilizers smooth camera trajectory by constraining each pixel's displacement and warp stabilized frames from unstable ones accordingly. However, since the view outside the boundary is not available during warping, the resulting holes around the boundary of the stabilized frame must be discarded (i.e., cropping) to maintain visual consistency, and thus does leads to a tradeoff between stability and cropping ratio. In this paper, we make a first attempt to address this issue by proposing a new Out-of-boundary View Synthesis (OVS) method. By the nature of spatial coherence between adjacent frames and within each frame, OVS extrapolates the out-of-boundary view by aligning adjacent frames to each reference one. Technically, it first calculates the optical flow and propagates it to the outer boundary region according to the affinity, and then warps pixels accordingly. OVS can be integrated into existing warping-based stabilizers as a plug-and-play module to significantly improve the cropping ratio of the stabilized results. In addition, stability is improved because the jitter amplification effect caused by cropping and resizing is reduced. Experimental results on the NUS benchmark show that OVS can improve the performance of five representative state-of-the-art methods in terms of objective metrics and subjective visual quality. The code is publicly available at https://github.com/Annbless/OVS_Stabilization.
• Abstract（参考訳）: ワーピングベースのビデオ安定化器は、各画素の変位と、不安定なフレームからのワープ安定化を制限し、カメラ軌道を円滑にする。 しかし、ウォーピング中に境界の外の視点が得られないため、安定したフレームの境界付近の穴は、視覚的な一貫性を維持するために破棄されなければならない(つまり、トリッピング)ため、安定性とトリッピング比のトレードオフにつながる。 本稿では,新しいアウトオブバウンダリビュー合成(OVS)手法を提案することにより,この問題に対処する試みを行う。 隣接フレームと各フレーム内の空間コヒーレンスの性質により、OVSは各参照フレームに隣接フレームをアライメントすることで、境界外ビューを外挿する。 技術的には、まず光学フローを計算し、親和性に応じて外部境界領域に伝播し、それに従って画素をワープする。 OVSは、既存のワーピングベースの安定化器にプラグアンドプレイモジュールとして統合することができ、安定した結果のトリミング比を大幅に改善することができる。 また、切り欠き・再サイズによるジッタ増幅効果が低下し、安定性が向上する。 NUSベンチマークの実験結果から,OVSは客観的指標と主観的視覚的品質の観点から,5つの最先端手法の性能を向上させることができることが示された。 コードはhttps://github.com/Annbless/OVS_Stabilizationで公開されている。

関連論文リスト

• Correspondence-Guided SfM-Free 3D Gaussian Splatting for NVS [52.3215552448623]
  SfM(Structure-from-Motion)事前処理カメラのポーズのない新しいビュー合成(NVS)は、迅速な応答能力の向上と、可変動作条件に対する堅牢性の向上に不可欠である。 最近のSfMフリー手法は、ポーズ最適化を統合し、共同カメラのポーズ推定とNVSのためのエンドツーエンドフレームワークを設計している。 既存の作業の多くは、L2損失のようなピクセル単位の画像損失関数に依存している。 本研究では,NVSのためのSfMフリー3次元ガウススプラッティングを提案する。
  論文  参考訳（メタデータ） (2024-08-16T13:11:22Z)
• 3D Multi-frame Fusion for Video Stabilization [32.42910053491574]
  本稿では、ボリュームレンダリングによる3次元多フレーム融合を統合する、ビデオ安定化のための新しいフレームワークであるRStabを紹介する。 我々のアプローチの中核は、ボリュームレンダリングモジュールである安定化レンダリング(SR)であり、3次元空間で多フレーム情報を融合している。 SRは複数のフレームから投影することで特徴や色を歪め、それをディスクリプタに融合させて安定画像をレンダリングする。 そこで本研究では,提案手法を応用したARR (Adaptive Ray Range) モジュールを導入し,プロジェクションプロセスのサンプリング範囲を適応的に定義する。
  論文  参考訳（メタデータ） (2024-04-19T13:43:14Z)
• Fast Full-frame Video Stabilization with Iterative Optimization [21.962533235492625]
  ビデオ安定化のための合成データセットを用いた反復的最適化に基づく学習手法を提案する。 確率的流れ場に基づく2レベル(粗粒度)安定化アルゴリズムを開発した。 そこで本研究では,分割コンカレントアプローチを採用し,フルフレーム安定化ビューをレンダリングするための新しいマルチフレーム融合戦略を提案する。
  論文  参考訳（メタデータ） (2023-07-24T13:24:19Z)
• Minimum Latency Deep Online Video Stabilization [77.68990069996939]
  本稿では,オンラインビデオ安定化作業のための新しいカメラパス最適化フレームワークを提案する。 本研究では,近年の市販の高品位深度モーションモデルを用いて動き推定を行い,カメラの軌道を復元する。 我々の手法は、定性的にも量的にも最先端のオンライン手法を大きく上回っている。
  論文  参考訳（メタデータ） (2022-12-05T07:37:32Z)
• Self-Supervised Real-time Video Stabilization [100.00816752529045]
  本稿では,リアルタイムビデオ安定化手法を提案する。 この動画は、まるでジンバルでリアルタイムで安定しているかのように、不安定な動画に変換します。
  論文  参考訳（メタデータ） (2021-11-10T22:49:56Z)
• TimeLens: Event-based Video Frame Interpolation [54.28139783383213]
  本稿では,合成法とフロー法の両方の利点を生かした,等価寄与法であるTime Lensを紹介する。 最先端のフレームベースおよびイベントベース手法よりもPSNRが最大5.21dB向上したことを示す。
  論文  参考訳（メタデータ） (2021-06-14T10:33:47Z)
• Neural Re-rendering for Full-frame Video Stabilization [144.9918806873405]
  まず,高密度ワープ場を推定し,フルフレーム映像安定化のためのアルゴリズムを提案する。 フルフレーム安定化フレームは、隣接するフレームから歪んだコンテンツを融合することで合成することができる。
  論文  参考訳（メタデータ） (2021-02-11T18:59:45Z)
• A Backbone Replaceable Fine-tuning Framework for Stable Face Alignment [21.696696531924374]
  そこで本稿では,時空間情報を利用して不正確なランドマークを抑えるジッタロス関数を提案する。 提案手法は安定性評価の指標を40%以上改善する。 モデル全体をリトレーニングすることなく、素早く顔画像のランドマーク検出器を、ビデオのためのより良いパフォーマンスの検出器に変換することができる。
  論文  参考訳（メタデータ） (2020-10-19T13:40:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。