論文の概要: Minimum Latency Deep Online Video Stabilization

• arxiv url: http://arxiv.org/abs/2212.02073v3
• Date: Tue, 15 Aug 2023 07:55:10 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-16 17:26:12.344595
• Title: Minimum Latency Deep Online Video Stabilization
• Title（参考訳）: 遅延最小のディープオンラインビデオ安定化
• Authors: Zhuofan Zhang, Zhen Liu, Ping Tan, Bing Zeng, Shuaicheng Liu
• Abstract要約: 本稿では,オンラインビデオ安定化作業のための新しいカメラパス最適化フレームワークを提案する。 本研究では,近年の市販の高品位深度モーションモデルを用いて動き推定を行い,カメラの軌道を復元する。 我々の手法は、定性的にも量的にも最先端のオンライン手法を大きく上回っている。
• 参考スコア（独自算出の注目度）: 77.68990069996939
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a novel camera path optimization framework for the task of online video stabilization. Typically, a stabilization pipeline consists of three steps: motion estimating, path smoothing, and novel view rendering. Most previous methods concentrate on motion estimation, proposing various global or local motion models. In contrast, path optimization receives relatively less attention, especially in the important online setting, where no future frames are available. In this work, we adopt recent off-the-shelf high-quality deep motion models for motion estimation to recover the camera trajectory and focus on the latter two steps. Our network takes a short 2D camera path in a sliding window as input and outputs the stabilizing warp field of the last frame in the window, which warps the coming frame to its stabilized position. A hybrid loss is well-defined to constrain the spatial and temporal consistency. In addition, we build a motion dataset that contains stable and unstable motion pairs for the training. Extensive experiments demonstrate that our approach significantly outperforms state-of-the-art online methods both qualitatively and quantitatively and achieves comparable performance to offline methods. Our code and dataset are available at https://github.com/liuzhen03/NNDVS
• Abstract（参考訳）: オンラインビデオ安定化のための新しいカメラパス最適化フレームワークを提案する。 通常、安定化パイプラインは、モーション推定、パススムーシング、新しいビューレンダリングの3つのステップから構成される。 以前の手法のほとんどは運動推定に集中し、様々な大域的または局所的な運動モデルを提案する。 対照的に、パス最適化は、特に将来のフレームが利用できない重要なオンライン設定において、比較的注意を払わない。 本研究では,近年の市販の高品位深度モーションモデルを用いて動き推定を行い,カメラ軌道を復元し,後者の2ステップに集中する。 我々のネットワークは、スライディングウィンドウ内の短い2次元カメラパスを入力として取り、ウィンドウ内の最後のフレームの安定化ワープフィールドを出力する。 ハイブリッド損失は、空間的および時間的一貫性を制限するためによく定義される。 さらに、トレーニングのための安定かつ不安定な動きペアを含む動きデータセットを構築する。 広範な実験により,我々のアプローチは質的かつ定量的に最先端のオンライン手法を著しく上回り,オフラインメソッドと同等のパフォーマンスを達成していることが示された。 私たちのコードとデータセットはhttps://github.com/liuzhen03/nndvsで利用可能です。

関連論文リスト

• Fast Full-frame Video Stabilization with Iterative Optimization [21.962533235492625]
  ビデオ安定化のための合成データセットを用いた反復的最適化に基づく学習手法を提案する。 確率的流れ場に基づく2レベル(粗粒度)安定化アルゴリズムを開発した。 そこで本研究では,分割コンカレントアプローチを採用し,フルフレーム安定化ビューをレンダリングするための新しいマルチフレーム融合戦略を提案する。
  論文  参考訳（メタデータ） (2023-07-24T13:24:19Z)
• Self-Supervised Real-time Video Stabilization [100.00816752529045]
  本稿では,リアルタイムビデオ安定化手法を提案する。 この動画は、まるでジンバルでリアルタイムで安定しているかのように、不安定な動画に変換します。
  論文  参考訳（メタデータ） (2021-11-10T22:49:56Z)
• TimeLens: Event-based Video Frame Interpolation [54.28139783383213]
  本稿では,合成法とフロー法の両方の利点を生かした,等価寄与法であるTime Lensを紹介する。 最先端のフレームベースおよびイベントベース手法よりもPSNRが最大5.21dB向上したことを示す。
  論文  参考訳（メタデータ） (2021-06-14T10:33:47Z)
• Motion-blurred Video Interpolation and Extrapolation [72.3254384191509]
  本稿では,映像から鮮明なフレームをエンドツーエンドに切り離し,補間し,外挿する新しい枠組みを提案する。 予測フレーム間の時間的コヒーレンスを確保し,潜在的な時間的あいまいさに対処するために,単純で効果的なフローベースルールを提案する。
  論文  参考訳（メタデータ） (2021-03-04T12:18:25Z)
• Neural Re-rendering for Full-frame Video Stabilization [144.9918806873405]
  まず,高密度ワープ場を推定し,フルフレーム映像安定化のためのアルゴリズムを提案する。 フルフレーム安定化フレームは、隣接するフレームから歪んだコンテンツを融合することで合成することができる。
  論文  参考訳（メタデータ） (2021-02-11T18:59:45Z)
• Deep Motion Blind Video Stabilization [4.544151613454639]
  この研究は、新しいデータセットの助けを借りて、ビデオ安定化の過度に複雑化した定式化を解消することを目的としている。 より厳密な生成技術を用いて,モーションブラインドフルフレーム映像の安定化学習に成功した。 本手法は,現在利用可能な最速ビデオ安定化方式よりも$sim3times$の高速化を実現する。
  論文  参考訳（メタデータ） (2020-11-19T07:26:06Z)
• Cinematic-L1 Video Stabilization with a Log-Homography Model [0.0]
  撮影者が撮影するカメラの動きを、三脚、人形、ステアディカムなどの装置でシミュレートする手持ちビデオの安定化方法を提案する。 提案手法は,iPhone XS上で300fpsで動作する計算効率が高く,高品質な結果が得られる。
  論文  参考訳（メタデータ） (2020-11-16T18:10:57Z)
• Towards Fast, Accurate and Stable 3D Dense Face Alignment [73.01620081047336]
  本稿では,速度,精度,安定性のバランスをとる3DDFA-V2という新しい回帰フレームワークを提案する。 本研究では,静止画を平面内と面外の動きを取り入れた映像に変換する仮想合成法を提案する。
  論文  参考訳（メタデータ） (2020-09-21T15:37:37Z)
• Real-Time Selfie Video Stabilization [47.228417712587934]
  本稿では,リアルタイムのセルフィー動画安定化手法を提案する。 私たちの方法は完全に自動で、26fpsで動作します。 従来のオフラインの自撮りビデオ手法と比較して、我々の手法は桁違いの速度向上と同等の画質が得られる。
  論文  参考訳（メタデータ） (2020-09-04T04:41:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。