論文の概要: Self-Supervised Real-time Video Stabilization
- arxiv url: http://arxiv.org/abs/2111.05980v1
- Date: Wed, 10 Nov 2021 22:49:56 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-13 01:34:23.608053
- Title: Self-Supervised Real-time Video Stabilization
- Title（参考訳）: 自己監督型リアルタイムビデオ安定化
- Authors: Jinsoo Choi, Jaesik Park, In So Kweon
- Abstract要約: 本稿では,リアルタイムビデオ安定化手法を提案する。
この動画は、まるでジンバルでリアルタイムで安定しているかのように、不安定な動画に変換します。
- 参考スコア（独自算出の注目度）: 100.00816752529045
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Videos are a popular media form, where online video streaming has recently
gathered much popularity. In this work, we propose a novel method of real-time
video stabilization - transforming a shaky video to a stabilized video as if it
were stabilized via gimbals in real-time. Our framework is trainable in a
self-supervised manner, which does not require data captured with special
hardware setups (i.e., two cameras on a stereo rig or additional motion
sensors). Our framework consists of a transformation estimator between given
frames for global stability adjustments, followed by scene parallax reduction
module via spatially smoothed optical flow for further stability. Then, a
margin inpainting module fills in the missing margin regions created during
stabilization to reduce the amount of post-cropping. These sequential steps
reduce distortion and margin cropping to a minimum while enhancing stability.
Hence, our approach outperforms state-of-the-art real-time video stabilization
methods as well as offline methods that require camera trajectory optimization.
Our method procedure takes approximately 24.3 ms yielding 41 fps regardless of
resolution (e.g., 480p or 1080p).
- Abstract（参考訳）: ビデオは人気のメディア形式であり、最近オンラインビデオストリーミングが人気を集めている。
本研究では,リアルタイム映像安定化のための新しい手法を提案する。
私たちのフレームワークは自己監視的な方法でトレーニング可能で、特別なハードウェアセットアップ(ステレオリグ上の2つのカメラや、追加のモーションセンサー)でキャプチャされたデータを必要としない。
提案手法は,大域的安定性調整のための与えられたフレーム間の変換推定器と,空間的平滑化光フローによるシーンパララックス低減モジュールとからなる。
そして、マージン塗装モジュールは、安定化中に作成されたマージン領域を満たし、ポストクロッピングの量を減少させる。
これらの逐次ステップは、安定性を高めながら歪みとマージンの切り込みを最小にする。
したがって,最先端のリアルタイム映像安定化手法やカメラの軌道最適化を必要とするオフライン手法を上回っている。
提案手法は解像度によらず約24.3ミリ秒、41fps(例えば480pまたは1080p)である。
関連論文リスト
- Fast Full-frame Video Stabilization with Iterative Optimization [21.962533235492625]
ビデオ安定化のための合成データセットを用いた反復的最適化に基づく学習手法を提案する。
確率的流れ場に基づく2レベル(粗粒度)安定化アルゴリズムを開発した。
そこで本研究では,分割コンカレントアプローチを採用し,フルフレーム安定化ビューをレンダリングするための新しいマルチフレーム融合戦略を提案する。
論文 参考訳（メタデータ） (2023-07-24T13:24:19Z) - Minimum Latency Deep Online Video Stabilization [77.68990069996939]
本稿では,オンラインビデオ安定化作業のための新しいカメラパス最適化フレームワークを提案する。
本研究では,近年の市販の高品位深度モーションモデルを用いて動き推定を行い,カメラの軌道を復元する。
我々の手法は、定性的にも量的にも最先端のオンライン手法を大きく上回っている。
論文 参考訳（メタデータ） (2022-12-05T07:37:32Z) - GPU-accelerated SIFT-aided source identification of stabilized videos [63.084540168532065]
我々は、安定化フレームインバージョンフレームワークにおけるグラフィクス処理ユニット(GPU)の並列化機能を利用する。
我々はSIFT機能を活用することを提案する。
カメラのモーメントを推定し 1%の確率で 時間セグメントを識別します
実験により,提案手法の有効性を確認し,必要な計算時間を短縮し,情報源の同定精度を向上させる。
論文 参考訳（メタデータ） (2022-07-29T07:01:31Z) - Out-of-boundary View Synthesis Towards Full-Frame Video Stabilization [82.56853587380168]
ウォーピングベースのビデオ安定器は、各ピクセルの変位とワープフレームを不安定なものから制限することにより、カメラの軌道を円滑にする。
OVSは、既存のワーピングベースの安定化器にプラグアンドプレイモジュールとして統合することができ、安定した結果の収穫率を大幅に改善することができる。
論文 参考訳（メタデータ） (2021-08-20T08:07:47Z) - Neural Re-rendering for Full-frame Video Stabilization [144.9918806873405]
まず,高密度ワープ場を推定し,フルフレーム映像安定化のためのアルゴリズムを提案する。
フルフレーム安定化フレームは、隣接するフレームから歪んだコンテンツを融合することで合成することができる。
論文 参考訳（メタデータ） (2021-02-11T18:59:45Z) - Deep Motion Blind Video Stabilization [4.544151613454639]
この研究は、新しいデータセットの助けを借りて、ビデオ安定化の過度に複雑化した定式化を解消することを目的としている。
より厳密な生成技術を用いて,モーションブラインドフルフレーム映像の安定化学習に成功した。
本手法は,現在利用可能な最速ビデオ安定化方式よりも$sim3times$の高速化を実現する。
論文 参考訳（メタデータ） (2020-11-19T07:26:06Z) - Real-Time Selfie Video Stabilization [47.228417712587934]
本稿では,リアルタイムのセルフィー動画安定化手法を提案する。
私たちの方法は完全に自動で、26fpsで動作します。
従来のオフラインの自撮りビデオ手法と比較して、我々の手法は桁違いの速度向上と同等の画質が得られる。
論文 参考訳（メタデータ） (2020-09-04T04:41:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。