論文の概要: Eliminating Warping Shakes for Unsupervised Online Video Stitching
- arxiv url: http://arxiv.org/abs/2403.06378v2
- Date: Wed, 10 Jul 2024 09:05:54 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-11 21:39:45.820302
- Title: Eliminating Warping Shakes for Unsupervised Online Video Stitching
- Title（参考訳）: 教師なしオンラインビデオストッチングのためのウォーピングシェイクの除去
- Authors: Lang Nie, Chunyu Lin, Kang Liao, Yun Zhang, Shuaicheng Liu, Rui Ai, Yao Zhao,
- Abstract要約: 我々は、ビデオ縫合まで画像縫合を延ばす際に、ワープシェイクと呼ばれる新しい問題にビデオ縫合を向けた。
統合された教師なし学習フレームワークにおいて,ビデオステッチとビデオ安定化を同時に実現するためのStabStitchを提案する。
既存の縫合法と比較して、StabStitchは縫合性能と安定化性能に加えて、シーンの堅牢性と推論速度に大きな優位性を示す。
- 参考スコア（独自算出の注目度）: 77.96880800111498
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we retarget video stitching to an emerging issue, named warping shake, when extending image stitching to video stitching. It unveils the temporal instability of warped content in non-overlapping regions, despite image stitching having endeavored to preserve the natural structures. Therefore, in most cases, even if the input videos to be stitched are stable, the stitched video will inevitably cause undesired warping shakes and affect the visual experience. To eliminate the shakes, we propose StabStitch to simultaneously realize video stitching and video stabilization in a unified unsupervised learning framework. Starting from the camera paths in video stabilization, we first derive the expression of stitching trajectories in video stitching by elaborately integrating spatial and temporal warps. Then a warp smoothing model is presented to optimize them with a comprehensive consideration regarding content alignment, trajectory smoothness, spatial consistency, and online collaboration. To establish an evaluation benchmark and train the learning framework, we build a video stitching dataset with a rich diversity in camera motions and scenes. Compared with existing stitching solutions, StabStitch exhibits significant superiority in scene robustness and inference speed in addition to stitching and stabilization performance, contributing to a robust and real-time online video stitching system. The code and dataset are available at https://github.com/nie-lang/StabStitch.
- Abstract（参考訳）: 本稿では,画像縫合からビデオ縫合までを延ばす際に,ワープシェイクと呼ばれる新たな問題にビデオ縫合を向ける。
これは、自然構造を維持するために努力された画像縫いにもかかわらず、重複しない領域における歪んだコンテンツの時間的不安定性を明らかにする。
したがって、多くの場合、縫合すべき入力ビデオが安定しているとしても、縫合されたビデオは必然的に望ましくない反動を引き起こし、視覚体験に影響を与える。
揺らぎをなくすため,一貫した教師なし学習フレームワークにおいて,ビデオステッチとビデオ安定化を同時に実現するためのStabStitchを提案する。
まず、ビデオ安定化におけるカメラパスから、空間的および時間的ワープを精巧に統合することにより、ビデオ縫合における縫合軌跡の表現を導出する。
次にワープ平滑化モデルを提示し、コンテンツアライメント、軌道平滑性、空間整合性、オンラインコラボレーションに関する包括的な考察により最適化する。
評価ベンチマークを確立し,学習フレームワークを訓練するために,カメラの動きやシーンの多様性に富んだビデオステッチデータセットを構築した。
既存の縫合法と比較して、StabStitchは、縫合と安定化性能に加えて、シーンの堅牢性と推論速度に大きな優位性を示し、ロバストでリアルタイムなオンラインビデオ縫合システムに寄与する。
コードとデータセットはhttps://github.com/nie-lang/StabStitch.comから入手できる。
関連論文リスト
- Task Agnostic Restoration of Natural Video Dynamics [10.078712109708592]
多くのビデオ復元・翻訳タスクでは、各フレームを独立して処理することにより、画像処理操作を映像領域に「ナビ」拡張する。
本稿では,不整合ビデオから一貫した動きのダイナミクスを推論し,活用して時間的フリックを緩和する,このタスクのための一般的なフレームワークを提案する。
提案フレームワークは、多数の画像処理アプリケーションによって処理される2つのベンチマークデータセット、DAVISとvidevo.net上でSOTA結果を生成する。
論文 参考訳（メタデータ） (2022-06-08T09:00:31Z) - Video Demoireing with Relation-Based Temporal Consistency [68.20281109859998]
カラー歪みのように見えるモアレパターンは、デジタルカメラでスクリーンを撮影する際に、画像と映像の画質を著しく劣化させる。
我々は、このような望ましくないモアレパターンをビデオで除去する方法を研究している。
論文 参考訳（メタデータ） (2022-04-06T17:45:38Z) - Self-Supervised Real-time Video Stabilization [100.00816752529045]
本稿では,リアルタイムビデオ安定化手法を提案する。
この動画は、まるでジンバルでリアルタイムで安定しているかのように、不安定な動画に変換します。
論文 参考訳（メタデータ） (2021-11-10T22:49:56Z) - Attention-guided Temporal Coherent Video Object Matting [78.82835351423383]
本稿では,時間的コヒーレントなマッチング結果が得られる深層学習に基づくオブジェクトマッチング手法を提案する。
中心となるコンポーネントは、画像マッチングネットワークの強度を最大化するアテンションベースの時間アグリゲーションモジュールである。
本稿では,最先端のビデオオブジェクトセグメンテーションネットワークを微調整することで,トリマップ生成問題を効果的に解決する方法を示す。
論文 参考訳（メタデータ） (2021-05-24T17:34:57Z) - Restoration of Video Frames from a Single Blurred Image with Motion
Understanding [69.90724075337194]
単一モーション赤画像からクリーンな映像フレームを生成するための新しいフレームワークを提案する。
一つのぼやけた画像からの映像復元を逆問題として、クリーンな画像シーケンスとそれぞれの動きを潜伏要因として設定する。
提案手法は,空間トランスフォーマネットワークモジュールを用いたanblur-decoder構造に基づいている。
論文 参考訳（メタデータ） (2021-04-19T08:32:57Z) - Neural Re-rendering for Full-frame Video Stabilization [144.9918806873405]
まず,高密度ワープ場を推定し,フルフレーム映像安定化のためのアルゴリズムを提案する。
フルフレーム安定化フレームは、隣接するフレームから歪んだコンテンツを融合することで合成することができる。
論文 参考訳（メタデータ） (2021-02-11T18:59:45Z) - A Sparse Sampling-based framework for Semantic Fast-Forward of
First-Person Videos [2.362412515574206]
ほとんどのアップロードされたビデオは忘れられ、コンピューターのフォルダーやウェブサイトに埋もれてしまった。
重み付き最小再構成問題として定式化された適応フレーム選択を提案する。
本手法は,最先端技術と同等の関連情報とスムーズさを保持することができるが,処理時間が少ない。
論文 参考訳（メタデータ） (2020-09-21T18:36:17Z) - Adaptively Meshed Video Stabilization [32.68960056325736]
本稿では,すべての特徴軌跡と適応的ブロッキング戦略に基づいて,ゆるやかな映像を安定化するための適応的メッシュ化手法を提案する。
2段階最適化問題を解くことにより,各フレームのメッシュベースの変換を推定する。
論文 参考訳（メタデータ） (2020-06-14T06:51:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。