論文の概要: Eliminating Warping Shakes for Unsupervised Online Video Stitching
- arxiv url: http://arxiv.org/abs/2403.06378v1
- Date: Mon, 11 Mar 2024 02:05:31 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-12 20:29:42.219762
- Title: Eliminating Warping Shakes for Unsupervised Online Video Stitching
- Title（参考訳）: 教師なしオンラインビデオストッチングのためのウォーピングシェイクの除去
- Authors: Lang Nie, Chunyu Lin, Kang Liao, Yun Zhang, Shuaicheng Liu, Yao Zhao
- Abstract要約: 我々は、ビデオ縫合まで画像縫合を延ばす際に、ワープシェイクと呼ばれる新しい問題にビデオ縫合を向けた。
統合された教師なし学習フレームワークにおいて,ビデオステッチとビデオ安定化を同時に実現するためのStabStitchを提案する。
既存の縫合法と比較して、StabStitchは縫合性能と安定化性能に加えて、シーンの堅牢性と推論速度に大きな優位性を示す。
- 参考スコア（独自算出の注目度）: 86.7598706538557
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we retarget video stitching to an emerging issue, named
warping shake, when extending image stitching to video stitching. It unveils
the temporal instability of warped content in non-overlapping regions, despite
image stitching having endeavored to preserve the natural structures.
Therefore, in most cases, even if the input videos to be stitched are stable,
the stitched video will inevitably cause undesired warping shakes and affect
the visual experience. To eliminate the shakes, we propose StabStitch to
simultaneously realize video stitching and video stabilization in a unified
unsupervised learning framework. Starting from the camera paths in video
stabilization, we first derive the expression of stitching trajectories in
video stitching by elaborately integrating spatial and temporal warps. Then a
warp smoothing model is presented to optimize them with a comprehensive
consideration regarding content alignment, trajectory smoothness, spatial
consistency, and online collaboration. To establish an evaluation benchmark and
train the learning framework, we build a video stitching dataset with a rich
diversity in camera motions and scenes. Compared with existing stitching
solutions, StabStitch exhibits significant superiority in scene robustness and
inference speed in addition to stitching and stabilization performance,
contributing to a robust and real-time online video stitching system. The code
and dataset will be available at https://github.com/nie-lang/StabStitch.
- Abstract（参考訳）: 本稿では,画像縫合からビデオ縫合までを延ばす際に,ワープシェイクと呼ばれる新たな問題にビデオ縫合を向ける。
画像のステッチが自然構造を保存しようと努力しているにもかかわらず、重複しない領域における反りのあるコンテンツの時間的不安定性を明らかにする。
したがって、縫合すべき入力ビデオが安定している場合でも、縫合されたビデオは必然的に望ましくない反動を引き起こし、視覚体験に影響を与える。
揺らぎをなくすため,一貫した教師なし学習フレームワークにおいて,ビデオステッチとビデオ安定化を同時に実現するためのStabStitchを提案する。
まず,映像安定化におけるカメラパスから,空間的および時間的ワープを精巧に統合することにより,映像縫合における縫合軌跡の表現を導出する。
次に,コンテンツアライメント,軌跡平滑性,空間的一貫性,オンラインコラボレーションに関する包括的考察を加えて,warp平滑化モデルを提案する。
評価ベンチマークを確立し,学習フレームワークを訓練するために,カメラの動きやシーンの多様性に富んだビデオステッチデータセットを構築した。
既存の縫合法と比較して、StabStitchは、縫合と安定化性能に加えて、シーンの堅牢性と推論速度に大きな優位性を示し、堅牢でリアルタイムなオンラインビデオ縫合システムに寄与する。
コードとデータセットはhttps://github.com/nie-lang/StabStitch.comから入手できる。
関連論文リスト
- VideoAnydoor: High-fidelity Video Object Insertion with Precise Motion Control [66.66226299852559]
VideoAnydoorは、高忠実度ディテール保存と正確なモーションコントロールを備えたゼロショットビデオオブジェクト挿入フレームワークである。
詳細な外観を保ちながら、微粒な動き制御をサポートするため、我々は画素ワーパーを設計する。
論文 参考訳（メタデータ） (2025-01-02T18:59:54Z) - Task Agnostic Restoration of Natural Video Dynamics [10.078712109708592]
多くのビデオ復元・翻訳タスクでは、各フレームを独立して処理することにより、画像処理操作を映像領域に「ナビ」拡張する。
本稿では,不整合ビデオから一貫した動きのダイナミクスを推論し,活用して時間的フリックを緩和する,このタスクのための一般的なフレームワークを提案する。
提案フレームワークは、多数の画像処理アプリケーションによって処理される2つのベンチマークデータセット、DAVISとvidevo.net上でSOTA結果を生成する。
論文 参考訳（メタデータ） (2022-06-08T09:00:31Z) - Video Demoireing with Relation-Based Temporal Consistency [68.20281109859998]
カラー歪みのように見えるモアレパターンは、デジタルカメラでスクリーンを撮影する際に、画像と映像の画質を著しく劣化させる。
我々は、このような望ましくないモアレパターンをビデオで除去する方法を研究している。
論文 参考訳（メタデータ） (2022-04-06T17:45:38Z) - Self-Supervised Real-time Video Stabilization [100.00816752529045]
本稿では,リアルタイムビデオ安定化手法を提案する。
この動画は、まるでジンバルでリアルタイムで安定しているかのように、不安定な動画に変換します。
論文 参考訳（メタデータ） (2021-11-10T22:49:56Z) - Attention-guided Temporal Coherent Video Object Matting [78.82835351423383]
本稿では,時間的コヒーレントなマッチング結果が得られる深層学習に基づくオブジェクトマッチング手法を提案する。
中心となるコンポーネントは、画像マッチングネットワークの強度を最大化するアテンションベースの時間アグリゲーションモジュールである。
本稿では,最先端のビデオオブジェクトセグメンテーションネットワークを微調整することで,トリマップ生成問題を効果的に解決する方法を示す。
論文 参考訳（メタデータ） (2021-05-24T17:34:57Z) - Neural Re-rendering for Full-frame Video Stabilization [144.9918806873405]
まず,高密度ワープ場を推定し,フルフレーム映像安定化のためのアルゴリズムを提案する。
フルフレーム安定化フレームは、隣接するフレームから歪んだコンテンツを融合することで合成することができる。
論文 参考訳（メタデータ） (2021-02-11T18:59:45Z) - A Sparse Sampling-based framework for Semantic Fast-Forward of
First-Person Videos [2.362412515574206]
ほとんどのアップロードされたビデオは忘れられ、コンピューターのフォルダーやウェブサイトに埋もれてしまった。
重み付き最小再構成問題として定式化された適応フレーム選択を提案する。
本手法は,最先端技術と同等の関連情報とスムーズさを保持することができるが,処理時間が少ない。
論文 参考訳（メタデータ） (2020-09-21T18:36:17Z) - Adaptively Meshed Video Stabilization [32.68960056325736]
本稿では,すべての特徴軌跡と適応的ブロッキング戦略に基づいて,ゆるやかな映像を安定化するための適応的メッシュ化手法を提案する。
2段階最適化問題を解くことにより,各フレームのメッシュベースの変換を推定する。
論文 参考訳（メタデータ） (2020-06-14T06:51:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。