論文の概要: Adaptively Meshed Video Stabilization

• arxiv url: http://arxiv.org/abs/2006.07820v1
• Date: Sun, 14 Jun 2020 06:51:23 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-21 13:03:58.766844
• Title: Adaptively Meshed Video Stabilization
• Title（参考訳）: 適応的メッシュ化ビデオ安定化
• Authors: Minda Zhao, Qiang Ling
• Abstract要約: 本稿では,すべての特徴軌跡と適応的ブロッキング戦略に基づいて,ゆるやかな映像を安定化するための適応的メッシュ化手法を提案する。 2段階最適化問題を解くことにより,各フレームのメッシュベースの変換を推定する。
• 参考スコア（独自算出の注目度）: 32.68960056325736
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Video stabilization is essential for improving visual quality of shaky videos. The current video stabilization methods usually take feature trajectories in the background to estimate one global transformation matrix or several transformation matrices based on a fixed mesh, and warp shaky frames into their stabilized views. However, these methods may not model the shaky camera motion well in complicated scenes, such as scenes containing large foreground objects or strong parallax, and may result in notable visual artifacts in the stabilized videos. To resolve the above issues, this paper proposes an adaptively meshed method to stabilize a shaky video based on all of its feature trajectories and an adaptive blocking strategy. More specifically, we first extract feature trajectories of the shaky video and then generate a triangle mesh according to the distribution of the feature trajectories in each frame. Then transformations between shaky frames and their stabilized views over all triangular grids of the mesh are calculated to stabilize the shaky video. Since more feature trajectories can usually be extracted from all regions, including both background and foreground regions, a finer mesh will be obtained and provided for camera motion estimation and frame warping. We estimate the mesh-based transformations of each frame by solving a two-stage optimization problem. Moreover, foreground and background feature trajectories are no longer distinguished and both contribute to the estimation of the camera motion in the proposed optimization problem, which yields better estimation performance than previous works, particularly in challenging videos with large foreground objects or strong parallax.
• Abstract（参考訳）: ビデオの安定化は、不安定なビデオの画質向上に不可欠である。 現在のビデオ安定化手法は通常、背景に特徴軌道を取り、固定メッシュに基づく1つの大域的変換行列または複数の変換行列を推定し、不安定なフレームを安定化されたビューにワープする。 しかし、これらの手法は、大きな前景や強い視差を含むシーンのような複雑なシーンではシャイなカメラの動きをうまくモデル化しない可能性があり、安定化されたビデオで目立ったビジュアルアーティファクトを生じさせる可能性がある。 上記の課題を解決するため,本研究では,すべての特徴軌跡と適応的ブロッキング戦略に基づいて,ゆらぎのある映像を安定化する適応メッシュ方式を提案する。 より具体的には、まずシェークビデオの特徴軌跡を抽出し、各フレームにおける特徴軌跡の分布に応じて三角形メッシュを生成する。 そして、メッシュの全三角形グリッド上でのシェークフレーム間の変換とその安定化ビューを算出し、シェークビデオの安定化を行う。 背景領域と前景領域の両方を含む全ての領域からより多くの特徴軌跡を抽出できるため、カメラモーション推定およびフレームワープのために、より微細なメッシュが得られる。 2段階最適化問題を解くことにより,各フレームのメッシュベース変換を推定する。 さらに、前景と背景の特徴軌跡はもはや区別されず、特に大きな前景オブジェクトや強いパララックスを持つ挑戦ビデオにおいて、従来の作業よりも優れた推定性能が得られる最適化問題において、カメラモーションの推定に寄与する。

関連論文リスト

• Fast Full-frame Video Stabilization with Iterative Optimization [21.962533235492625]
  ビデオ安定化のための合成データセットを用いた反復的最適化に基づく学習手法を提案する。 確率的流れ場に基づく2レベル(粗粒度)安定化アルゴリズムを開発した。 そこで本研究では,分割コンカレントアプローチを採用し,フルフレーム安定化ビューをレンダリングするための新しいマルチフレーム融合戦略を提案する。
  論文  参考訳（メタデータ） (2023-07-24T13:24:19Z)
• Minimum Latency Deep Online Video Stabilization [77.68990069996939]
  本稿では,オンラインビデオ安定化作業のための新しいカメラパス最適化フレームワークを提案する。 本研究では,近年の市販の高品位深度モーションモデルを用いて動き推定を行い,カメラの軌道を復元する。 我々の手法は、定性的にも量的にも最先端のオンライン手法を大きく上回っている。
  論文  参考訳（メタデータ） (2022-12-05T07:37:32Z)
• Pyramid Feature Alignment Network for Video Deblurring [63.26197177542422]
  ビデオの劣化は、さまざまな原因がぼやけているため、難しい課題だ。 従来の方法では、隣接するフレームを単一スケールのアライメントで修復する方法が検討されてきた。 本稿では,映像デブリのためのピラミッド特徴アライメントネットワーク(PFAN)を提案する。
  論文  参考訳（メタデータ） (2022-03-28T07:54:21Z)
• Self-Supervised Real-time Video Stabilization [100.00816752529045]
  本稿では,リアルタイムビデオ安定化手法を提案する。 この動画は、まるでジンバルでリアルタイムで安定しているかのように、不安定な動画に変換します。
  論文  参考訳（メタデータ） (2021-11-10T22:49:56Z)
• Recurrent Video Deblurring with Blur-Invariant Motion Estimation and Pixel Volumes [14.384467317051831]
  本稿では,複数のビデオフレームから情報を効果的に集約することで,映像をブルーリングする2つの新しい手法を提案する。 まず、ぼやけたフレーム間の動き推定精度を向上させるために、ぼやけた不変な動き推定学習を提案する。 第二に、動き補正のために、推定した動きを歪ませてフレームを整列する代わりに、被写体がシャープな画素を含む画素体積を用いて、動き推定誤差を解消する。
  論文  参考訳（メタデータ） (2021-08-23T07:36:49Z)
• Restoration of Video Frames from a Single Blurred Image with Motion Understanding [69.90724075337194]
  単一モーション赤画像からクリーンな映像フレームを生成するための新しいフレームワークを提案する。 一つのぼやけた画像からの映像復元を逆問題として、クリーンな画像シーケンスとそれぞれの動きを潜伏要因として設定する。 提案手法は,空間トランスフォーマネットワークモジュールを用いたanblur-decoder構造に基づいている。
  論文  参考訳（メタデータ） (2021-04-19T08:32:57Z)
• Motion-blurred Video Interpolation and Extrapolation [72.3254384191509]
  本稿では,映像から鮮明なフレームをエンドツーエンドに切り離し,補間し,外挿する新しい枠組みを提案する。 予測フレーム間の時間的コヒーレンスを確保し,潜在的な時間的あいまいさに対処するために,単純で効果的なフローベースルールを提案する。
  論文  参考訳（メタデータ） (2021-03-04T12:18:25Z)
• Neural Re-rendering for Full-frame Video Stabilization [144.9918806873405]
  まず,高密度ワープ場を推定し,フルフレーム映像安定化のためのアルゴリズムを提案する。 フルフレーム安定化フレームは、隣接するフレームから歪んだコンテンツを融合することで合成することができる。
  論文  参考訳（メタデータ） (2021-02-11T18:59:45Z)
• Deep Motion Blind Video Stabilization [4.544151613454639]
  この研究は、新しいデータセットの助けを借りて、ビデオ安定化の過度に複雑化した定式化を解消することを目的としている。 より厳密な生成技術を用いて,モーションブラインドフルフレーム映像の安定化学習に成功した。 本手法は,現在利用可能な最速ビデオ安定化方式よりも$sim3times$の高速化を実現する。
  論文  参考訳（メタデータ） (2020-11-19T07:26:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。