論文の概要: Leveraging Synthetic Data to Learn Video Stabilization Under Adverse Conditions

• arxiv url: http://arxiv.org/abs/2208.12763v1
• Date: Fri, 26 Aug 2022 16:21:19 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-29 13:30:52.295731
• Title: Leveraging Synthetic Data to Learn Video Stabilization Under Adverse Conditions
• Title（参考訳）: 合成データを活用した映像安定化
• Authors: Abdulrahman Kerim, Washington L. S. Ramos, Leandro Soriano Marcolino, Erickson R. Nascimento, Richard Jiang
• Abstract要約: ビデオ安定化のための合成悪天候ロバストアルゴリズムを提案する。 本モデルでは,実世界の映像を一般化し,大規模合成学習データを収束させる必要がない。
• 参考スコア（独自算出の注目度）: 9.070630868911639
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Video stabilization plays a central role to improve videos quality. However, despite the substantial progress made by these methods, they were, mainly, tested under standard weather and lighting conditions, and may perform poorly under adverse conditions. In this paper, we propose a synthetic-aware adverse weather robust algorithm for video stabilization that does not require real data and can be trained only on synthetic data. We also present Silver, a novel rendering engine to generate the required training data with an automatic ground-truth extraction procedure. Our approach uses our specially generated synthetic data for training an affine transformation matrix estimator avoiding the feature extraction issues faced by current methods. Additionally, since no video stabilization datasets under adverse conditions are available, we propose the novel VSAC105Real dataset for evaluation. We compare our method to five state-of-the-art video stabilization algorithms using two benchmarks. Our results show that current approaches perform poorly in at least one weather condition, and that, even training in a small dataset with synthetic data only, we achieve the best performance in terms of stability average score, distortion score, success rate, and average cropping ratio when considering all weather conditions. Hence, our video stabilization model generalizes well on real-world videos and does not require large-scale synthetic training data to converge.
• Abstract（参考訳）: ビデオの安定化は、ビデオの品質向上に重要な役割を果たす。 しかし、これらの方法によるかなりの進歩にもかかわらず、主に標準の気象条件と照明条件下で試験され、悪条件下では性能が悪くなる可能性がある。 本稿では,実データを必要とせず,合成データのみに基づいて学習できる映像安定化のための合成・認識型悪天候ロバストアルゴリズムを提案する。 また,新しいレンダリングエンジンであるsilverについて紹介する。 提案手法では,アフィン変換行列推定器の学習に,既存の手法が直面する特徴抽出の問題を回避するために,特殊な合成データを用いている。 また,悪条件下でのビデオ安定化データセットは使用できないため,評価のための新しいvsac105実データセットを提案する。 提案手法を2つのベンチマークを用いて5つの最先端ビデオ安定化アルゴリズムと比較した。 その結果,少なくとも1つの気象条件下では現在の手法は性能が悪く,合成データのみを用いた小さなデータセットでのトレーニングであっても,すべての気象条件を考慮すれば,安定性平均スコア,歪みスコア,成功率,平均クロッピング率の点で最高の性能が得られることがわかった。 したがって,ビデオ安定化モデルは実世界の映像を一般化し,大規模合成学習データを必要としない。

関連論文リスト

• BVI-RLV: A Fully Registered Dataset and Benchmarks for Low-Light Video Enhancement [56.97766265018334]
  本稿では,2つの異なる低照度条件下での様々な動きシナリオを持つ40のシーンからなる低照度映像データセットを提案する。 我々は、プログラム可能なモータードリーを用いて、通常の光で捉えた完全に登録された地上真実データを提供し、異なる光レベルにわたるピクセルワイドフレームアライメントのための画像ベースアプローチによりそれを洗練する。 実験の結果,Low-light Video enhancement (LLVE) における完全登録ビデオペアの重要性が示された。
  論文  参考訳（メタデータ） (2024-07-03T22:41:49Z)
• Enhancing Indoor Temperature Forecasting through Synthetic Data in Low-Data Environments [42.8983261737774]
  合成データ生成のためのSoTA AI を用いたデータ拡張手法の有効性について検討する。 そこで本研究では,実データと合成データの融合戦略を探求し,予測モデルの改善を図る。
  論文  参考訳（メタデータ） (2024-06-07T12:36:31Z)
• Robust Monocular Depth Estimation under Challenging Conditions [81.57697198031975]
  最先端のモノクル深度推定手法は、難解な照明や気象条件下では信頼性が低い。 我々はmd4allでこれらの安全クリティカルな問題に取り組む: 単純で効果的なソリューションで、悪条件と理想条件の両方で確実に機能する。
  論文  参考訳（メタデータ） (2023-08-18T17:59:01Z)
• Expanding Synthetic Real-World Degradations for Blind Video Super Resolution [3.474523163017713]
  ビデオ超解像(VSR)技術はここ数年で大幅に改善され、合成データに顕著な性能を示した。 しかし、実世界のビデオデータにおけるそれらのパフォーマンスは、実世界の劣化と不整合のビデオフレームの複雑さに悩まされている。 本稿では,合成学習データセットにおける実世界の劣化について述べる。
  論文  参考訳（メタデータ） (2023-05-04T08:58:31Z)
• Towards Real-World Video Deblurring by Exploring Blur Formation Process [53.91239555063343]
  近年、深層学習に基づくアプローチは、ビデオデブロアリングタスクにおいて有望な成功を収めている。 既存の合成データセットで訓練されたモデルは、現実世界のぼやけたシナリオよりも一般化の問題に悩まされている。 本稿では, RAW-Blur と呼ばれる, ぼかし生成の手がかりを生かして, 現実的なぼかし合成パイプラインを提案する。
  論文  参考訳（メタデータ） (2022-08-28T09:24:52Z)
• Self-supervision versus synthetic datasets: which is the lesser evil in the context of video denoising? [11.0189148044343]
  監督されたトレーニングは、画像やビデオのデノベーションの最先端の結果につながった。 入手が難しいノイズとクリーンのペアの大規模なデータセットが必要です。 いくつかの自己教師型フレームワークは、ノイズの多いデータに基づいて、そのようなデノベーションネットワークを直接訓練するために提案されている。
  論文  参考訳（メタデータ） (2022-04-25T08:17:36Z)
• Investigating Tradeoffs in Real-World Video Super-Resolution [90.81396836308085]
  実世界のビデオ超解像(VSR)モデルは、一般化性を改善するために様々な劣化で訓練されることが多い。 最初のトレードオフを軽減するために,性能を犠牲にすることなく,最大40%のトレーニング時間を削減できる劣化手法を提案する。 そこで本研究では,多種多様な実世界の低品質映像系列を含むビデオLQデータセットを提案する。
  論文  参考訳（メタデータ） (2021-11-24T18:58:21Z)
• Progressive residual learning for single image dehazing [57.651704852274825]
  物理モデルフリーなデハジングプロセスと, 再構成された散乱モデルに基づくデハジング操作を組み合わせるために, 漸進的残留学習戦略が提案されている。 提案手法は,公開デヘイジングベンチマークにおける最先端手法に対して,複雑なデータに対するモデル解釈性と適応性に優れる。
  論文  参考訳（メタデータ） (2021-03-14T16:54:44Z)
• Neural Re-rendering for Full-frame Video Stabilization [144.9918806873405]
  まず,高密度ワープ場を推定し,フルフレーム映像安定化のためのアルゴリズムを提案する。 フルフレーム安定化フレームは、隣接するフレームから歪んだコンテンツを融合することで合成することができる。
  論文  参考訳（メタデータ） (2021-02-11T18:59:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。