論文の概要: Turb-Seg-Res: A Segment-then-Restore Pipeline for Dynamic Videos with Atmospheric Turbulence
- arxiv url: http://arxiv.org/abs/2404.13605v1
- Date: Sun, 21 Apr 2024 10:28:34 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-23 18:11:42.987915
- Title: Turb-Seg-Res: A Segment-then-Restore Pipeline for Dynamic Videos with Atmospheric Turbulence
- Title(参考訳): Turb-Seg-Res: 大気圧を伴うダイナミックビデオのためのセグメンション・セグ・ストア・パイプライン
- Authors: Ripon Kumar Saha, Dehao Qin, Nianyi Li, Jinwei Ye, Suren Jayasuriya,
- Abstract要約: 本稿では,乱流環境における動的シーンの映像を復元するための,最初のセグメント列復元パイプラインを提案する。
教師なしモーションセグメンテーション法による平均光学的流れを利用して、復元前に動的および静的なシーン成分を分離する。
既存の復元手法と比較し,幾何学的歪みのほとんどを復元し,映像のシャープネスを高める。
- 参考スコア(独自算出の注目度): 10.8380383565446
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Tackling image degradation due to atmospheric turbulence, particularly in dynamic environment, remains a challenge for long-range imaging systems. Existing techniques have been primarily designed for static scenes or scenes with small motion. This paper presents the first segment-then-restore pipeline for restoring the videos of dynamic scenes in turbulent environment. We leverage mean optical flow with an unsupervised motion segmentation method to separate dynamic and static scene components prior to restoration. After camera shake compensation and segmentation, we introduce foreground/background enhancement leveraging the statistics of turbulence strength and a transformer model trained on a novel noise-based procedural turbulence generator for fast dataset augmentation. Benchmarked against existing restoration methods, our approach restores most of the geometric distortion and enhances sharpness for videos. We make our code, simulator, and data publicly available to advance the field of video restoration from turbulence: riponcs.github.io/TurbSegRes
- Abstract(参考訳): 大気の乱流による画像劣化、特に動的環境における処理は、長距離撮像システムにとって依然として課題である。
既存の技法は、主に静かなシーンや小さな動きを持つシーンのために設計されている。
本稿では,乱流環境における動的シーンの映像を復元するための,最初のセグメント列復元パイプラインを提案する。
教師なしモーションセグメンテーション法による平均光学的流れを利用して、復元前の動的および静的なシーン成分を分離する。
カメラの揺らぎ補正とセグメンテーションの後, 高速データセット増強のための新しいノイズベースプロシージャ乱流発生器を訓練した変圧器モデルと, 乱流強度の統計を利用した前景/背景強調を導入する。
既存の復元手法と比較し,幾何学的歪みのほとんどを復元し,映像のシャープネスを高める。
私たちは、乱流からビデオ復元の分野を前進させるために、コード、シミュレータ、データを公開しています。
関連論文リスト
- ConVRT: Consistent Video Restoration Through Turbulence with Test-time
Optimization of Neural Video Representations [13.38405890753946]
乱流を通した連続ビデオ再生(ConVRT)を自己管理する手法を提案する。
ConVRTは、回復時の時間的一貫性を高めるように設計されたニューラルビデオ表現を特徴とするテスト時間最適化手法である。
ConVRTの重要な革新は、セマンティック指向の監視のための事前訓練された視覚言語モデル(CLIP)の統合である。
論文 参考訳(メタデータ) (2023-12-07T20:19:48Z) - GenDeF: Learning Generative Deformation Field for Video Generation [89.49567113452396]
我々は1つの静止画像を生成変形場(GenDeF)でワープすることで映像をレンダリングすることを提案する。
このようなパイプラインには,魅力的なメリットが3つあります。
論文 参考訳(メタデータ) (2023-12-07T18:59:41Z) - Event-based Continuous Color Video Decompression from Single Frames [38.59798259847563]
本研究では,イベントカメラを用いて,単一の静的RGB画像から連続映像を生成する新しい手法であるContinuityCamを提案する。
提案手法は、連続した長距離動きモデリングと特徴平面に基づくニューラル統合モデルを組み合わせることで、イベント内の任意のタイミングでフレーム予測を可能にする。
論文 参考訳(メタデータ) (2023-11-30T18:59:23Z) - Unsupervised Region-Growing Network for Object Segmentation in
Atmospheric Turbulence [11.62754560134596]
本研究では,大気乱流の影響を受けやすい2段階の非教師対象セグメンテーションネットワークを提案する。
第1段階では、乱流歪み画像列からの平均光フローを利用して、各移動物体の予備マスクを作成する。
我々は、手動でアノテートされた地上の真理マスクを備えた、乱流の影響のあるビデオの最初の移動物体セグメンテーションデータセットをリリースする。
論文 参考訳(メタデータ) (2023-11-06T22:17:18Z) - DynIBaR: Neural Dynamic Image-Based Rendering [79.44655794967741]
複雑な動的シーンを描写したモノクロ映像から新しいビューを合成する問題に対処する。
我々は,近傍のビューから特徴を集約することで,新しい視点を合成するボリューム画像ベースのレンダリングフレームワークを採用する。
動的シーンデータセットにおける最先端手法の大幅な改善を示す。
論文 参考訳(メタデータ) (2022-11-20T20:57:02Z) - Single Frame Atmospheric Turbulence Mitigation: A Benchmark Study and A
New Physics-Inspired Transformer Model [82.23276183684001]
本研究では,大気乱流の画像化のための物理インスピレーション付き変圧器モデルを提案する。
提案ネットワークは変圧器ブロックのパワーを利用して動的乱流歪みマップを共同で抽出する。
そこで本研究では,従来の客観的指標と,テキスト認識精度を用いたタスク駆動計測の両方で評価可能な,実世界の乱流データセットを新たに2つ提示する。
論文 参考訳(メタデータ) (2022-07-20T17:09:16Z) - NeuralDiff: Segmenting 3D objects that move in egocentric videos [92.95176458079047]
観測された3次元シーンを静的な背景と動的前景に分解する問題について検討する。
このタスクは、古典的な背景の減算問題を連想させるが、静的でダイナミックなシーンの全ての部分が大きな動きを生じさせるため、非常に難しい。
特に、自我中心のビデオについて検討し、動的コンポーネントを観察・移動するオブジェクトとアクターにさらに分離する。
論文 参考訳(メタデータ) (2021-10-19T12:51:35Z) - Restoration of Video Frames from a Single Blurred Image with Motion
Understanding [69.90724075337194]
単一モーション赤画像からクリーンな映像フレームを生成するための新しいフレームワークを提案する。
一つのぼやけた画像からの映像復元を逆問題として、クリーンな画像シーケンスとそれぞれの動きを潜伏要因として設定する。
提案手法は,空間トランスフォーマネットワークモジュールを用いたanblur-decoder構造に基づいている。
論文 参考訳(メタデータ) (2021-04-19T08:32:57Z) - Non-Rigid Neural Radiance Fields: Reconstruction and Novel View
Synthesis of a Dynamic Scene From Monocular Video [76.19076002661157]
Non-Rigid Neural Radiance Fields (NR-NeRF) は、一般的な非剛体動的シーンに対する再構成および新しいビュー合成手法である。
一つのコンシューマ級カメラでさえ、新しい仮想カメラビューからダイナミックシーンの洗練されたレンダリングを合成するのに十分であることを示す。
論文 参考訳(メタデータ) (2020-12-22T18:46:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。