論文の概要: Turb-Seg-Res: A Segment-then-Restore Pipeline for Dynamic Videos with Atmospheric Turbulence

• arxiv url: http://arxiv.org/abs/2404.13605v1
• Date: Sun, 21 Apr 2024 10:28:34 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-23 18:11:42.987915
• Title: Turb-Seg-Res: A Segment-then-Restore Pipeline for Dynamic Videos with Atmospheric Turbulence
• Title（参考訳）: Turb-Seg-Res: 大気圧を伴うダイナミックビデオのためのセグメンション・セグ・ストア・パイプライン
• Authors: Ripon Kumar Saha, Dehao Qin, Nianyi Li, Jinwei Ye, Suren Jayasuriya,
• Abstract要約: 本稿では,乱流環境における動的シーンの映像を復元するための,最初のセグメント列復元パイプラインを提案する。 教師なしモーションセグメンテーション法による平均光学的流れを利用して、復元前に動的および静的なシーン成分を分離する。 既存の復元手法と比較し,幾何学的歪みのほとんどを復元し,映像のシャープネスを高める。
• 参考スコア（独自算出の注目度）: 10.8380383565446
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Tackling image degradation due to atmospheric turbulence, particularly in dynamic environment, remains a challenge for long-range imaging systems. Existing techniques have been primarily designed for static scenes or scenes with small motion. This paper presents the first segment-then-restore pipeline for restoring the videos of dynamic scenes in turbulent environment. We leverage mean optical flow with an unsupervised motion segmentation method to separate dynamic and static scene components prior to restoration. After camera shake compensation and segmentation, we introduce foreground/background enhancement leveraging the statistics of turbulence strength and a transformer model trained on a novel noise-based procedural turbulence generator for fast dataset augmentation. Benchmarked against existing restoration methods, our approach restores most of the geometric distortion and enhances sharpness for videos. We make our code, simulator, and data publicly available to advance the field of video restoration from turbulence: riponcs.github.io/TurbSegRes
• Abstract（参考訳）: 大気の乱流による画像劣化、特に動的環境における処理は、長距離撮像システムにとって依然として課題である。 既存の技法は、主に静かなシーンや小さな動きを持つシーンのために設計されている。 本稿では,乱流環境における動的シーンの映像を復元するための,最初のセグメント列復元パイプラインを提案する。 教師なしモーションセグメンテーション法による平均光学的流れを利用して、復元前の動的および静的なシーン成分を分離する。 カメラの揺らぎ補正とセグメンテーションの後, 高速データセット増強のための新しいノイズベースプロシージャ乱流発生器を訓練した変圧器モデルと, 乱流強度の統計を利用した前景/背景強調を導入する。 既存の復元手法と比較し,幾何学的歪みのほとんどを復元し,映像のシャープネスを高める。 私たちは、乱流からビデオ復元の分野を前進させるために、コード、シミュレータ、データを公開しています。

関連論文リスト

• Feed-Forward Bullet-Time Reconstruction of Dynamic Scenes from Monocular Videos [101.48581851337703]
  動的シーンのリアルタイム再構成と新しいビュー合成のための,モーション対応フィードフォワードモデルであるBTimerを提案する。 提案手法は,すべてのコンテキストフレームから情報を集約することにより,所定の目標("bullet')タイムスタンプにおける3次元ガウススティング表現の全体像を再構成する。 カジュアルなモノクロのダイナミックビデオが与えられた後、BTimerは150ms以内の弾道時間シーンを再構築し、静的および動的両方のシーンデータセットで最先端のパフォーマンスに到達した。
  論文  参考訳（メタデータ） (2024-12-04T18:15:06Z)
• RoMo: Robust Motion Segmentation Improves Structure from Motion [46.77236343300953]
  本稿では,固定世界フレームを移動中のシーンの構成要素を特定するために,映像に基づくモーションセグメンテーションの新たなアプローチを提案する。 我々の単純かつ効果的な反復法であるRoMoは、光フローとエピポーラキューと事前訓練されたビデオセグメンテーションモデルを組み合わせたものである。 さらに重要なのは、市販のSfMパイプラインとセグメンテーションマスクを組み合わせることで、ダイナミックなコンテンツを持つシーンに対する最先端のカメラキャリブレーションを新たに確立し、既存の手法を実質的なマージンで上回ることだ。
  論文  参考訳（メタデータ） (2024-11-27T01:09:56Z)
• Compressing Scene Dynamics: A Generative Approach [26.838900035206613]
  本稿では,生成ビデオ圧縮のための映像コンテンツではなく,動きパターンから生成先行を学習することを提案する。 前者は風に揺れる木や海に浮かぶボートなど、一般的な場面における小さな動きのダイナミクスから派生したものである。 超低ビットレート通信と多様なシーンコンテンツのための高品質な再構成を実現するために、新しい生成シーンダイナミックス圧縮フレームワークを構築した。
  論文  参考訳（メタデータ） (2024-10-13T07:54:02Z)
• CustomCrafter: Customized Video Generation with Preserving Motion and Concept Composition Abilities [56.5742116979914]
  CustomCrafterは、追加のビデオやリカバリのための微調整なしで、モデルの動き生成と概念的な組み合わせ能力を保持する。 動作生成では,VDMが早期に映像の動きを回復する傾向が見られた。 復調の後期では、特定対象の外観詳細を修復するために、このモジュールを復元する。
  論文  参考訳（メタデータ） (2024-08-23T17:26:06Z)
• ConVRT: Consistent Video Restoration Through Turbulence with Test-time Optimization of Neural Video Representations [13.38405890753946]
  乱流を通した連続ビデオ再生(ConVRT)を自己管理する手法を提案する。 ConVRTは、回復時の時間的一貫性を高めるように設計されたニューラルビデオ表現を特徴とするテスト時間最適化手法である。 ConVRTの重要な革新は、セマンティック指向の監視のための事前訓練された視覚言語モデル(CLIP)の統合である。
  論文  参考訳（メタデータ） (2023-12-07T20:19:48Z)
• GenDeF: Learning Generative Deformation Field for Video Generation [89.49567113452396]
  我々は1つの静止画像を生成変形場(GenDeF)でワープすることで映像をレンダリングすることを提案する。 このようなパイプラインには,魅力的なメリットが3つあります。
  論文  参考訳（メタデータ） (2023-12-07T18:59:41Z)
• Single Frame Atmospheric Turbulence Mitigation: A Benchmark Study and A New Physics-Inspired Transformer Model [82.23276183684001]
  本研究では,大気乱流の画像化のための物理インスピレーション付き変圧器モデルを提案する。 提案ネットワークは変圧器ブロックのパワーを利用して動的乱流歪みマップを共同で抽出する。 そこで本研究では,従来の客観的指標と,テキスト認識精度を用いたタスク駆動計測の両方で評価可能な,実世界の乱流データセットを新たに2つ提示する。
  論文  参考訳（メタデータ） (2022-07-20T17:09:16Z)
• NeuralDiff: Segmenting 3D objects that move in egocentric videos [92.95176458079047]
  観測された3次元シーンを静的な背景と動的前景に分解する問題について検討する。 このタスクは、古典的な背景の減算問題を連想させるが、静的でダイナミックなシーンの全ての部分が大きな動きを生じさせるため、非常に難しい。 特に、自我中心のビデオについて検討し、動的コンポーネントを観察・移動するオブジェクトとアクターにさらに分離する。
  論文  参考訳（メタデータ） (2021-10-19T12:51:35Z)
• Restoration of Video Frames from a Single Blurred Image with Motion Understanding [69.90724075337194]
  単一モーション赤画像からクリーンな映像フレームを生成するための新しいフレームワークを提案する。 一つのぼやけた画像からの映像復元を逆問題として、クリーンな画像シーケンスとそれぞれの動きを潜伏要因として設定する。 提案手法は,空間トランスフォーマネットワークモジュールを用いたanblur-decoder構造に基づいている。
  論文  参考訳（メタデータ） (2021-04-19T08:32:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。