論文の概要: Efficient Flow-Guided Multi-frame De-fencing

• arxiv url: http://arxiv.org/abs/2301.10759v1
• Date: Wed, 25 Jan 2023 18:42:59 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-26 14:35:26.232441
• Title: Efficient Flow-Guided Multi-frame De-fencing
• Title（参考訳）: 効率的なフロー誘導マルチフレームデフェンシング
• Authors: Stavros Tsogkas, Fengjia Zhang, Allan Jepson, Alex Levinshtein
• Abstract要約: デフェンシング(de-fencing)は、画像からそのような障害を自動的に除去するアルゴリズムプロセスである。 本研究では,ブロックされたフレームから直接高品質なフローマップを演算するマルチフレームデフェンシングのためのフレームワークを開発する。
• 参考スコア（独自算出の注目度）: 7.504789972841539
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Taking photographs ''in-the-wild'' is often hindered by fence obstructions that stand between the camera user and the scene of interest, and which are hard or impossible to avoid. De-fencing is the algorithmic process of automatically removing such obstructions from images, revealing the invisible parts of the scene. While this problem can be formulated as a combination of fence segmentation and image inpainting, this often leads to implausible hallucinations of the occluded regions. Existing multi-frame approaches rely on propagating information to a selected keyframe from its temporal neighbors, but they are often inefficient and struggle with alignment of severely obstructed images. In this work we draw inspiration from the video completion literature and develop a simplified framework for multi-frame de-fencing that computes high quality flow maps directly from obstructed frames and uses them to accurately align frames. Our primary focus is efficiency and practicality in a real-world setting: the input to our algorithm is a short image burst (5 frames) - a data modality commonly available in modern smartphones - and the output is a single reconstructed keyframe, with the fence removed. Our approach leverages simple yet effective CNN modules, trained on carefully generated synthetic data, and outperforms more complicated alternatives real bursts, both quantitatively and qualitatively, while running real-time.
• Abstract（参考訳）: 「地中」の撮影は、カメラの利用者と関心の場の間に立ち、避けがたい、あるいは避けられないフェンスの障害によって、しばしば妨げられる。 デフェンシング(de-fencing)は、画像からそのような障害を自動的に取り除き、シーンの見えない部分を明らかにするアルゴリズムのプロセスである。 この問題は、フェンスのセグメンテーションと画像のインペイントの組み合わせとして定式化できるが、しばしば閉鎖された領域の不可解な幻覚を引き起こす。 既存のマルチフレームアプローチは、その時間的隣人から選択されたキーフレームに情報を伝達することに頼っているが、それらはしばしば非効率であり、ひどい妨害されたイメージのアライメントに苦労する。 本研究は,映像補完文献からインスピレーションを得て,ブロックされたフレームから直接高品質なフローマップを計算し,フレームを正確に整列させるマルチフレームデフェンシングのための簡易フレームワークを開発する。 私たちのアルゴリズムへの入力は、短い画像バースト(5フレーム)で、現代のスマートフォンで一般的なデータモダリティです。 我々の手法は単純だが効果的なCNNモジュールを活用し、注意深く生成された合成データに基づいて訓練し、リアルタイムに実行しながら、量的にも質的にも、より複雑な代替手段よりも優れている。

関連論文リスト

• Motion-Aware Video Frame Interpolation [49.49668436390514]
  我々は、連続するフレームから中間光の流れを直接推定する動き対応ビデオフレーム補間(MA-VFI)ネットワークを導入する。 受容場が異なる入力フレームからグローバルな意味関係と空間的詳細を抽出するだけでなく、必要な計算コストと複雑さを効果的に削減する。
  論文  参考訳（メタデータ） (2024-02-05T11:00:14Z)
• Look More but Care Less in Video Recognition [57.96505328398205]
  アクション認識法は通常、巨大な計算を避けるために、各ビデオを表すためにいくつかのフレームをサンプリングする。 本稿では,より多くのフレームを利用するために2つのブランチで構成されるAmple and Focal Network (AFNet)を提案する。
  論文  参考訳（メタデータ） (2022-11-18T02:39:56Z)
• Burst Image Restoration and Enhancement [86.08546447144377]
  バースト画像復元の目標は、複数のバーストフレームに補完的なキューを効果的に組み合わせ、高品質な出力を生成することである。 入力されたすべてのバーストフレームから補足情報を組み合わせてシームレスに情報を交換する,Emphpseudo-Burst機能セットを作成する。 提案手法は, バースト超解像および低照度画像強調タスクにおける技術性能の状況を示す。
  論文  参考訳（メタデータ） (2021-10-07T17:58:56Z)
• TimeLens: Event-based Video Frame Interpolation [54.28139783383213]
  本稿では,合成法とフロー法の両方の利点を生かした,等価寄与法であるTime Lensを紹介する。 最先端のフレームベースおよびイベントベース手法よりもPSNRが最大5.21dB向上したことを示す。
  論文  参考訳（メタデータ） (2021-06-14T10:33:47Z)
• Motion-blurred Video Interpolation and Extrapolation [72.3254384191509]
  本稿では,映像から鮮明なフレームをエンドツーエンドに切り離し,補間し,外挿する新しい枠組みを提案する。 予測フレーム間の時間的コヒーレンスを確保し,潜在的な時間的あいまいさに対処するために,単純で効果的なフローベースルールを提案する。
  論文  参考訳（メタデータ） (2021-03-04T12:18:25Z)
• Multi-Stage Raw Video Denoising with Adversarial Loss and Gradient Mask [14.265454188161819]
  低照度下で撮影した生映像を消音する学習型手法を提案する。 まず、畳み込みニューラルネットワーク(CNN)を用いて、隣接するフレームを現在のフレームに明示的にアライメントする。 次に、登録されたフレームを別のCNNを使って融合し、最終識別フレームを得る。
  論文  参考訳（メタデータ） (2021-03-04T06:57:48Z)
• ALANET: Adaptive Latent Attention Network forJoint Video Deblurring and Interpolation [38.52446103418748]
  シャープな高フレームレート映像を合成する新しいアーキテクチャであるAdaptive Latent Attention Network (ALANET)を導入する。 我々は,各フレームに最適化された表現を生成するために,潜在空間内の連続するフレーム間で自己アテンションと相互アテンションのモジュールを組み合わせる。 本手法は, より困難な問題に取り組みながら, 様々な最先端手法に対して良好に機能する。
  論文  参考訳（メタデータ） (2020-08-31T21:11:53Z)
• All at Once: Temporally Adaptive Multi-Frame Interpolation with Advanced Motion Modeling [52.425236515695914]
  最先端の手法は、一度に1つのフレームを補間する反復解である。 この研究は、真のマルチフレーム補間子を導入している。 時間領域のピラミッドスタイルのネットワークを使用して、複数フレームのタスクをワンショットで完了する。
  論文  参考訳（メタデータ） (2020-07-23T02:34:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。