論文の概要: UDC-VIT: A Real-World Video Dataset for Under-Display Cameras

• arxiv url: http://arxiv.org/abs/2501.18545v1
• Date: Thu, 30 Jan 2025 18:13:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-31 15:14:52.424013
• Title: UDC-VIT: A Real-World Video Dataset for Under-Display Cameras
• Title（参考訳）: UDC-VIT:Under-Displayカメラのリアルタイムビデオデータセット
• Authors: Kyusu Ahn, JiSoo Kim, Sangik Lee, HyunGyu Lee, Byeonghyun Ko, Chanwoo Park, Jaejin Lee,
• Abstract要約: Under Display Camera(UDC)は、デジタルカメラのレンズをディスプレイパネルの下に配置し、効果的にカメラを隠蔽する高度な撮像システムである。 UDCは撮影画像や動画を著しく劣化させ、低透過性、ぼかし、ノイズ、フレアの問題を発生させた。 UDC画像とその復元モデルに関する広範な研究にもかかわらず、ビデオの研究は未だ明らかにされていない。
• 参考スコア（独自算出の注目度）: 6.669223432319789
• License:
• Abstract: Under Display Camera (UDC) is an advanced imaging system that places a digital camera lens underneath a display panel, effectively concealing the camera. However, the display panel significantly degrades captured images or videos, introducing low transmittance, blur, noise, and flare issues. Tackling such issues is challenging because of the complex degradation of UDCs, including diverse flare patterns. Despite extensive research on UDC images and their restoration models, studies on videos have yet to be significantly explored. While two UDC video datasets exist, they primarily focus on unrealistic or synthetic UDC degradation rather than real-world UDC degradation. In this paper, we propose a real-world UDC video dataset called UDC-VIT. Unlike existing datasets, only UDC-VIT exclusively includes human motions that target facial recognition. We propose a video-capturing system to simultaneously acquire non-degraded and UDC-degraded videos of the same scene. Then, we align a pair of captured videos frame by frame, using discrete Fourier transform (DFT). We compare UDC-VIT with six representative UDC still image datasets and two existing UDC video datasets. Using six deep-learning models, we compare UDC-VIT and an existing synthetic UDC video dataset. The results indicate the ineffectiveness of models trained on earlier synthetic UDC video datasets, as they do not reflect the actual characteristics of UDC-degraded videos. We also demonstrate the importance of effective UDC restoration by evaluating face recognition accuracy concerning PSNR, SSIM, and LPIPS scores. UDC-VIT enables further exploration in the UDC video restoration and offers better insights into the challenge. UDC-VIT is available at our project site.
• Abstract（参考訳）: Under Display Camera(UDC)は、デジタルカメラのレンズをディスプレイパネルの下に配置し、効果的にカメラを隠蔽する高度な撮像システムである。 しかし、ディスプレイパネルはキャプチャされた画像やビデオを著しく劣化させ、透過率、ぼやけ、ノイズ、フレアの問題を発生させる。 このような問題に対処することは、多彩なフレアパターンを含むUDCの複雑な劣化のために困難である。 UDC画像とその復元モデルに関する広範な研究にもかかわらず、ビデオの研究は未だ明らかにされていない。 2つのUDCビデオデータセットが存在するが、それらは主に現実のUDC分解ではなく、非現実的または合成UDC分解に焦点を当てている。 本稿では, UDC-VIT という実世界の UDC ビデオデータセットを提案する。 既存のデータセットとは異なり、UDC-VITは顔認識をターゲットとする人間の動きのみを含む。 同一シーンの非劣化映像とUDC劣化映像を同時に取得するビデオキャプチャシステムを提案する。 次に、離散フーリエ変換(DFT)を用いて、一対の動画フレームをフレーム単位で並べる。 UDC-VITを6つの代表的なUDC静止画像データセットと2つの既存のUDCビデオデータセットと比較した。 6つのディープラーニングモデルを用いて、UDC-VITと既存の合成UDCビデオデータセットを比較した。 以上の結果から, 従来のUDCビデオデータセットでトレーニングしたモデルが, UDC劣化映像の実際の特徴を反映していないことが示唆された。 また,PSNR,SSIM,LPIPSスコアに関する顔認識精度を評価することにより,有効なUDC復元の重要性を示す。 UDC-VITは、UDCビデオ復元のさらなる探索を可能にし、チャレンジに関するより良い洞察を提供する。 UDC-VITは当社のプロジェクトサイトで利用可能です。

関連論文リスト

• AID: Adapting Image2Video Diffusion Models for Instruction-guided Video Prediction [88.70116693750452]
  テキスト誘導ビデオ予測(TVP)は、命令に従って、初期フレームから将来のフレームの動きを予測する。 従来のTVP方式では, 安定拡散法を応用して大きなブレークスルーを達成している。 我々は、初期フレームとテキスト命令に基づいて、将来のビデオ状態を予測するためのMLLM(Multi-Modal Large Language Model)を導入する。
  論文  参考訳（メタデータ） (2024-06-10T17:02:08Z)
• DVANet: Disentangling View and Action Features for Multi-View Action Recognition [56.283944756315066]
  本稿では,学習した行動表現を映像中の視覚関連情報から切り離すための多視点行動認識手法を提案する。 本モデルとトレーニング方法は,4つの多視点行動認識データセットにおいて,他のユニモーダルモデルよりも有意に優れている。
  論文  参考訳（メタデータ） (2023-12-10T01:19:48Z)
• Deep Video Restoration for Under-Display Camera [98.17505013737446]
  本稿では,現実的な UDC 劣化過程をシミュレートする GAN ベースの生成パイプラインを提案する。 我々は PexelsUDC という,最初の大規模 UDC ビデオ復元データセットを構築した。 本稿では,動画の劣化を適応的に改善するトランスフォーマーベースライン手法を提案する。
  論文  参考訳（メタデータ） (2023-09-09T10:48:06Z)
• Blind Face Restoration for Under-Display Camera via Dictionary Guided Transformer [32.06570655576273]
  Under-Display Camera (UDC)は、前面カメラをディスプレイパネルの下に隠してフルスクリーン体験を提供する。 UDC画像はディスプレイの特性によって著しく画質が劣化する。 UDC-DMNetと呼ばれる2段階のUDC分解モデルネットワークを提案し、UDCイメージングの過程をモデル化してUDC画像を合成する。
  論文  参考訳（メタデータ） (2023-08-20T08:02:23Z)
• Generating Aligned Pseudo-Supervision from Non-Aligned Data for Image Restoration in Under-Display Camera [84.41316720913785]
  トレーニングデータ収集のための古典的なステレオセットアップを再考する -- 同じシーンの2つの画像を1つのUDCと1つの標準カメラでキャプチャする。 鍵となるアイデアは、高品質な参照イメージから詳細を"コピー"し、UDCイメージ上でそれらを"ペースト"することです。 トランスフォーマーベースの新しいフレームワークは、対応するUDC入力に対して、整合性はあるが高品質なターゲットデータを生成する。
  論文  参考訳（メタデータ） (2023-04-12T17:56:42Z)
• Video Instance Shadow Detection Under the Sun and Sky [81.95848151121739]
  ViShadowは、半教師付きビデオインスタンスのシャドウ検出フレームワークである。 クロスフレームペアリングのための対照的な学習を通じて、シャドーとオブジェクトインスタンスを識別する。 一時的な消失を管理するための検索機構が導入された。
  論文  参考訳（メタデータ） (2022-11-23T10:20:19Z)
• UDC-UNet: Under-Display Camera Image Restoration via U-Shape Dynamic Network [13.406025621307132]
  Under-Display Camera(UDC)は、スマートフォンがフルスクリーンディスプレイを実現するのを助けるために広く利用されている。 スクリーンは必然的に光伝播プロセスに影響を与えるため、UDCシステムによって撮影された画像にはフレア、ヘイズ、ぼかし、ノイズが含まれている。 本稿では、HDRシーンにおける既知のポイントスプレッド機能(PSF)を用いて、UDC画像復元問題に対処する新しいディープモデル、UDC-UNetを提案する。
  論文  参考訳（メタデータ） (2022-09-05T07:41:44Z)
• Removing Diffraction Image Artifacts in Under-Display Camera via Dynamic Skip Connection Network [80.67717076541956]
  アンダーディスプレイカメラ(UDC)システムは、スマートフォン上で真のベゼルレスおよびノッチフリーの視聴体験を提供します。 典型的なUDCシステムでは、ピクセルアレイはカメラ上の入射光を減衰および回折し、画像品質の大幅な低下をもたらす。 本研究では,前述の劣化問題の解析と対処を目的とする。
  論文  参考訳（メタデータ） (2021-04-19T18:41:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。