論文の概要: Video Frame Interpolation for Polarization via Swin-Transformer
- arxiv url: http://arxiv.org/abs/2406.11371v1
- Date: Mon, 17 Jun 2024 09:48:54 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-18 15:21:39.123407
- Title: Video Frame Interpolation for Polarization via Swin-Transformer
- Title(参考訳): スウィントランスによる分極用ビデオフレーム補間
- Authors: Feng Huang, Xin Zhang, Yixuan Xu, Xuesong Wang, Xianyu Wu,
- Abstract要約: ビデオフレーム補間 (VFI) は広く研究され、実証されてきたが、偏光への応用は未解明のままである。
本研究では,Swin-Transformerに基づくマルチステージ・マルチスケールネットワークSwin-VFIを提案する。
実験の結果,全てのタスクにおいて,提案手法の再現精度が優れていることが示された。
- 参考スコア(独自算出の注目度): 9.10220649654041
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Video Frame Interpolation (VFI) has been extensively explored and demonstrated, yet its application to polarization remains largely unexplored. Due to the selective transmission of light by polarized filters, longer exposure times are typically required to ensure sufficient light intensity, which consequently lower the temporal sample rates. Furthermore, because polarization reflected by objects varies with shooting perspective, focusing solely on estimating pixel displacement is insufficient to accurately reconstruct the intermediate polarization. To tackle these challenges, this study proposes a multi-stage and multi-scale network called Swin-VFI based on the Swin-Transformer and introduces a tailored loss function to facilitate the network's understanding of polarization changes. To ensure the practicality of our proposed method, this study evaluates its interpolated frames in Shape from Polarization (SfP) and Human Shape Reconstruction tasks, comparing them with other state-of-the-art methods such as CAIN, FLAVR, and VFIT. Experimental results demonstrate our approach's superior reconstruction accuracy across all tasks.
- Abstract(参考訳): ビデオフレーム補間 (VFI) は広く研究され、実証されてきたが、偏光への応用は未解明のままである。
偏光フィルターによる光の選択的透過のため、十分な光強度を確保するためには通常、長時間の露光が要求されるため、時間サンプルレートは低下する。
さらに、被写体が反射する偏光は撮影視点によって変化するため、中間偏光を正確に再構成するには画素変位の推定のみに焦点を当てるには不十分である。
これらの課題に対処するため,Swin-Transformerをベースとしたマルチステージ・マルチスケールネットワークSwin-VFIを提案し,ネットワークの偏光変化の理解を容易にするためのカスタマイズされた損失関数を提案する。
提案手法の実用性を確保するため,本研究は,CAIN,FLAVR,VFITなどの最先端技術と比較し,SfPと人体形状再構成タスクの補間フレームを評価する。
実験の結果,全てのタスクにおいて,提案手法の再現精度が優れていることが示された。
関連論文リスト
- SS-SfP:Neural Inverse Rendering for Self Supervised Shape from (Mixed) Polarization [21.377923666134116]
偏光の形状 (SfP) は偏光の形状 (SfP) として知られる問題である。
単視点偏光画像から物体やシーンの3次元形状(画素表面の正規度と深さ)を推定する逆レンダリングに基づく新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2024-07-12T14:29:00Z) - Incorporating Degradation Estimation in Light Field Spatial Super-Resolution [54.603510192725786]
本稿では,多種多様な劣化型を扱うために,明示的な劣化推定を組み込んだ効果的なブラインド光場SR法LF-DESTを提案する。
ベンチマークデータセットに対する広範な実験を行い、光場SRにおける様々な劣化シナリオにおいてLF-DESTが優れた性能を発揮することを示した。
論文 参考訳(メタデータ) (2024-05-11T13:14:43Z) - Robust Depth Enhancement via Polarization Prompt Fusion Tuning [112.88371907047396]
様々な深度センサによる不正確な深度測定を改善するために偏光イメージングを利用するフレームワークを提案する。
まず、偏光データとセンサ深度マップから高密度で完全な深度マップを推定するために、ニューラルネットワークを訓練した学習ベースの戦略を採用する。
大規模データセット上で事前学習したRGBモデルを有効に活用するためのPPFT(Polarization Prompt Fusion Tuning)戦略を提案する。
論文 参考訳(メタデータ) (2024-04-05T17:55:33Z) - Learning to Deblur Polarized Images [15.415804124776846]
偏光カメラは、1枚のショットで異なる偏光子角度で4つの偏光画像をキャプチャすることができる。
捕捉した偏光画像から直接、偏光度(DoP)と偏光角度(AoP)を直接計算することができる。
そこで本研究では,偏光を意識してこの問題を解決するために,偏光画像デブロアリングパイプラインを提案する。
論文 参考訳(メタデータ) (2024-02-28T07:56:28Z) - NeISF: Neural Incident Stokes Field for Geometry and Material Estimation [50.588983686271284]
多視点逆レンダリングは、異なる視点で撮影された一連の画像から形状、材料、照明などのシーンパラメータを推定する問題である。
本稿では,偏光手がかりを用いた曖昧さを低減する多視点逆フレームワークNeISFを提案する。
論文 参考訳(メタデータ) (2023-11-22T06:28:30Z) - Improving Lens Flare Removal with General Purpose Pipeline and Multiple
Light Sources Recovery [69.71080926778413]
フレアアーティファクトは、画像の視覚的品質と下流のコンピュータビジョンタスクに影響を与える。
現在の方法では、画像信号処理パイプラインにおける自動露光やトーンマッピングは考慮されていない。
本稿では、ISPを再検討し、より信頼性の高い光源回収戦略を設計することで、レンズフレア除去性能を向上させるソリューションを提案する。
論文 参考訳(メタデータ) (2023-08-31T04:58:17Z) - PARTNER: Level up the Polar Representation for LiDAR 3D Object Detection [81.16859686137435]
本稿では、極座標における新しい3次元物体検出器Partnerを紹介する。
提案手法は,ONCE検証セットにおいて3.68%,9.15%の差で従来の極性理論よりも優れていた。
論文 参考訳(メタデータ) (2023-08-08T01:59:20Z) - Polarized Color Image Denoising using Pocoformer [42.171036556122644]
偏光カラー写真は、視覚的なテクスチャと1枚のスナップショットで対象のサージカル情報の両方を提供する。
指向性偏光フィルタアレイを用いることで、従来のカラー画像に比べて光子数とSNRが極めて低い。
クリーンな信号と正確な分極情報を同時に復元する学習に基づく手法を提案する。
論文 参考訳(メタデータ) (2022-07-01T05:52:14Z) - Transparent Shape from a Single View Polarization Image [6.18278691318801]
本稿では,一視点偏光画像から透明表面を推定する学習手法を提案する。
従来の偏光法(SfP)法では、固有の透過干渉が物理に基づく事前の信頼性を大幅に低下させるため、透明な形状を推定することが困難である。
論文 参考訳(メタデータ) (2022-04-13T12:24:32Z) - Shape from Polarization for Complex Scenes in the Wild [93.65746187211958]
単一偏光画像からシーンレベルの正規推定を行うために,物理量に基づく新しいデータ駆動手法を提案する。
実世界のシーンレベルのSfPデータセットに、ペア化された入力偏光画像と接地トラス正規地図をコントリビュートする。
我々の訓練されたモデルは、偏光と表面の正常値の関係が距離に影響されないため、遠距離場屋外シーンに一般化することができる。
論文 参考訳(メタデータ) (2021-12-21T17:30:23Z) - Monochrome and Color Polarization Demosaicking Using Edge-Aware Residual
Interpolation [14.5106375775521]
マイクログリッド画像偏光計により、一ショットで一組の偏光画像を取得することができる。
偏光度計は、モノクロまたはカラー偏光フィルタアレイを備えた画像センサからなるため、欠落した画素値を補間する復光処理は、高品質な偏光画像を得る上で重要な役割を果たす。
本稿では、エッジ認識残差(EARI)に基づく新しいMPFA復号法を提案し、CPFA復号法に拡張する。
論文 参考訳(メタデータ) (2020-07-28T15:04:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。