論文の概要: Video Frame Interpolation for Polarization via Swin-Transformer
- arxiv url: http://arxiv.org/abs/2406.11371v1
- Date: Mon, 17 Jun 2024 09:48:54 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-18 15:21:39.123407
- Title: Video Frame Interpolation for Polarization via Swin-Transformer
- Title（参考訳）: スウィントランスによる分極用ビデオフレーム補間
- Authors: Feng Huang, Xin Zhang, Yixuan Xu, Xuesong Wang, Xianyu Wu,
- Abstract要約: ビデオフレーム補間 (VFI) は広く研究され、実証されてきたが、偏光への応用は未解明のままである。
本研究では,Swin-Transformerに基づくマルチステージ・マルチスケールネットワークSwin-VFIを提案する。
実験の結果,全てのタスクにおいて,提案手法の再現精度が優れていることが示された。
- 参考スコア（独自算出の注目度）: 9.10220649654041
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Video Frame Interpolation (VFI) has been extensively explored and demonstrated, yet its application to polarization remains largely unexplored. Due to the selective transmission of light by polarized filters, longer exposure times are typically required to ensure sufficient light intensity, which consequently lower the temporal sample rates. Furthermore, because polarization reflected by objects varies with shooting perspective, focusing solely on estimating pixel displacement is insufficient to accurately reconstruct the intermediate polarization. To tackle these challenges, this study proposes a multi-stage and multi-scale network called Swin-VFI based on the Swin-Transformer and introduces a tailored loss function to facilitate the network's understanding of polarization changes. To ensure the practicality of our proposed method, this study evaluates its interpolated frames in Shape from Polarization (SfP) and Human Shape Reconstruction tasks, comparing them with other state-of-the-art methods such as CAIN, FLAVR, and VFIT. Experimental results demonstrate our approach's superior reconstruction accuracy across all tasks.
- Abstract（参考訳）: ビデオフレーム補間 (VFI) は広く研究され、実証されてきたが、偏光への応用は未解明のままである。
偏光フィルターによる光の選択的透過のため、十分な光強度を確保するためには通常、長時間の露光が要求されるため、時間サンプルレートは低下する。
さらに、被写体が反射する偏光は撮影視点によって変化するため、中間偏光を正確に再構成するには画素変位の推定のみに焦点を当てるには不十分である。
これらの課題に対処するため,Swin-Transformerをベースとしたマルチステージ・マルチスケールネットワークSwin-VFIを提案し,ネットワークの偏光変化の理解を容易にするためのカスタマイズされた損失関数を提案する。
提案手法の実用性を確保するため,本研究は,CAIN,FLAVR,VFITなどの最先端技術と比較し,SfPと人体形状再構成タスクの補間フレームを評価する。
実験の結果,全てのタスクにおいて,提案手法の再現精度が優れていることが示された。
関連論文リスト
- Generalizable Non-Line-of-Sight Imaging with Learnable Physical Priors [52.195637608631955]
非視線画像(NLOS)は、その潜在的な応用により注目されている。
既存のNLOS再構成アプローチは、経験的物理的前提に依存して制約される。
本稿では,Learningable Path Compensation(LPC)とAdaptive Phasor Field(APF)の2つの主要な設計を含む,学習に基づく新しいソリューションを提案する。
論文 参考訳（メタデータ） (2024-09-21T04:39:45Z) - Deep Learning Based Speckle Filtering for Polarimetric SAR Images. Application to Sentinel-1 [51.404644401997736]
本稿では、畳み込みニューラルネットワークを用いて偏光SAR画像のスペックルを除去するための完全なフレームワークを提案する。
実験により,提案手法はスペックル低減と分解能保存の両方において例外的な結果をもたらすことが示された。
論文 参考訳（メタデータ） (2024-08-28T10:07:17Z) - SS-SfP:Neural Inverse Rendering for Self Supervised Shape from (Mixed) Polarization [21.377923666134116]
偏光の形状 (SfP) は偏光の形状 (SfP) として知られる問題である。
単視点偏光画像から物体やシーンの3次元形状(画素表面の正規度と深さ)を推定する逆レンダリングに基づく新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2024-07-12T14:29:00Z) - Robust Depth Enhancement via Polarization Prompt Fusion Tuning [112.88371907047396]
様々な深度センサによる不正確な深度測定を改善するために偏光イメージングを利用するフレームワークを提案する。
まず、偏光データとセンサ深度マップから高密度で完全な深度マップを推定するために、ニューラルネットワークを訓練した学習ベースの戦略を採用する。
大規模データセット上で事前学習したRGBモデルを有効に活用するためのPPFT(Polarization Prompt Fusion Tuning)戦略を提案する。
論文 参考訳（メタデータ） (2024-04-05T17:55:33Z) - Learning to Deblur Polarized Images [15.415804124776846]
偏光カメラは、1枚のショットで異なる偏光子角度で4つの偏光画像をキャプチャすることができる。
捕捉した偏光画像から直接、偏光度(DoP)と偏光角度(AoP)を直接計算することができる。
そこで本研究では,偏光を意識してこの問題を解決するために,偏光画像デブロアリングパイプラインを提案する。
論文 参考訳（メタデータ） (2024-02-28T07:56:28Z) - NeISF: Neural Incident Stokes Field for Geometry and Material Estimation [50.588983686271284]
多視点逆レンダリングは、異なる視点で撮影された一連の画像から形状、材料、照明などのシーンパラメータを推定する問題である。
本稿では,偏光手がかりを用いた曖昧さを低減する多視点逆フレームワークNeISFを提案する。
論文 参考訳（メタデータ） (2023-11-22T06:28:30Z) - PARTNER: Level up the Polar Representation for LiDAR 3D Object Detection [81.16859686137435]
本稿では、極座標における新しい3次元物体検出器Partnerを紹介する。
提案手法は,ONCE検証セットにおいて3.68%,9.15%の差で従来の極性理論よりも優れていた。
論文 参考訳（メタデータ） (2023-08-08T01:59:20Z) - Polarized Color Image Denoising using Pocoformer [42.171036556122644]
偏光カラー写真は、視覚的なテクスチャと1枚のスナップショットで対象のサージカル情報の両方を提供する。
指向性偏光フィルタアレイを用いることで、従来のカラー画像に比べて光子数とSNRが極めて低い。
クリーンな信号と正確な分極情報を同時に復元する学習に基づく手法を提案する。
論文 参考訳（メタデータ） (2022-07-01T05:52:14Z) - Transparent Shape from a Single View Polarization Image [6.18278691318801]
本稿では,一視点偏光画像から透明表面を推定する学習手法を提案する。
従来の偏光法(SfP)法では、固有の透過干渉が物理に基づく事前の信頼性を大幅に低下させるため、透明な形状を推定することが困難である。
論文 参考訳（メタデータ） (2022-04-13T12:24:32Z) - Shape from Polarization for Complex Scenes in the Wild [93.65746187211958]
単一偏光画像からシーンレベルの正規推定を行うために,物理量に基づく新しいデータ駆動手法を提案する。
実世界のシーンレベルのSfPデータセットに、ペア化された入力偏光画像と接地トラス正規地図をコントリビュートする。
我々の訓練されたモデルは、偏光と表面の正常値の関係が距離に影響されないため、遠距離場屋外シーンに一般化することができる。
論文 参考訳（メタデータ） (2021-12-21T17:30:23Z) - Monochrome and Color Polarization Demosaicking Using Edge-Aware Residual
Interpolation [14.5106375775521]
マイクログリッド画像偏光計により、一ショットで一組の偏光画像を取得することができる。
偏光度計は、モノクロまたはカラー偏光フィルタアレイを備えた画像センサからなるため、欠落した画素値を補間する復光処理は、高品質な偏光画像を得る上で重要な役割を果たす。
本稿では、エッジ認識残差(EARI)に基づく新しいMPFA復号法を提案し、CPFA復号法に拡張する。
論文 参考訳（メタデータ） (2020-07-28T15:04:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。