論文の概要: Mask-ToF: Learning Microlens Masks for Flying Pixel Correction in Time-of-Flight Imaging

• arxiv url: http://arxiv.org/abs/2103.16693v1
• Date: Tue, 30 Mar 2021 21:30:26 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-01 14:23:57.441750
• Title: Mask-ToF: Learning Microlens Masks for Flying Pixel Correction in Time-of-Flight Imaging
• Title（参考訳）: mask-tof: 飛行中の画素補正のためのマイクロレンズマスクの学習
• Authors: Ilya Chugunov, Seung-Hwan Baek, Qiang Fu, Wolfgang Heidrich, Felix Heide
• Abstract要約: 飛行時間(ToF)深度キャプチャにおける飛行画素(FP)を低減する手法であるMask-ToFを紹介します。 FPは、オブジェクトとその背景からの光路が開口の上に統合されている深部エッジの周りに発生する広範な人工物です。 Mask-ToFはマイクロレンズレベルの閉塞マスクを学習し、各センサピクセルのカスタム形状のサブアパーチャを効果的に作成します。 我々は,畳み込みニューラルネットワークを共同で訓練し,この情報を復号化し,高忠実度かつ低fp深度の再構成を行う,微分可能なtofシミュレータを開発した。
• 参考スコア（独自算出の注目度）: 46.09238528698229
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce Mask-ToF, a method to reduce flying pixels (FP) in time-of-flight (ToF) depth captures. FPs are pervasive artifacts which occur around depth edges, where light paths from both an object and its background are integrated over the aperture. This light mixes at a sensor pixel to produce erroneous depth estimates, which can adversely affect downstream 3D vision tasks. Mask-ToF starts at the source of these FPs, learning a microlens-level occlusion mask which effectively creates a custom-shaped sub-aperture for each sensor pixel. This modulates the selection of foreground and background light mixtures on a per-pixel basis and thereby encodes scene geometric information directly into the ToF measurements. We develop a differentiable ToF simulator to jointly train a convolutional neural network to decode this information and produce high-fidelity, low-FP depth reconstructions. We test the effectiveness of Mask-ToF on a simulated light field dataset and validate the method with an experimental prototype. To this end, we manufacture the learned amplitude mask and design an optical relay system to virtually place it on a high-resolution ToF sensor. We find that Mask-ToF generalizes well to real data without retraining, cutting FP counts in half.
• Abstract（参考訳）: 本研究では,飛行時間(ToF)深度キャプチャにおけるフライングピクセル(FP)の削減手法であるMask-ToFを紹介する。 FPは、被写体と背景の両方からの光の経路が開口部上で統合される、奥行きの辺りで発生する広汎な人工物である。 この光はセンサーピクセルで混合され、誤った深度推定が生成され、下流の3D視覚タスクに悪影響を及ぼす可能性がある。 Mask-ToFはこれらのFPのソースから始まり、マイクロレンズレベルのオクルージョンマスクを学習し、各センサーのピクセルごとにカスタム形状のサブアパーチャを効果的に生成する。 これにより、画素単位のフォアグラウンドと背景光混合物の選択を変調し、シーン幾何情報をtof測定に直接エンコードする。 我々は,畳み込みニューラルネットワークを共同で訓練し,この情報を復号化し,高忠実度かつ低fp深度の再構成を行う,微分可能なtofシミュレータを開発した。 模擬光電界データセット上でマスクtofの有効性を検証し,実験実験による検証を行った。 そこで本研究では,学習振幅マスクを試作し,高分解能tofセンサに仮想配置する光中継システムを設計する。 Mask-ToFは、再トレーニングせずに実データに対してうまく一般化し、FP数を半減する。

関連論文リスト

• CodedEvents: Optimal Point-Spread-Function Engineering for 3D-Tracking with Event Cameras [12.329357178025205]
  ポイント・スプレッド・ファンクション(PSF)技術は、よく確立された計算イメージング技術である。 我々は既存のフィッシャー位相マスクが静的な点源の局所化に既に最適であることを示す。 次に、既存の設計が点源の追跡に最適であることを示す。
  論文  参考訳（メタデータ） (2024-06-13T17:59:46Z)
• Improving Lens Flare Removal with General Purpose Pipeline and Multiple Light Sources Recovery [69.71080926778413]
  フレアアーティファクトは、画像の視覚的品質と下流のコンピュータビジョンタスクに影響を与える。 現在の方法では、画像信号処理パイプラインにおける自動露光やトーンマッピングは考慮されていない。 本稿では、ISPを再検討し、より信頼性の高い光源回収戦略を設計することで、レンズフレア除去性能を向上させるソリューションを提案する。
  論文  参考訳（メタデータ） (2023-08-31T04:58:17Z)
• Multi-Modal Neural Radiance Field for Monocular Dense SLAM with a Light-Weight ToF Sensor [58.305341034419136]
  単眼カメラと軽量ToFセンサを備えた初の高密度SLAMシステムを提案する。 本稿では,RGBカメラと軽量ToFセンサの両方の信号のレンダリングをサポートするマルチモーダル暗黙のシーン表現を提案する。 実験により,本システムは軽量なToFセンサの信号をうまく利用し,競合的な結果が得られることが示された。
  論文  参考訳（メタデータ） (2023-08-28T07:56:13Z)
• Weakly-Supervised Optical Flow Estimation for Time-of-Flight [11.496094830445054]
  再構成深度に直接光フローネットワークを監視できるトレーニングアルゴリズムを提案する。 本手法により,iToF深度画像における生のiToF測定値の整列と運動成果物の補償を可能にする。
  論文  参考訳（メタデータ） (2022-10-11T09:47:23Z)
• Progressively-connected Light Field Network for Efficient View Synthesis [69.29043048775802]
  本稿では、複雑な前方シーンのビュー合成のためのプログレッシブ・コネクテッド・ライトフィールド・ネットワーク(ProLiF)を提案する。 ProLiFは4Dライトフィールドをエンコードし、画像やパッチレベルの損失に対するトレーニングステップで大量の光線をレンダリングすることができる。
  論文  参考訳（メタデータ） (2022-07-10T13:47:20Z)
• Layered Depth Refinement with Mask Guidance [61.10654666344419]
  汎用マスクを用いてSIDEモデルの深度予測を洗練させるマスク誘導深度改善の新しい問題を定式化する。 本フレームワークは,奥行きマップをマスクと逆マスクで表される2つの別々の層に分解し,層状改質・塗装・塗装を行う。 本手法は,内面境界領域と外面境界領域の深度を正確に補正し,異なる種類のマスクや初期深度予測に対して堅牢であることを示す。
  論文  参考訳（メタデータ） (2022-06-07T06:42:44Z)
• End-to-end Learning for Joint Depth and Image Reconstruction from Diffracted Rotation [10.896567381206715]
  回折回転から深度を学習する新しいエンド・ツー・エンド学習手法を提案する。 提案手法は, 単分子深度推定のタスクにおいて既存の手法よりもはるかに少ない複雑なモデルと少ないトレーニングデータを必要とする。
  論文  参考訳（メタデータ） (2022-04-14T16:14:37Z)
• Facial Depth and Normal Estimation using Single Dual-Pixel Camera [81.02680586859105]
  DP指向のDepth/Normalネットワークを導入し,3次元顔形状を再構成する。 これは、メートル法スケールでの深度マップと表面正規を含む、対応する地上3次元モデルを含んでいる。 近年のDPベース深度/正規推定法で最先端の性能を実現している。
  論文  参考訳（メタデータ） (2021-11-25T05:59:27Z)
• A Simple Framework for 3D Lensless Imaging with Programmable Masks [37.35255907261072]
  本稿では,プログラム可能なマスク上の異なるパターンを用いて,少数の計測値をキャプチャするレンズレスイメージングシステムを提案する。 まず,シーン内の一定数の深さ面上のテクスチャを復元する高速回復アルゴリズムを提案する。 第二に、プログラマブルレンズレスカメラにおけるマスク設計問題について検討し、マスクパターンを最適化するための設計テンプレートを提供する。 第3に、再構築後のアーティファクトを特定し、削除するための後処理のステップとして、精細化ネットワークを使用します。
  論文  参考訳（メタデータ） (2021-08-18T04:05:33Z)
• CodedStereo: Learned Phase Masks for Large Depth-of-field Stereo [24.193656749401075]
  従来のステレオは、画像量と信号対雑音比の基本的なトレードオフに悩まされている。 本稿では,この制限を克服する新たなエンドツーエンド学習手法を提案する。 シミュレーションで画像化できる体積の6倍の増加を示します。
  論文  参考訳（メタデータ） (2021-04-09T23:44:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。