論文の概要: CodedEvents: Optimal Point-Spread-Function Engineering for 3D-Tracking with Event Cameras
- arxiv url: http://arxiv.org/abs/2406.09409v1
- Date: Thu, 13 Jun 2024 17:59:46 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-14 15:56:26.608487
- Title: CodedEvents: Optimal Point-Spread-Function Engineering for 3D-Tracking with Event Cameras
- Title（参考訳）: CodedEvents: イベントカメラを用いた3Dトラックのための最適ポイント・スプレッド・ファンクションエンジニアリング
- Authors: Sachin Shah, Matthew Albert Chan, Haoming Cai, Jingxi Chen, Sakshum Kulshrestha, Chahat Deep Singh, Yiannis Aloimonos, Christopher Metzler,
- Abstract要約: ポイント・スプレッド・ファンクション(PSF)技術は、よく確立された計算イメージング技術である。
我々は既存のフィッシャー位相マスクが静的な点源の局所化に既に最適であることを示す。
次に、既存の設計が点源の追跡に最適であることを示す。
- 参考スコア（独自算出の注目度）: 12.329357178025205
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Point-spread-function (PSF) engineering is a well-established computational imaging technique that uses phase masks and other optical elements to embed extra information (e.g., depth) into the images captured by conventional CMOS image sensors. To date, however, PSF-engineering has not been applied to neuromorphic event cameras; a powerful new image sensing technology that responds to changes in the log-intensity of light. This paper establishes theoretical limits (Cram\'er Rao bounds) on 3D point localization and tracking with PSF-engineered event cameras. Using these bounds, we first demonstrate that existing Fisher phase masks are already near-optimal for localizing static flashing point sources (e.g., blinking fluorescent molecules). We then demonstrate that existing designs are sub-optimal for tracking moving point sources and proceed to use our theory to design optimal phase masks and binary amplitude masks for this task. To overcome the non-convexity of the design problem, we leverage novel implicit neural representation based parameterizations of the phase and amplitude masks. We demonstrate the efficacy of our designs through extensive simulations. We also validate our method with a simple prototype.
- Abstract（参考訳）: ポイント・スプレッド・ファンクション(PSF)技術(英: Point-spread-function)は、位相マスクやその他の光学素子を用いて、従来のCMOSイメージセンサで捉えた画像に余分な情報(例えば深さ)を埋め込む、よく確立された計算イメージング技術である。
しかし、これまでPSFエンジニアリングは、光の対数強度の変化に対応する強力な画像センシング技術であるニューロモルフィックなイベントカメラには適用されなかった。
本稿では,PSF搭載イベントカメラによる3次元点位置定位と追跡に関する理論的限界(Cram\'er Rao bounds)を確立する。
これらの境界を用いて、既存のフィッシャー相マスクは、蛍光分子を点滅させる静的点源(例えば、点滅する蛍光分子)の局在化に既に最適であることを示す。
そして,既存の設計が移動点源の追跡に最適であることを示すとともに,この課題に最適な位相マスクと2値振幅マスクを設計するために我々の理論を利用する。
設計問題の非凸性を克服するために、位相と振幅マスクの暗黙的ニューラル表現に基づくパラメータ化を利用する。
広範囲なシミュレーションにより, 設計の有効性を実証する。
また,本手法を簡単なプロトタイプで検証する。
関連論文リスト
- Joint 3D Shape and Motion Estimation from Rolling Shutter Light-Field
Images [2.0277446818410994]
本研究では,ローリングシャッターセンサを備えた光界カメラで撮影した1枚の画像からシーンを3次元再構成する手法を提案する。
本手法は、光場に存在する3次元情報キューと、ローリングシャッター効果によって提供される動き情報を利用する。
本稿では,このセンサの撮像プロセスの汎用モデルと再投射誤差を最小化する2段階アルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-11-02T15:08:18Z) - Multi-Modal Neural Radiance Field for Monocular Dense SLAM with a
Light-Weight ToF Sensor [58.305341034419136]
単眼カメラと軽量ToFセンサを備えた初の高密度SLAMシステムを提案する。
本稿では,RGBカメラと軽量ToFセンサの両方の信号のレンダリングをサポートするマルチモーダル暗黙のシーン表現を提案する。
実験により,本システムは軽量なToFセンサの信号をうまく利用し,競合的な結果が得られることが示された。
論文 参考訳（メタデータ） (2023-08-28T07:56:13Z) - Real-Time Radiance Fields for Single-Image Portrait View Synthesis [85.32826349697972]
本研究では,1つの未提示画像からリアルタイムに3D表現を推測・描画するワンショット手法を提案する。
一つのRGB入力が与えられた場合、画像エンコーダは、ボリュームレンダリングによる3次元新規ビュー合成のためのニューラルラディアンスフィールドの標準三面体表現を直接予測する。
提案手法は消費者ハードウェア上で高速(24fps)であり,テスト時間最適化を必要とする強力なGAN反転ベースラインよりも高品質な結果が得られる。
論文 参考訳（メタデータ） (2023-05-03T17:56:01Z) - TiDy-PSFs: Computational Imaging with Time-Averaged Dynamic
Point-Spread-Functions [10.098114696565865]
ポイント・スプレッド・ファンクション(PSF)技術は、カスタムフェーズマスクを光学系に統合し、付加情報をキャプチャー画像にエンコードする強力な計算イメージング技術である。
空間光変調器(SLM)技術の最近の進歩に触発されて、この論文は自然な疑問に答えている。
シミュレーションでは、時間平均の動的(TiDy)位相マスクにより、単分子深度推定と拡大深度撮像性能が大幅に向上できることが示される。
論文 参考訳（メタデータ） (2023-03-30T17:51:07Z) - LWGNet: Learned Wirtinger Gradients for Fourier Ptychographic Phase
Retrieval [14.588976801396576]
本稿では,フォワードイメージングシステムの知識と深層データ駆動ネットワークを組み合わせたハイブリッドモデル駆動残差ネットワークを提案する。
従来のアンローリング技術とは異なり、LWGNetは従来のディープ・ラーニング・テクニックよりも少ない段数しか使用していない。
この低ビット深度・低コストセンサの性能向上は、FPM撮像装置のコストを大幅に下げる可能性がある。
論文 参考訳（メタデータ） (2022-08-08T17:22:54Z) - Progressively-connected Light Field Network for Efficient View Synthesis [69.29043048775802]
本稿では、複雑な前方シーンのビュー合成のためのプログレッシブ・コネクテッド・ライトフィールド・ネットワーク(ProLiF)を提案する。
ProLiFは4Dライトフィールドをエンコードし、画像やパッチレベルの損失に対するトレーニングステップで大量の光線をレンダリングすることができる。
論文 参考訳（メタデータ） (2022-07-10T13:47:20Z) - PREF: Phasorial Embedding Fields for Compact Neural Representations [54.44527545923917]
本稿では,脳神経信号モデリングと再構成作業を容易にするためのコンパクトな表現として,ファサール埋め込みフィールドemphPREFを提案する。
実験の結果,PreFをベースとしたニューラル信号処理技術は,2次元画像補完,3次元SDF表面回帰,5次元放射野再構成と同等であることがわかった。
論文 参考訳（メタデータ） (2022-05-26T17:43:03Z) - Mask-ToF: Learning Microlens Masks for Flying Pixel Correction in
Time-of-Flight Imaging [46.09238528698229]
飛行時間(ToF)深度キャプチャにおける飛行画素(FP)を低減する手法であるMask-ToFを紹介します。
FPは、オブジェクトとその背景からの光路が開口の上に統合されている深部エッジの周りに発生する広範な人工物です。
Mask-ToFはマイクロレンズレベルの閉塞マスクを学習し、各センサピクセルのカスタム形状のサブアパーチャを効果的に作成します。
我々は,畳み込みニューラルネットワークを共同で訓練し,この情報を復号化し,高忠実度かつ低fp深度の再構成を行う,微分可能なtofシミュレータを開発した。
論文 参考訳（メタデータ） (2021-03-30T21:30:26Z) - Optical Flow Estimation from a Single Motion-blurred Image [66.2061278123057]
画像内の動きのぼかしは、基本的なコンピュータビジョンの問題に実用的な関心を持つ可能性があります。
本研究では,単一動画像からの光流れをエンドツーエンドで推定する新しい枠組みを提案する。
論文 参考訳（メタデータ） (2021-03-04T12:45:18Z) - Learning an optimal PSF-pair for ultra-dense 3D localization microscopy [33.20228745456316]
複数粒子追跡における長年の課題は、近接した個々の粒子の正確な3次元局在化である。
スナップショット3Dイメージングのための確立されたアプローチの1つはポイント・スプレッド・ファンクション(PSF)エンジニアリングであり、PSFは軸情報を符号化するために修正される。
ここでは,複数のPSFを同時に使用してこの問題を克服し,高密度3次元ローカライゼーションのための複数のPSFの工学的課題を考察する。
論文 参考訳（メタデータ） (2020-09-29T20:54:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。