論文の概要: Event Fusion Photometric Stereo Network
- arxiv url: http://arxiv.org/abs/2303.00308v1
- Date: Wed, 1 Mar 2023 08:13:26 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-02 15:33:15.678260
- Title: Event Fusion Photometric Stereo Network
- Title(参考訳): event fusionフォトメトリックステレオネットワーク
- Authors: Wonjeong Ryoo, Giljoo Nam, Jae-Sang Hyun, Sangpil Kim
- Abstract要約: 本稿では,RGBとイベントカメラを用いた環境光環境における物体の表面の正常さを推定する新しい手法を提案する。
これは、連続した光源や周囲の光環境における測光ステレオにイベントカメラを使用した最初の研究である。
- 参考スコア(独自算出の注目度): 3.0778023655689144
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: We introduce a novel method to estimate surface normal of an object in an
ambient light environment using RGB and event cameras. Modern photometric
stereo methods rely on RGB cameras in a darkroom to avoid ambient illumination.
To alleviate the limitations of using an RGB camera in a darkroom setting, we
utilize an event camera with high dynamic range and low latency by capturing
essential light information. This is the first study to use event cameras for
photometric stereo in continuous light sources and ambient light environments.
Additionally, we curate a new photometric stereo dataset captured by RGB and
event cameras under various ambient lights. Our proposed framework, Event
Fusion Photometric Stereo Network (EFPS-Net), estimates surface normals using
RGB frames and event signals. EFPS-Net outperforms state-of-the-art methods on
a real-world dataset with ambient lights, demonstrating the effectiveness of
incorporating additional modalities to alleviate limitations caused by ambient
illumination.
- Abstract(参考訳): RGBとイベントカメラを用いた環境光環境下での物体の表面の正常さを推定する新しい手法を提案する。
現代の測光ステレオ法は、周囲の照明を避けるために暗室のRGBカメラに依存している。
暗室環境でRGBカメラを使用する際の制約を軽減するため,本質的な光情報を取得することにより,ダイナミックレンジと低レイテンシのイベントカメラを利用する。
これは、連続光源や環境光環境における測光ステレオにイベントカメラを使用した最初の研究である。
さらに、RGBとイベントカメラで捉えた新しい測光ステレオデータセットを様々な環境光の下でキュレートする。
提案するフレームワークであるEvent Fusion Photometric Stereo Network (EFPS-Net)は,RGBフレームとイベント信号を用いて表面の正規性を推定する。
EFPS-Netは、環境光による制約を軽減するために追加のモダリティを組み込むことの有効性を実証し、実世界のデータセット上で最先端の手法よりも優れている。
関連論文リスト
- Complementing Event Streams and RGB Frames for Hand Mesh Reconstruction [51.87279764576998]
EvRGBHand - イベントカメラとRGBカメラによる3Dハンドメッシュ再構築のための最初のアプローチを提案する。
EvRGBHandは、RGBベースのHMRにおける露出とモーションのぼかしの問題と、イベントベースのHMRにおける前景の不足とバックグラウンドのオーバーフロー問題に対処することができる。
論文 参考訳(メタデータ) (2024-03-12T06:04:50Z) - Chasing Day and Night: Towards Robust and Efficient All-Day Object
Detection Guided by an Event Camera [9.190114955178768]
EOLOは、RGBとイベントモダリティの両方を融合させることで、堅牢で効率的な全日検出を実現する、新しいオブジェクト検出フレームワークである。
我々のEOLOフレームワークは、イベントの非同期特性を効率的に活用するために、軽量スパイキングニューラルネットワーク(SNN)に基づいて構築されている。
論文 参考訳(メタデータ) (2023-09-17T15:14:01Z) - Deformable Neural Radiance Fields using RGB and Event Cameras [65.40527279809474]
我々は,RGBとイベントカメラを用いた変形可能なニューラル放射場をモデル化する新しい手法を開発した。
提案手法は,イベントの非同期ストリームと疎RGBフレームを用いる。
現実的にレンダリングされたグラフィックと実世界のデータセットの両方で実施された実験は、提案手法の有益性を実証している。
論文 参考訳(メタデータ) (2023-09-15T14:19:36Z) - Attentive Multimodal Fusion for Optical and Scene Flow [24.08052492109655]
既存の方法は通常、RGB画像のみに依存するか、後段のモダリティを融合させる。
本稿では,センサモード間の早期情報融合を可能にするFusionRAFTという新しいディープニューラルネットワーク手法を提案する。
提案手法は,RGB画像に影響を及ぼすノイズや低照度条件の存在下での堅牢性の向上を示す。
論文 参考訳(メタデータ) (2023-07-28T04:36:07Z) - Beyond the Pixel: a Photometrically Calibrated HDR Dataset for Luminance
and Color Prediction [0.7456526005219319]
Laval Photometric Indoor HDRデータセットは、高ダイナミックレンジ360degパノラマの大規模な測光校正データセットとしては初めてである。
我々は、RAWブラケットによる露光をプロの測光装置と同時に正確に捕捉することで実現している。
得られたデータセットは屋内シーンの豊かな表現であり、幅広い照度と色、様々な種類の光源を表示する。
論文 参考訳(メタデータ) (2023-04-24T18:10:25Z) - WildLight: In-the-wild Inverse Rendering with a Flashlight [77.31815397135381]
本研究では、未知の環境光下での逆レンダリングのための実用的な測光ソリューションを提案する。
本システムは,スマートフォンで撮影した多視点画像のみを用いて,シーン形状と反射率を復元する。
提案手法は実装が容易で,セットアップも容易で,既存の逆レンダリング技術よりも一貫して優れていることを示す。
論文 参考訳(メタデータ) (2023-03-24T17:59:56Z) - Seeing Through The Noisy Dark: Toward Real-world Low-Light Image
Enhancement and Denoising [125.56062454927755]
現実の低照度環境は通常、光やハードウェアの限界が不足しているため、視界が低く、騒音が重い。
我々は、RLED-Net(Real-world Low-light Enhancement & Denoising Network)と呼ばれる新しいエンドツーエンド手法を提案する。
論文 参考訳(メタデータ) (2022-10-02T14:57:23Z) - Wild ToFu: Improving Range and Quality of Indirect Time-of-Flight Depth
with RGB Fusion in Challenging Environments [56.306567220448684]
本稿では,ノイズの多い生のI-ToF信号とRGB画像を用いた学習に基づくエンド・ツー・エンドの深度予測ネットワークを提案する。
最終深度マップでは,ベースラインアプローチと比較して40%以上のRMSE改善が見られた。
論文 参考訳(メタデータ) (2021-12-07T15:04:14Z) - Spatially and color consistent environment lighting estimation using
deep neural networks for mixed reality [1.1470070927586016]
本稿では,複合現実環境における複雑な照明を推定するためのCNNモデルを提案する。
我々は,RGB画像を入力し,環境照明をリアルタイムで認識する新しいCNNアーキテクチャを提案する。
CNNアーキテクチャは,SH照明係数を比較する際に,平均2乗誤差(MSE)をnum7.85e-04の平均2乗誤差(MSE)で予測できることを示す。
論文 参考訳(メタデータ) (2021-08-17T23:03:55Z) - Multi-View Photometric Stereo: A Robust Solution and Benchmark Dataset
for Spatially Varying Isotropic Materials [65.95928593628128]
多視点光度ステレオ技術を用いて3次元形状と空間的に異なる反射率の両方をキャプチャする手法を提案する。
我々のアルゴリズムは、遠近点光源と遠近点光源に適している。
論文 参考訳(メタデータ) (2020-01-18T12:26:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。