論文の概要: Neural 360$^\circ$ Structured Light with Learned Metasurfaces
- arxiv url: http://arxiv.org/abs/2306.13361v1
- Date: Fri, 23 Jun 2023 08:27:32 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-26 13:27:15.686466
- Title: Neural 360$^\circ$ Structured Light with Learned Metasurfaces
- Title（参考訳）: 学習した準曲面を持つニューラル360$^\circ$構造光
- Authors: Eunsue Choi, Gyeongtae Kim, Jooyeong Yun, Yujin Jeon, Junseok Rho,
Seung-Hwan Baek
- Abstract要約: 我々は、学習した準曲面によって駆動されるニューラル360$$構造化光を提示する。
我々はホログラフィック光投影と3Dイメージングにニューラル360ドル(約3万3000円)の構造化光を利用した。
- 参考スコア（独自算出の注目度）: 6.687571760931076
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Structured light has proven instrumental in 3D imaging, LiDAR, and
holographic light projection. Metasurfaces, comprised of sub-wavelength-sized
nanostructures, facilitate 180$^\circ$ field-of-view (FoV) structured light,
circumventing the restricted FoV inherent in traditional optics like
diffractive optical elements. However, extant metasurface-facilitated
structured light exhibits sub-optimal performance in downstream tasks, due to
heuristic pattern designs such as periodic dots that do not consider the
objectives of the end application. In this paper, we present neural 360$^\circ$
structured light, driven by learned metasurfaces. We propose a differentiable
framework, that encompasses a computationally-efficient 180$^\circ$ wave
propagation model and a task-specific reconstructor, and exploits both
transmission and reflection channels of the metasurface. Leveraging a
first-order optimizer within our differentiable framework, we optimize the
metasurface design, thereby realizing neural 360$^\circ$ structured light. We
have utilized neural 360$^\circ$ structured light for holographic light
projection and 3D imaging. Specifically, we demonstrate the first 360$^\circ$
light projection of complex patterns, enabled by our propagation model that can
be computationally evaluated 50,000$\times$ faster than the Rayleigh-Sommerfeld
propagation. For 3D imaging, we improve depth-estimation accuracy by
5.09$\times$ in RMSE compared to the heuristically-designed structured light.
Neural 360$^\circ$ structured light promises robust 360$^\circ$ imaging and
display for robotics, extended-reality systems, and human-computer
interactions.
- Abstract（参考訳）: 構造光は3Dイメージング、LiDAR、ホログラム光投射に役立っていることが証明されている。
準波長サイズのナノ構造からなる準曲面は180$^\circ$ field-of-view (FoV) 構造光を促進し、回折光学素子のような従来の光学系に固有の制限されたFoVを回避する。
しかし、現存するメタサーフェスフェシリット構造光は、エンドアプリケーションの目的を考慮しない周期ドットのようなヒューリスティックなパターン設計のため、下流タスクにおいて副最適性能を示す。
本稿では,学習した準曲面によって駆動されるニューラル360$^\circ$構造光について述べる。
本稿では,計算効率が180$^\circ$の波動伝播モデルとタスク固有の再構成器を包含する微分可能な枠組みを提案し,メタサーフェスの透過チャネルと反射チャネルの両方を利用する。
微分可能なフレームワーク内での1次オプティマイザを活用することで、準曲面設計を最適化し、ニューラルな360$^\circ$構造光を実現する。
我々はホログラフィック光投影と3次元イメージングにニューラル360$^\circ$構造光を利用した。
具体的には,rayleigh-sommerfeld伝播よりも5万ドル高速で計算的に評価可能な伝播モデルにより,複素パターンの最初の360$^\circ$光投射を実証する。
3次元イメージングでは、ヒューリスティックに設計された構造化光と比較して、rmseの深さ推定精度を5.9$\times$で向上する。
neural 360$^\circ$ structured lightは、ロボティクス、拡張現実システム、人間とコンピュータのインタラクションのためのロバストな360$^\circ$画像とディスプレイを約束する。
関連論文リスト
- RNG: Relightable Neural Gaussians [19.197099019727826]
RNGは、楽しいガウスの斬新な表現である。
本稿では,ニューラル3DGSフレームワーク下での影の深度改善ネットワークを提案する。
トレーニングで約20ドル、レンダリングで約600ドル、以前の作業よりも高速です。
論文 参考訳（メタデータ） (2024-09-29T13:32:24Z) - GS-Phong: Meta-Learned 3D Gaussians for Relightable Novel View Synthesis [63.5925701087252]
本稿では,3次元ガウス点の集合を用いて,点光で照らされたシーンを表現する手法を提案する。
Blinn-Phongモデルにインスパイアされた我々の手法は、シーンを周囲、拡散、および特異成分に分解する。
照明条件に依存しない幾何学的情報の分解を容易にするため,新しい二段階最適化に基づくメタラーニングフレームワークを提案する。
論文 参考訳（メタデータ） (2024-05-31T13:48:54Z) - Dispersed Structured Light for Hyperspectral 3D Imaging [39.23448863407426]
分散構造光(DSL)は、高精度なハイパースペクトル3次元イメージングのためのコスト効率が高くコンパクトな方法である。
DSLは18.8nmの半ミリのスペクトル精度と1mmの深さ誤差を達成している。
論文 参考訳（メタデータ） (2023-11-30T06:45:52Z) - Phase Guided Light Field for Spatial-Depth High Resolution 3D Imaging [36.208109063579066]
3Dイメージングでは、光界カメラは通常単発で、空間解像度と深度精度の低下に悩まされる。
そこで本研究では,オフザシェルフ光場カメラの空間分解能と深度を両立させる位相誘導光場アルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-11-17T15:08:15Z) - Spatiotemporally Consistent HDR Indoor Lighting Estimation [66.26786775252592]
本研究では,屋内照明推定問題を解決するための物理動機付きディープラーニングフレームワークを提案する。
深度マップを用いた1枚のLDR画像から,任意の画像位置における空間的に一貫した照明を予測できる。
我々のフレームワークは、最先端の単一画像やビデオベースの手法と比較して、高画質で光リアリスティック照明予測を実現する。
論文 参考訳（メタデータ） (2023-05-07T20:36:29Z) - Multi-Space Neural Radiance Fields [74.46513422075438]
既存のニューラルレージアンス場(NeRF)法は反射物体の存在に悩まされている。
並列部分空間における特徴場の群を用いてシーンを表現するマルチスペースニューラルレイディアンス場(MS-NeRF)を提案する。
提案手法は,高品質シーンのレンダリングにおいて,既存の単一空間NeRF法よりも優れていた。
論文 参考訳（メタデータ） (2023-05-07T13:11:07Z) - NeuralLift-360: Lifting An In-the-wild 2D Photo to A 3D Object with
360{\deg} Views [77.93662205673297]
本研究では,1枚の画像を3Dオブジェクトに持ち上げるという課題について検討する。
所定の参照画像とよく一致する360度ビューを持つ可視3Dオブジェクトを生成する能力を示す。
本稿では,深度を考慮した放射率表現を用いたニューラルLift-360という新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2022-11-29T17:59:06Z) - 360FusionNeRF: Panoramic Neural Radiance Fields with Joint Guidance [6.528382036284374]
ニューラル放射場(NeRF)に基づくパノラマ画像から360円の新規なビューを合成する方法を提案する。
トレーニングプロセスの指導に幾何学的監督と意味的整合性を導入するための半教師付き学習フレームワークである360FusionNeRFを提案する。
論文 参考訳（メタデータ） (2022-09-28T17:30:53Z) - Novel Light Field Imaging Device with Enhanced Light Collection for Cold
Atom Clouds [0.2012378666405002]
単発で物体の複数のビューを撮影する光場イメージングシステムを提案する。
システムは、$mathcalO$(100 $mu$m)サイズのオブジェクトのシングルショットトモグラフィーを可能にする
Prototypeは、$mathcalO$(100 $mu$m)サイズのオブジェクトのイメージを取るために使用され、シングルショットイメージ上で動作する3D再構成アルゴリズムは、内部機能の再構築に成功している。
論文 参考訳（メタデータ） (2022-05-23T17:32:44Z) - Light Field Networks: Neural Scene Representations with
Single-Evaluation Rendering [60.02806355570514]
2次元観察から3Dシーンの表現を推定することは、コンピュータグラフィックス、コンピュータビジョン、人工知能の基本的な問題である。
そこで我々は,360度4次元光場における基礎となる3次元シーンの形状と外観の両面を表現した新しいニューラルシーン表現,光場ネットワーク(LFN)を提案する。
LFNからレイをレンダリングするには*single*ネットワークの評価しか必要としない。
論文 参考訳（メタデータ） (2021-06-04T17:54:49Z) - Lighting, Reflectance and Geometry Estimation from 360$^{\circ}$
Panoramic Stereo [88.14090671267907]
本研究では,360$circ$ステレオ画像から高精細な空間変動照明,反射率,形状を推定する手法を提案する。
我々のモデルは、360$circ$入力を利用して、幾何学的詳細でシーン全体を観察し、物理的制約でシーンのプロパティを共同で推定する。
論文 参考訳（メタデータ） (2021-04-20T10:41:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。