論文の概要: Neural Distortion Fields for Spatial Calibration of Wide Field-of-View Near-Eye Displays

• arxiv url: http://arxiv.org/abs/2210.12389v1
• Date: Sat, 22 Oct 2022 08:48:31 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-25 21:54:31.598583
• Title: Neural Distortion Fields for Spatial Calibration of Wide Field-of-View Near-Eye Displays
• Title（参考訳）: 広視野近視ディスプレイの空間校正のための神経歪み場
• Authors: Yuichi Hiroi, Kiyosato Someya, Yuta Itoh
• Abstract要約: 複雑な画像歪みを有する広視野近赤外ディスプレイ(NED)の校正法を提案する。 NDFは、空間内で複雑に歪んだディスプレイ表面を暗黙的に表現する、完全に接続されたディープニューラルネットワークである。 NDFは、約3.23ピクセル (5.8 arcmin) の中央誤差で、90$circ$FoVの拡張現実NEDを8つのトレーニング視点で校正する。
• 参考スコア（独自算出の注目度）: 7.683161309557347
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose a spatial calibration method for wide Field-of-View (FoV) Near-Eye Displays (NEDs) with complex image distortions. Image distortions in NEDs can destroy the reality of the virtual object and cause sickness. To achieve distortion-free images in NEDs, it is necessary to establish a pixel-by-pixel correspondence between the viewpoint and the displayed image. Designing compact and wide-FoV NEDs requires complex optical designs. In such designs, the displayed images are subject to gaze-contingent, non-linear geometric distortions, which explicit geometric models can be difficult to represent or computationally intensive to optimize. To solve these problems, we propose Neural Distortion Field (NDF), a fully-connected deep neural network that implicitly represents display surfaces complexly distorted in spaces. NDF takes spatial position and gaze direction as input and outputs the display pixel coordinate and its intensity as perceived in the input gaze direction. We synthesize the distortion map from a novel viewpoint by querying points on the ray from the viewpoint and computing a weighted sum to project output display coordinates into an image. Experiments showed that NDF calibrates an augmented reality NED with 90$^{\circ}$ FoV with about 3.23 pixel (5.8 arcmin) median error using only 8 training viewpoints. Additionally, we confirmed that NDF calibrates more accurately than the non-linear polynomial fitting, especially around the center of the FoV.
• Abstract（参考訳）: 本研究では,複雑な画像歪みを有する広視野近視野ディスプレイ(neds)の空間校正法を提案する。 NEDの画像歪みは仮想オブジェクトの現実を破壊し、病気を引き起こす。 NEDにおける歪みのない画像を実現するには、視点と表示画像との画素間対応を確立する必要がある。 コンパクトで幅広いFoV NEDの設計には複雑な光学設計が必要である。 このような設計では、表示された画像は視線連続で非線形な幾何学的歪みを受けるため、明示的な幾何学モデルを表現するのが難しく、計算量的に最適化が難しい。 これらの問題を解決するために,空間に複雑に歪んだ表示面を暗黙的に表現する,完全接続型深層ニューラルネットワークであるneural distortion field (ndf)を提案する。 NDFは、空間位置と視線方向を入力として、表示画素座標とその強度を入力視線方向として出力する。 我々は、新しい視点から歪みマップを合成し、視点から光線上の点を問合せ、重み付け和を計算し、投影出力表示座標を画像に変換する。 NDFは、90$^{\circ}$ FoVの拡張現実NEDを約3.23ピクセル (5.8 arcmin) の中央誤差で8つのトレーニング視点で校正することを示した。 さらに,NDFは非線形多項式フィッティングよりも正確に校正可能であること,特にFoVの中心付近で確認した。

関連論文リスト

• Pixel-Aligned Multi-View Generation with Depth Guided Decoder [86.1813201212539]
  画素レベルの画像・マルチビュー生成のための新しい手法を提案する。 従来の作業とは異なり、潜伏映像拡散モデルのVAEデコーダにマルチビュー画像にアテンション層を組み込む。 本モデルにより,マルチビュー画像間の画素アライメントが向上する。
  論文  参考訳（メタデータ） (2024-08-26T04:56:41Z)
• PBIR-NIE: Glossy Object Capture under Non-Distant Lighting [30.325872237020395]
  グロッシーオブジェクトは自然光下での多視点入力画像から3次元再構成を行う上で重要な課題となる。 PBIR-NIEは, 物体の形状, 材料特性, 周囲の照明を均等に捉えるために設計された逆レンダリングフレームワークである。
  論文  参考訳（メタデータ） (2024-08-13T13:26:24Z)
• Möbius Transform for Mitigating Perspective Distortions in Representation Learning [43.86985901138407]
  パースペクティブ歪み(PD)は、画像の形状、大きさ、向き、角度、その他の空間的関係に前例のない変化を引き起こす。 M"オビウス変換の特定の族に対して,パラメータ制御を微粒化することにより,MPDを緩和する手法を提案する。 我々は,この新たなデータセットに対して,ディープラーニングモデルの堅牢性を評価するために,視点的に歪んだベンチマークデータセットであるImageNet-PDを提案する。
  論文  参考訳（メタデータ） (2024-03-07T15:39:00Z)
• Text2Control3D: Controllable 3D Avatar Generation in Neural Radiance Fields using Geometry-Guided Text-to-Image Diffusion Model [39.64952340472541]
  本稿では,表情を制御可能な制御可能なテキスト・ツー・3Dアバター生成手法を提案する。 我々の主な戦略は、制御された視点認識画像のセットに最適化されたニューラルラジアンスフィールド(NeRF)における3Dアバターを構築することである。 実験結果を実証し,本手法の有効性について考察する。
  論文  参考訳（メタデータ） (2023-09-07T08:14:46Z)
• PVSeRF: Joint Pixel-, Voxel- and Surface-Aligned Radiance Field for Single-Image Novel View Synthesis [52.546998369121354]
  シングルビューRGB画像からニューラル放射場を再構成する学習フレームワークPVSeRFを提案する。 本稿では,明示的な幾何学的推論を取り入れ,放射場予測のための画素アラインな特徴と組み合わせることを提案する。 このような幾何学的特徴の導入は、外観と幾何学の絡み合いを改善するのに有効であることを示す。
  論文  参考訳（メタデータ） (2022-02-10T07:39:47Z)
• Neural Radiance Fields Approach to Deep Multi-View Photometric Stereo [103.08512487830669]
  多視点測光ステレオ問題(MVPS)に対する現代的な解法を提案する。 我々は、光度ステレオ(PS)画像形成モデルを用いて表面配向を取得し、それを多視点のニューラルラディアンス場表現とブレンドして物体の表面形状を復元する。 本手法は,多視点画像のニューラルレンダリングを行い,深部光度ステレオネットワークによって推定される表面の正規性を活用している。
  論文  参考訳（メタデータ） (2021-10-11T20:20:03Z)
• Neural Étendue Expander for Ultra-Wide-Angle High-Fidelity Holographic Display [51.399291206537384]
  現代のホログラフィックディスプレイは、表示領域と回折光の最大固体角度の積である低い「エンテンダ」を有する。 自然画像データセットから学習したニューラルな「固有拡大器」を提案する。 ニューラルネットワーク拡張器を用いて,64$times$ 'etendue expansion of natural image in full color, and expand the FOV by a magnitude of horizontal and vertically。
  論文  参考訳（メタデータ） (2021-09-16T17:21:52Z)
• Light Field Networks: Neural Scene Representations with Single-Evaluation Rendering [60.02806355570514]
  2次元観察から3Dシーンの表現を推定することは、コンピュータグラフィックス、コンピュータビジョン、人工知能の基本的な問題である。 そこで我々は,360度4次元光場における基礎となる3次元シーンの形状と外観の両面を表現した新しいニューラルシーン表現,光場ネットワーク(LFN)を提案する。 LFNからレイをレンダリングするには*single*ネットワークの評価しか必要としない。
  論文  参考訳（メタデータ） (2021-06-04T17:54:49Z)
• Light Field Reconstruction Using Convolutional Network on EPI and Extended Applications [78.63280020581662]
  スパースビューからの光場再構成のための新しい畳み込みニューラルネットワーク(CNN)ベースのフレームワークを開発した。 最先端のアルゴリズムと比較して,提案フレームワークの高性能と堅牢性を実証する。
  論文  参考訳（メタデータ） (2021-03-24T08:16:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。