論文の概要: Enhancing Perception and Immersion in Pre-Captured Environments through Learning-Based Eye Height Adaptation

• arxiv url: http://arxiv.org/abs/2308.13042v1
• Date: Thu, 24 Aug 2023 19:14:28 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-28 16:01:42.984610
• Title: Enhancing Perception and Immersion in Pre-Captured Environments through Learning-Based Eye Height Adaptation
• Title（参考訳）: 学習型アイハイト適応によるプレキャプチャ環境における知覚と没入の促進
• Authors: Qi Feng, Hubert P. H. Shum, Shigeo Morishima
• Abstract要約: 目の高さが変化した全方位画像に対する新しい視点の学習に基づくアプローチを提案する。 本手法は,全方向認識深度画像の改良により,視高適応のための自然視と現実視を合成する。
• 参考スコア（独自算出の注目度）: 19.959897524064353
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pre-captured immersive environments using omnidirectional cameras provide a wide range of virtual reality applications. Previous research has shown that manipulating the eye height in egocentric virtual environments can significantly affect distance perception and immersion. However, the influence of eye height in pre-captured real environments has received less attention due to the difficulty of altering the perspective after finishing the capture process. To explore this influence, we first propose a pilot study that captures real environments with multiple eye heights and asks participants to judge the egocentric distances and immersion. If a significant influence is confirmed, an effective image-based approach to adapt pre-captured real-world environments to the user's eye height would be desirable. Motivated by the study, we propose a learning-based approach for synthesizing novel views for omnidirectional images with altered eye heights. This approach employs a multitask architecture that learns depth and semantic segmentation in two formats, and generates high-quality depth and semantic segmentation to facilitate the inpainting stage. With the improved omnidirectional-aware layered depth image, our approach synthesizes natural and realistic visuals for eye height adaptation. Quantitative and qualitative evaluation shows favorable results against state-of-the-art methods, and an extensive user study verifies improved perception and immersion for pre-captured real-world environments.
• Abstract（参考訳）: 全方位カメラを用いた没入型環境は、幅広いバーチャルリアリティ応用を提供する。 従来の研究では、自我中心の仮想環境における目の高さを操作することは、距離知覚と浸漬に大きな影響を与えることが示されている。 しかし, 撮影終了後の視線変化が困難であったため, 実環境における視線の高さの影響は少なくなった。 この影響を探るために,まず,複数の眼高を持つ実環境を捉え,被験者に自己中心距離と没入距離を判断するパイロット研究を提案する。 もし大きな影響が確認できれば、ユーザの目の高さに事前キャプチャされた実世界の環境を適応させる効果的なイメージベースアプローチが望ましいだろう。 本研究は,眼高の変化を伴う全方位画像に対して,新しい視点を合成するための学習的アプローチを提案する。 このアプローチでは,2つのフォーマットで深度とセマンティックセグメンテーションを学習するマルチタスクアーキテクチャを採用し,高い品質の深度とセマンティックセグメンテーションを生成し,その影響を緩和する。 全方位認識による奥行き画像の改良により,眼高適応のための自然および現実的な視覚を合成する。 定量的・質的評価は最先端の手法に好適な結果を示し,実世界の実環境における知覚と没入性の改善を検証する。

関連論文リスト

• Low-Light Enhancement Effect on Classification and Detection: An Empirical Study [48.6762437869172]
  我々は,低照度画像強調法(LLIE)が高レベル視覚タスクに与える影響を評価する。 本研究は,人間の視覚知覚における画像強調と,機械解析における切り離しを示唆するものである。 この洞察は、人間と機械の視覚の両方のニーズに合致するLLIE技術の開発に不可欠である。
  論文  参考訳（メタデータ） (2024-09-22T14:21:31Z)
• Pupil-Adaptive 3D Holography Beyond Coherent Depth-of-Field [42.427021878005405]
  ホログラフィックディスプレイのコヒーレントな奥行きと、非コヒーレントな光によって現実世界で見られるものとのギャップを埋める枠組みを提案する。 本稿では,現在のコンピュータによるホログラフィー手法では不可能な画像効果を生み出すために,観察者の眼球の現在の状態に基づいて,その受容場をその場で調整する学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-17T11:01:54Z)
• Deep Domain Adaptation: A Sim2Real Neural Approach for Improving Eye-Tracking Systems [80.62854148838359]
  眼球画像のセグメンテーションは、最終視線推定に大きな影響を及ぼす眼球追跡の重要なステップである。 対象視線画像と合成訓練データとの重なり合いを測定するために,次元還元法を用いている。 提案手法は,シミュレーションと実世界のデータサンプルの相違に対処する際の頑健で,性能が向上する。
  論文  参考訳（メタデータ） (2024-03-23T22:32:06Z)
• DeepMetricEye: Metric Depth Estimation in Periocular VR Imagery [4.940128337433944]
  本稿では,U-Net 3+のディープラーニングバックボーンをベースとした軽量なフレームワークを提案する。 本手法は,3次元眼球周囲領域を再構成し,関連する光刺激計算プロトコルと医療ガイドラインの計量基準を提供する。 被験者36名を対象に, 眼球全球精度評価実験, 瞳孔径測定において有意な有効性を示した。
  論文  参考訳（メタデータ） (2023-11-13T10:55:05Z)
• Neural Point-based Volumetric Avatar: Surface-guided Neural Points for Efficient and Photorealistic Volumetric Head Avatar [62.87222308616711]
  ニューラルポイント表現とニューラルボリュームレンダリングプロセスを採用したフルネーム(名前)を提案する。 具体的には、ニューラルポイントは高分解能UV変位マップを介してターゲット表現の表面を戦略的に拘束する。 設計上は,アバターをアニメーションする際の正確な表現制御を確保しつつ,地形的に変化する領域や細い構造を扱えるように設計されている。
  論文  参考訳（メタデータ） (2023-07-11T03:40:10Z)
• Self-supervised novel 2D view synthesis of large-scale scenes with efficient multi-scale voxel carving [77.07589573960436]
  実シーンの新たなビューを生成するために,効率的なマルチスケールのボクセル彫刻手法を提案する。 我々の最終的な高解像度出力は、ボクセル彫刻モジュールによって自動的に生成されるデータに基づいて効率よく自己学習される。 実環境における複雑で大規模なシーンにおける本手法の有効性を実証する。
  論文  参考訳（メタデータ） (2023-06-26T13:57:05Z)
• Self-supervised Interest Point Detection and Description for Fisheye and Perspective Images [7.451395029642832]
  キーポイント検出とマッチングは多くのコンピュータビジョンにおける基本的な課題である。 本研究では,画像取得に使用されるカメラの形状が原因で発生する場合に焦点をあてる。 我々は最先端のアプローチを構築し、関心点検出器と記述子ネットワークのトレーニングを可能にする自己監督的な手順を導出する。
  論文  参考訳（メタデータ） (2023-06-02T22:39:33Z)
• Learning to Relight Portrait Images via a Virtual Light Stage and Synthetic-to-Real Adaptation [76.96499178502759]
  Relightingは、イメージ内の人物を、ターゲットの照明のある環境に現れたかのように再照らすことを目的としている。 最近の手法は、高品質な結果を得るためにディープラーニングに依存している。 そこで本研究では,光ステージを必要とせずに,SOTA(State-of-the-art Relighting Method)と同等に動作可能な新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-09-21T17:15:58Z)
• IllumiNet: Transferring Illumination from Planar Surfaces to Virtual Objects in Augmented Reality [38.83696624634213]
  本稿では,学習による実環境における仮想物体の照明推定手法を提案する。 一つのRGB画像が与えられた場合、シーンの平面面から抽出した照明特徴を所望のジオメトリに転送することで、信頼度の高い仮想オブジェクトを直接推測する。
  論文  参考訳（メタデータ） (2020-07-12T13:11:14Z)
• Learning Depth With Very Sparse Supervision [57.911425589947314]
  本稿では, 環境との相互作用を通じて, 知覚が世界の3次元特性と結合するという考えを考察する。 我々は、環境と対話するロボットが利用できるような、特殊なグローバルローカルネットワークアーキテクチャを訓練する。 いくつかのデータセットの実験では、画像ピクセルの1つでも基底真理が利用できる場合、提案されたネットワークは、最先端のアプローチよりも22.5%の精度でモノクロの深度推定を学習できることを示している。
  論文  参考訳（メタデータ） (2020-03-02T10:44:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。