論文の概要: Enhancing Perception and Immersion in Pre-Captured Environments through
Learning-Based Eye Height Adaptation
- arxiv url: http://arxiv.org/abs/2308.13042v1
- Date: Thu, 24 Aug 2023 19:14:28 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-28 16:01:42.984610
- Title: Enhancing Perception and Immersion in Pre-Captured Environments through
Learning-Based Eye Height Adaptation
- Title（参考訳）: 学習型アイハイト適応によるプレキャプチャ環境における知覚と没入の促進
- Authors: Qi Feng, Hubert P. H. Shum, Shigeo Morishima
- Abstract要約: 目の高さが変化した全方位画像に対する新しい視点の学習に基づくアプローチを提案する。
本手法は,全方向認識深度画像の改良により,視高適応のための自然視と現実視を合成する。
- 参考スコア（独自算出の注目度）: 19.959897524064353
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Pre-captured immersive environments using omnidirectional cameras provide a
wide range of virtual reality applications. Previous research has shown that
manipulating the eye height in egocentric virtual environments can
significantly affect distance perception and immersion. However, the influence
of eye height in pre-captured real environments has received less attention due
to the difficulty of altering the perspective after finishing the capture
process. To explore this influence, we first propose a pilot study that
captures real environments with multiple eye heights and asks participants to
judge the egocentric distances and immersion. If a significant influence is
confirmed, an effective image-based approach to adapt pre-captured real-world
environments to the user's eye height would be desirable. Motivated by the
study, we propose a learning-based approach for synthesizing novel views for
omnidirectional images with altered eye heights. This approach employs a
multitask architecture that learns depth and semantic segmentation in two
formats, and generates high-quality depth and semantic segmentation to
facilitate the inpainting stage. With the improved omnidirectional-aware
layered depth image, our approach synthesizes natural and realistic visuals for
eye height adaptation. Quantitative and qualitative evaluation shows favorable
results against state-of-the-art methods, and an extensive user study verifies
improved perception and immersion for pre-captured real-world environments.
- Abstract（参考訳）: 全方位カメラを用いた没入型環境は、幅広いバーチャルリアリティ応用を提供する。
従来の研究では、自我中心の仮想環境における目の高さを操作することは、距離知覚と浸漬に大きな影響を与えることが示されている。
しかし, 撮影終了後の視線変化が困難であったため, 実環境における視線の高さの影響は少なくなった。
この影響を探るために,まず,複数の眼高を持つ実環境を捉え,被験者に自己中心距離と没入距離を判断するパイロット研究を提案する。
もし大きな影響が確認できれば、ユーザの目の高さに事前キャプチャされた実世界の環境を適応させる効果的なイメージベースアプローチが望ましいだろう。
本研究は,眼高の変化を伴う全方位画像に対して,新しい視点を合成するための学習的アプローチを提案する。
このアプローチでは,2つのフォーマットで深度とセマンティックセグメンテーションを学習するマルチタスクアーキテクチャを採用し,高い品質の深度とセマンティックセグメンテーションを生成し,その影響を緩和する。
全方位認識による奥行き画像の改良により,眼高適応のための自然および現実的な視覚を合成する。
定量的・質的評価は最先端の手法に好適な結果を示し,実世界の実環境における知覚と没入性の改善を検証する。
関連論文リスト
- Influence of field of view in visual prostheses design: Analysis with a VR system [3.9998518782208783]
視覚補綴における空間分解能に対する視野の影響を評価する。
通常視認される被験者は24名に、通常の物体の発見と認識を依頼された。
その結果、視野が大きくなると精度と応答時間が低下することがわかった。
論文 参考訳（メタデータ） (2025-01-28T22:25:22Z) - Towards Understanding Depth Perception in Foveated Rendering [8.442383621450247]
立体視の深度知覚にフェーベレートレンダリングが与える影響を調べた最初の評価を行った。
我々の分析では、立体視力は高レベルの周囲のぼかしの影響を受けていない(あるいは改善されている)ことが示されている。
以上の結果から, 卵胞形成は立体視の深度知覚に影響を与えず, 立体視は一般的に用いられるよりも2倍強い卵胞形成に影響を与えていないことが示唆された。
論文 参考訳（メタデータ） (2025-01-28T16:06:29Z) - HUPE: Heuristic Underwater Perceptual Enhancement with Semantic Collaborative Learning [62.264673293638175]
既存の水中画像強調法は主に視覚的品質の向上に重点を置いており、実際的な意味を見落としている。
視覚的品質を高め,他の下流タスクに対処する柔軟性を示す,水中知覚向上のための可逆的ネットワークHを提案する。
論文 参考訳（メタデータ） (2024-11-27T12:37:03Z) - Low-Light Enhancement Effect on Classification and Detection: An Empirical Study [48.6762437869172]
我々は,低照度画像強調法(LLIE)が高レベル視覚タスクに与える影響を評価する。
本研究は,人間の視覚知覚における画像強調と,機械解析における切り離しを示唆するものである。
この洞察は、人間と機械の視覚の両方のニーズに合致するLLIE技術の開発に不可欠である。
論文 参考訳（メタデータ） (2024-09-22T14:21:31Z) - Deep Domain Adaptation: A Sim2Real Neural Approach for Improving Eye-Tracking Systems [80.62854148838359]
眼球画像のセグメンテーションは、最終視線推定に大きな影響を及ぼす眼球追跡の重要なステップである。
対象視線画像と合成訓練データとの重なり合いを測定するために,次元還元法を用いている。
提案手法は,シミュレーションと実世界のデータサンプルの相違に対処する際の頑健で,性能が向上する。
論文 参考訳（メタデータ） (2024-03-23T22:32:06Z) - Neural Point-based Volumetric Avatar: Surface-guided Neural Points for
Efficient and Photorealistic Volumetric Head Avatar [62.87222308616711]
ニューラルポイント表現とニューラルボリュームレンダリングプロセスを採用したフルネーム(名前)を提案する。
具体的には、ニューラルポイントは高分解能UV変位マップを介してターゲット表現の表面を戦略的に拘束する。
設計上は,アバターをアニメーションする際の正確な表現制御を確保しつつ,地形的に変化する領域や細い構造を扱えるように設計されている。
論文 参考訳（メタデータ） (2023-07-11T03:40:10Z) - Self-supervised Interest Point Detection and Description for Fisheye and
Perspective Images [7.451395029642832]
キーポイント検出とマッチングは多くのコンピュータビジョンにおける基本的な課題である。
本研究では,画像取得に使用されるカメラの形状が原因で発生する場合に焦点をあてる。
我々は最先端のアプローチを構築し、関心点検出器と記述子ネットワークのトレーニングを可能にする自己監督的な手順を導出する。
論文 参考訳（メタデータ） (2023-06-02T22:39:33Z) - Learning to Relight Portrait Images via a Virtual Light Stage and
Synthetic-to-Real Adaptation [76.96499178502759]
Relightingは、イメージ内の人物を、ターゲットの照明のある環境に現れたかのように再照らすことを目的としている。
最近の手法は、高品質な結果を得るためにディープラーニングに依存している。
そこで本研究では,光ステージを必要とせずに,SOTA(State-of-the-art Relighting Method)と同等に動作可能な新しい手法を提案する。
論文 参考訳（メタデータ） (2022-09-21T17:15:58Z) - IllumiNet: Transferring Illumination from Planar Surfaces to Virtual
Objects in Augmented Reality [38.83696624634213]
本稿では,学習による実環境における仮想物体の照明推定手法を提案する。
一つのRGB画像が与えられた場合、シーンの平面面から抽出した照明特徴を所望のジオメトリに転送することで、信頼度の高い仮想オブジェクトを直接推測する。
論文 参考訳（メタデータ） (2020-07-12T13:11:14Z) - Learning Depth With Very Sparse Supervision [57.911425589947314]
本稿では, 環境との相互作用を通じて, 知覚が世界の3次元特性と結合するという考えを考察する。
我々は、環境と対話するロボットが利用できるような、特殊なグローバルローカルネットワークアーキテクチャを訓練する。
いくつかのデータセットの実験では、画像ピクセルの1つでも基底真理が利用できる場合、提案されたネットワークは、最先端のアプローチよりも22.5%の精度でモノクロの深度推定を学習できることを示している。
論文 参考訳（メタデータ） (2020-03-02T10:44:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。