論文の概要: Seeing the World through Your Eyes
- arxiv url: http://arxiv.org/abs/2306.09348v1
- Date: Thu, 15 Jun 2023 17:59:59 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-16 12:58:40.641535
- Title: Seeing the World through Your Eyes
- Title（参考訳）: 目を通して世界を見る
- Authors: Hadi Alzayer, Kevin Zhang, Brandon Feng, Christopher Metzler, Jia-Bin
Huang
- Abstract要約: 人間の目の反射的な性質は、私たちの周りの世界がどのように見えるかという、未熟な情報源です。
本稿では,眼の反射を含むポートレート画像を用いて,カメラの視線を越えて3次元シーンを再構成する。
- 参考スコア（独自算出の注目度）: 32.0521100498729
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The reflective nature of the human eye is an underappreciated source of
information about what the world around us looks like. By imaging the eyes of a
moving person, we can collect multiple views of a scene outside the camera's
direct line of sight through the reflections in the eyes. In this paper, we
reconstruct a 3D scene beyond the camera's line of sight using portrait images
containing eye reflections. This task is challenging due to 1) the difficulty
of accurately estimating eye poses and 2) the entangled appearance of the eye
iris and the scene reflections. Our method jointly refines the cornea poses,
the radiance field depicting the scene, and the observer's eye iris texture. We
further propose a simple regularization prior on the iris texture pattern to
improve reconstruction quality. Through various experiments on synthetic and
real-world captures featuring people with varied eye colors, we demonstrate the
feasibility of our approach to recover 3D scenes using eye reflections.
- Abstract（参考訳）: 人間の目の反射的な性質は、私たちの周りの世界がどんなものかという、未熟な情報源です。
動く人の目を撮像することで、眼の反射を通して、カメラの直視線の外のシーンの複数のビューを収集することができる。
本稿では,眼の反射を含むポートレート画像を用いて,カメラの視線を越えて3次元シーンを再構成する。
この仕事は困難です。
1)眼のポーズを正確に推定することの困難さ
2)眼虹彩の絡み合った外観と場面の反射
本手法は,角膜ポーズ,シーンを描写する放射場,観察者の眼の虹彩テクスチャを共同で改善する。
さらに,虹彩テクスチャパターンに先立って簡易な正規化を提案し,再現性を向上させる。
様々な眼色を持つ人物を特徴とする合成および実世界の撮影実験を通じて,眼球反射を用いた3次元シーンの復元の可能性を示す。
関連論文リスト
- Total-Recon: Deformable Scene Reconstruction for Embodied View Synthesis [76.72505510632904]
長い単眼のRGBDビデオから変形可能なシーンを再構成する最初の方法であるTotal-Reconを提案する。
本手法は背景と物体にシーンを階層的に分解し,動作を根体運動と局所的調音に分解する。
論文 参考訳（メタデータ） (2023-04-24T17:59:52Z) - State of the Art in Dense Monocular Non-Rigid 3D Reconstruction [100.9586977875698]
モノクル2D画像から変形可能なシーン(または非剛体)の3D再構成は、コンピュータビジョンとグラフィックスの長年、活発に研究されてきた領域である。
本研究は,モノクラー映像やモノクラービューの集合から,様々な変形可能な物体や複合シーンを高密度に非剛性で再現するための最先端の手法に焦点を当てる。
論文 参考訳（メタデータ） (2022-10-27T17:59:53Z) - S$^3$-NeRF: Neural Reflectance Field from Shading and Shadow under a
Single Viewpoint [22.42916940712357]
本手法は,シーンの3次元形状とBRDFを表現するために,ニューラルリフレクタンス場を学習する。
本手法は,一視点画像からシーンの可視部分と可視部分の両方を含む3次元形状を復元することができる。
新規ビュー合成やリライトといったアプリケーションをサポートする。
論文 参考訳（メタデータ） (2022-10-17T11:01:52Z) - Neural Groundplans: Persistent Neural Scene Representations from a
Single Image [90.04272671464238]
本稿では,シーンの2次元画像観察を永続的な3次元シーン表現にマッピングする手法を提案する。
本稿では,永続的でメモリ効率のよいシーン表現として,条件付きニューラルグラウンドプランを提案する。
論文 参考訳（メタデータ） (2022-07-22T17:41:24Z) - EyeNeRF: A Hybrid Representation for Photorealistic Synthesis, Animation
and Relighting of Human Eyes [0.0]
光とカメラのスパースセットのみを用いて、高忠実度キャプチャとアニメーション、視線合成とライティングを可能にする新しい幾何学と外観表現を提案する。
眼の高精細なクローズアップでは、目視のない照明条件下で、新しい視点から高精細なアニメーションの視線を合成できることが示される。
論文 参考訳（メタデータ） (2022-06-16T20:05:04Z) - Recognizing Scenes from Novel Viewpoints [99.90914180489456]
人間は、少数の2Dビューから3Dのシーンを知覚することができる。AIエージェントは、少数の画像しか持たない任意の視点からシーンを認識することで、シーンとそのオブジェクトと効率的に対話することができる。
本稿では,新しいシーンのいくつかのRGB画像を入力として取り込んで,そのシーンを意味カテゴリーに分類することで,新たな視点から認識するモデルを提案する。
論文 参考訳（メタデータ） (2021-12-02T18:59:40Z) - Deep Learning--Based Scene Simplification for Bionic Vision [0.0]
対象のセグメンテーションは,視覚的サリエンシと単眼深度推定に基づくモデルよりも,シーン理解を支援する可能性が示唆された。
この研究は、網膜変性疾患を患っている人に対する人工視覚の有用性を大幅に改善する可能性がある。
論文 参考訳（メタデータ） (2021-01-30T19:35:33Z) - Face Forgery Detection by 3D Decomposition [72.22610063489248]
顔画像は、基礎となる3次元幾何学と照明環境の介入の産物とみなす。
顔画像を3次元形状、共通テクスチャ、アイデンティティテクスチャ、周囲光、そして直接光に切り離すことで、悪魔は直接光とアイデンティティテクスチャの中に横たわる。
直接光と識別テクスチャを組み合わせた顔のディテールを,微妙な偽造パターンを検出する手がかりとして活用することを提案する。
論文 参考訳（メタデータ） (2020-11-19T09:25:44Z) - Neural Reflectance Fields for Appearance Acquisition [61.542001266380375]
シーン内の任意の3次元点における体積密度, 正規および反射特性をエンコードする新しい深部シーン表現であるニューラルリフレクタンス場を提案する。
我々はこの表現を、任意の視点と光の下でニューラルリフレクタンスフィールドから画像を描画できる物理的にベースとした微分可能光線マーチングフレームワークと組み合わせる。
論文 参考訳（メタデータ） (2020-08-09T22:04:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。