論文の概要: Reconstructing Continuous Light Field From Single Coded Image

• arxiv url: http://arxiv.org/abs/2311.09646v1
• Date: Thu, 16 Nov 2023 07:59:01 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-17 15:44:51.590100
• Title: Reconstructing Continuous Light Field From Single Coded Image
• Title（参考訳）: 単一符号化画像からの連続光場再構成
• Authors: Yuya Ishikawa and Keita Takahashi and Chihiro Tsutake and Toshiaki Fujii
• Abstract要約: 本研究では,対象シーンの連続光場を単一観測画像から再構成する手法を提案する。 カメラに実装された共同開口露光符号化により、3次元シーン情報の観察画像への効果的な埋め込みが可能となる。 NeRFベースのニューラルレンダリングは、連続的な視点から3Dシーンの高品質なビュー合成を可能にする。
• 参考スコア（独自算出の注目度）: 7.937367109582907
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose a method for reconstructing a continuous light field of a target scene from a single observed image. Our method takes the best of two worlds: joint aperture-exposure coding for compressive light-field acquisition, and a neural radiance field (NeRF) for view synthesis. Joint aperture-exposure coding implemented in a camera enables effective embedding of 3-D scene information into an observed image, but in previous works, it was used only for reconstructing discretized light-field views. NeRF-based neural rendering enables high quality view synthesis of a 3-D scene from continuous viewpoints, but when only a single image is given as the input, it struggles to achieve satisfactory quality. Our method integrates these two techniques into an efficient and end-to-end trainable pipeline. Trained on a wide variety of scenes, our method can reconstruct continuous light fields accurately and efficiently without any test time optimization. To our knowledge, this is the first work to bridge two worlds: camera design for efficiently acquiring 3-D information and neural rendering.
• Abstract（参考訳）: 本研究では,対象シーンの連続光場を単一観測画像から再構成する手法を提案する。 本手法は, 圧縮光場取得のための関節開口露光符号化と, 視野合成のためのニューラル放射場 (NeRF) の2つの世界を最大限に活用する。 カメラに実装された共同開口露光符号化により、観測画像に3次元シーン情報を効果的に埋め込むことができるが、以前の研究では、離散光界ビューの再構成にのみ使用された。 NeRFベースのニューラルレンダリングは、連続的な視点から3Dシーンの高品質なビュー合成を可能にするが、入力として1つの画像のみが与えられる場合、満足のいく品質を達成するのに苦労する。 本手法は,これら2つの手法を効率良くエンドツーエンドのトレーニング可能なパイプラインに統合する。 様々な場面で学習し,テスト時間最適化なしに連続光場を高精度かつ効率的に再構築することができる。 私たちの知る限り、これは2つの世界を橋渡しする最初の仕事です。3d情報とニューラルネットワークのレンダリングを効率的に獲得するためのカメラ設計です。

関連論文リスト

• Bilateral Guided Radiance Field Processing [4.816861458037213]
  ニューラルラジアンス場(NeRF)は、新規なビュー合成の合成において、前例のない性能を達成する。 現代のカメラにおける画像信号処理(ISP)は、独立してそれらを強化し、再構成された放射場において「フローター」となる。 我々は、NeRFトレーニング段階におけるISPによる拡張を解消し、再構成されたラディアンスフィールドに対するユーザ希望の強化を再度適用することを提案する。 提案手法は,フロータを効果的に除去し,ユーザリタッチによる拡張を行うことにより,新規ビュー合成の視覚的品質を向上させることができることを示す。
  論文  参考訳（メタデータ） (2024-06-01T14:10:45Z)
• GS-Phong: Meta-Learned 3D Gaussians for Relightable Novel View Synthesis [63.5925701087252]
  本稿では,3次元ガウス点の集合を用いて,点光で照らされたシーンを表現する手法を提案する。 Blinn-Phongモデルにインスパイアされた我々の手法は、シーンを周囲、拡散、および特異成分に分解する。 照明条件に依存しない幾何学的情報の分解を容易にするため,新しい二段階最適化に基づくメタラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-31T13:48:54Z)
• Time-Efficient Light-Field Acquisition Using Coded Aperture and Events [16.130950260664285]
  本手法は,画像フレームの単一露光中に一連の符号化パターンを適用する。 符号化パターンの違いに関連するパララックス情報は、イベントとして記録される。 画像フレームとイベントは、すべて単一の露光で測定され、光場を計算的に再構成するために共同で使用される。
  論文  参考訳（メタデータ） (2024-03-12T02:04:17Z)
• Progressively Optimized Local Radiance Fields for Robust View Synthesis [76.55036080270347]
  本稿では,1つのカジュアルな映像から大規模シーンのラディアンス場を再構成するアルゴリズムを提案する。 未知のポーズを扱うために、カメラのポーズと放射場を漸進的に推定する。 大規模な非有界シーンを扱うために、時間窓内にフレームで訓練された新しい局所放射場を動的に割り当てる。
  論文  参考訳（メタデータ） (2023-03-24T04:03:55Z)
• Multi-Plane Neural Radiance Fields for Novel View Synthesis [5.478764356647437]
  新しいビュー合成は、新しいカメラの視点からシーンのフレームを描画する、長年にわたる問題である。 本研究では, 単面多面体ニューラル放射場の性能, 一般化, 効率について検討する。 合成結果の改善と視聴範囲の拡大のために,複数のビューを受理する新しい多面体NeRFアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-03-03T06:32:55Z)
• SceneRF: Self-Supervised Monocular 3D Scene Reconstruction with Radiance Fields [19.740018132105757]
  SceneRFは、画像列のみを用いた自己教師付き単眼シーン再構築法である。 推測において、単一の入力画像は、融合した新しい深度ビューを幻覚させ、3Dシーンの再構成を得るのに十分である。
  論文  参考訳（メタデータ） (2022-12-05T18:59:57Z)
• Neural 3D Reconstruction in the Wild [86.6264706256377]
  そこで我々は,インターネット写真コレクションから効率よく高精度な表面再構成を実現する新しい手法を提案する。 そこで本研究では,これらのシーンにおける再構成性能を評価するための新しいベンチマークとプロトコルを提案する。
  論文  参考訳（メタデータ） (2022-05-25T17:59:53Z)
• Acquiring a Dynamic Light Field through a Single-Shot Coded Image [12.615509935080434]
  シングルショット符号化画像(2次元計測)を用いて動的光場(5次元体積)を圧縮的に取得する手法を提案する。 我々は、1回の露光時間内に開口符号化と画素単位の露光符号化を同期的に適用する撮像モデルを設計した。 観察された画像は、光場再構成のための畳み込みニューラルネットワーク(CNN)に送られ、カメラ側のコーディングパターンと共同で訓練される。
  論文  参考訳（メタデータ） (2022-04-26T06:00:02Z)
• Enhancement of Novel View Synthesis Using Omnidirectional Image Completion [61.78187618370681]
  ニューラルレイディアンス場(NeRF)に基づく1枚の360度RGB-D画像から新しいビューを合成する方法を提案する。 実験により,提案手法は実世界と実世界の両方でシーンの特徴を保ちながら,可塑性な新規なビューを合成できることが実証された。
  論文  参考訳（メタデータ） (2022-03-18T13:49:25Z)
• MVSNeRF: Fast Generalizable Radiance Field Reconstruction from Multi-View Stereo [52.329580781898116]
  MVSNeRFは、ビュー合成のための神経放射場を効率的に再構築できる新しいニューラルレンダリング手法である。 高密度にキャプチャされた画像に対して,シーン毎の最適化を考慮に入れたニューラルネットワークの先行研究とは異なり,高速ネットワーク推論により,近傍の3つの入力ビューのみからラミアンスフィールドを再構成できる汎用ディープニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2021-03-29T13:15:23Z)
• IBRNet: Learning Multi-View Image-Based Rendering [67.15887251196894]
  本稿では,近接ビューの疎集合を補間することにより,複雑なシーンの新しいビューを合成する手法を提案する。 レンダリング時にソースビューを描画することで、画像ベースのレンダリングに関する古典的な作業に戻ります。
  論文  参考訳（メタデータ） (2021-02-25T18:56:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。