論文の概要: Neural Light Spheres for Implicit Image Stitching and View Synthesis

• arxiv url: http://arxiv.org/abs/2409.17924v2
• Date: Thu, 3 Oct 2024 22:57:06 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-06 16:00:56.862967
• Title: Neural Light Spheres for Implicit Image Stitching and View Synthesis
• Title（参考訳）: 入射画像ストレッチとビュー合成のためのニューラル光球
• Authors: Ilya Chugunov, Amogh Joshi, Kiran Murthy, Francois Bleibel, Felix Heide,
• Abstract要約: 暗黙的パノラマ画像縫合と再レンダリングのための球状神経電場モデル 従来の画像縫合法や放射場法に比べて再現性は向上した。
• 参考スコア（独自算出の注目度）: 32.396278546192995
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Challenging to capture, and challenging to display on a cellphone screen, the panorama paradoxically remains both a staple and underused feature of modern mobile camera applications. In this work we address both of these challenges with a spherical neural light field model for implicit panoramic image stitching and re-rendering; able to accommodate for depth parallax, view-dependent lighting, and local scene motion and color changes during capture. Fit during test-time to an arbitrary path panoramic video capture -- vertical, horizontal, random-walk -- these neural light spheres jointly estimate the camera path and a high-resolution scene reconstruction to produce novel wide field-of-view projections of the environment. Our single-layer model avoids expensive volumetric sampling, and decomposes the scene into compact view-dependent ray offset and color components, with a total model size of 80 MB per scene, and real-time (50 FPS) rendering at 1080p resolution. We demonstrate improved reconstruction quality over traditional image stitching and radiance field methods, with significantly higher tolerance to scene motion and non-ideal capture settings.
• Abstract（参考訳）: パノラマは、撮影が難しく、携帯電話の画面に表示することが難しいため、現代のモバイルカメラアプリケーションでは、パノラマは基本的には必須の機能であり、未使用の機能である。 本研究では,これらの課題に,暗黙的なパノラマ画像縫合と再レンダリングのための球状神経電場モデルを用いて対処する。 テスト時間中に、任意の経路のパノラマビデオキャプチャー(垂直、水平、ランダムウォーク)にフィットするこれらのニューラル光球は、カメラパスと高解像度のシーン再構成を共同で推定し、環境の新しい広い視野の投影を生成する。 我々の単層モデルは高価なボリュームサンプリングを回避し、シーンをコンパクトなビュー依存のレイオフセットとカラーコンポーネントに分解し、1シーンあたり80MBのモデルサイズと1080p解像度でのリアルタイム(50FPS)レンダリングを実現した。 従来の画像縫合法や放射場法に比べて再現性は向上し,シーンモーションや非理想的キャプチャ設定に対する耐性は著しく向上した。

関連論文リスト

• Cinematic Gaussians: Real-Time HDR Radiance Fields with Depth of Field [23.92087253022495]
  放射場法は、多視点写真から複雑なシーンを再構成する際の技法の状態を表現している。 ピンホールカメラモデルへの依存は、すべてのシーン要素が入力画像に集中していると仮定し、実用的な課題を提示し、新規な視点合成において再焦点を複雑にする。 様々な露光時間,開口の放射率,焦点距離を多視点LDR画像を用いて高ダイナミックレンジシーンを再構成する3Dガウススメッティングに基づく軽量解析手法を提案する。
  論文  参考訳（メタデータ） (2024-06-11T15:00:24Z)
• Pix2HDR -- A pixel-wise acquisition and deep learning-based synthesis approach for high-speed HDR videos [2.275097126764287]
  カメラのフレームレートがダイナミックレンジを制限するため、高速ハイダイナミックレンジ()ビデオは難しい。 既存の手法は、マルチ露光フレームを取得するために速度を犠牲にするが、これらのフレーム内の不一致な動きは、HDR融合アルゴリズムに作用する。 本手法は動的条件下での視覚系の適応性と性能を大幅に向上させる。
  論文  参考訳（メタデータ） (2023-10-24T19:27:35Z)
• ExBluRF: Efficient Radiance Fields for Extreme Motion Blurred Images [58.24910105459957]
  極端運動ぼかし画像の新しいビュー合成法であるExBluRFを提案する。 提案手法は,6-DOFカメラトラジェクトリをベースとしたモーションブラー定式化と,ボクセルをベースとした放射場からなる。 既存の作業と比較して、トレーニング時間とGPUメモリ使用量の10倍の順序で、よりシャープな3Dシーンを復元する。
  論文  参考訳（メタデータ） (2023-09-16T11:17:25Z)
• Neural Fields meet Explicit Geometric Representation for Inverse Rendering of Urban Scenes [62.769186261245416]
  本稿では,大都市におけるシーン形状,空間変化材料,HDR照明を,任意の深さで描画したRGB画像の集合から共同で再構成できる新しい逆レンダリングフレームワークを提案する。 具体的には、第1の光線を考慮に入れ、第2の光線をモデリングするために、明示的なメッシュ(基礎となるニューラルネットワークから再構成)を用いて、キャストシャドウのような高次照明効果を発生させる。
  論文  参考訳（メタデータ） (2023-04-06T17:51:54Z)
• Progressively Optimized Local Radiance Fields for Robust View Synthesis [76.55036080270347]
  本稿では,1つのカジュアルな映像から大規模シーンのラディアンス場を再構成するアルゴリズムを提案する。 未知のポーズを扱うために、カメラのポーズと放射場を漸進的に推定する。 大規模な非有界シーンを扱うために、時間窓内にフレームで訓練された新しい局所放射場を動的に割り当てる。
  論文  参考訳（メタデータ） (2023-03-24T04:03:55Z)
• SPARF: Neural Radiance Fields from Sparse and Noisy Poses [58.528358231885846]
  SPARF(Sparse Pose Adjusting Radiance Field)を導入し,新規な視点合成の課題に対処する。 提案手法は、NeRFを共同学習し、カメラのポーズを洗練するために、多視点幾何学的制約を利用する。
  論文  参考訳（メタデータ） (2022-11-21T18:57:47Z)
• DynIBaR: Neural Dynamic Image-Based Rendering [79.44655794967741]
  複雑な動的シーンを描写したモノクロ映像から新しいビューを合成する問題に対処する。 我々は,近傍のビューから特徴を集約することで,新しい視点を合成するボリューム画像ベースのレンダリングフレームワークを採用する。 動的シーンデータセットにおける最先端手法の大幅な改善を示す。
  論文  参考訳（メタデータ） (2022-11-20T20:57:02Z)
• Mip-NeRF 360: Unbounded Anti-Aliased Neural Radiance Fields [43.69542675078766]
  我々は,非線形シーンパラメータ化,オンライン蒸留,新しい歪みベースの正規化器を用いて,非境界シーンの課題を克服するmip-NeRFの拡張を提案する。 このモデルでは,mip-NeRF 360 を用いて平均二乗誤差を mip-NeRF と比較して 54% 削減し,リアルに合成されたビューと詳細な深度マップを作成できる。
  論文  参考訳（メタデータ） (2021-11-23T18:51:18Z)
• T\"oRF: Time-of-Flight Radiance Fields for Dynamic Scene View Synthesis [32.878225196378374]
  連続波ToFカメラのための画像形成モデルに基づくニューラル表現を提案する。 提案手法は, 動的シーン再構成のロバスト性を改善し, 誤ったキャリブレーションや大きな動きに改善することを示す。
  論文  参考訳（メタデータ） (2021-09-30T17:12:59Z)
• Neural Reflectance Fields for Appearance Acquisition [61.542001266380375]
  シーン内の任意の3次元点における体積密度, 正規および反射特性をエンコードする新しい深部シーン表現であるニューラルリフレクタンス場を提案する。 我々はこの表現を、任意の視点と光の下でニューラルリフレクタンスフィールドから画像を描画できる物理的にベースとした微分可能光線マーチングフレームワークと組み合わせる。
  論文  参考訳（メタデータ） (2020-08-09T22:04:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。