論文の概要: RS-NeRF: Neural Radiance Fields from Rolling Shutter Images

• arxiv url: http://arxiv.org/abs/2407.10267v1
• Date: Sun, 14 Jul 2024 16:27:11 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-16 18:49:26.849357
• Title: RS-NeRF: Neural Radiance Fields from Rolling Shutter Images
• Title（参考訳）: RS-NeRF:ローリングシャッター画像からのニューラル放射場
• Authors: Muyao Niu, Tong Chen, Yifan Zhan, Zhuoxiao Li, Xiang Ji, Yinqiang Zheng,
• Abstract要約: 本稿では,RS歪みを用いた入力を用いて,新しいビューから通常の画像を合成する手法であるRS-NeRFを提案する。 これは、RS条件下で画像形成過程を再現する物理モデルを含む。 さらに,基本RS-NeRFモデルの本質的な欠点を,RS特性を掘り下げ,その機能を強化するアルゴリズムを開発することで解決する。
• 参考スコア（独自算出の注目度）: 30.719764073204423
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural Radiance Fields (NeRFs) have become increasingly popular because of their impressive ability for novel view synthesis. However, their effectiveness is hindered by the Rolling Shutter (RS) effects commonly found in most camera systems. To solve this, we present RS-NeRF, a method designed to synthesize normal images from novel views using input with RS distortions. This involves a physical model that replicates the image formation process under RS conditions and jointly optimizes NeRF parameters and camera extrinsic for each image row. We further address the inherent shortcomings of the basic RS-NeRF model by delving into the RS characteristics and developing algorithms to enhance its functionality. First, we impose a smoothness regularization to better estimate trajectories and improve the synthesis quality, in line with the camera movement prior. We also identify and address a fundamental flaw in the vanilla RS model by introducing a multi-sampling algorithm. This new approach improves the model's performance by comprehensively exploiting the RGB data across different rows for each intermediate camera pose. Through rigorous experimentation, we demonstrate that RS-NeRF surpasses previous methods in both synthetic and real-world scenarios, proving its ability to correct RS-related distortions effectively. Codes and data available: https://github.com/MyNiuuu/RS-NeRF
• Abstract（参考訳）: ニューラル・ラジアンス・フィールド(NeRF)は、新しいビュー・シンセサイザーの優れた能力によって、ますます人気が高まっている。 しかしながら、その効果は、ほとんどのカメラシステムで一般的に見られるローリングシャッター(RS)効果によって妨げられる。 そこで本研究では,RS歪みのある入力を用いて,新しいビューから通常の画像を合成する手法であるRS-NeRFを提案する。 これは、RS条件下で画像形成プロセスを再現し、各画像行に対してNeRFパラメータとカメラ外在性を共同最適化する物理モデルを含む。 さらに,基本RS-NeRFモデルの本質的な欠点を,RS特性を掘り下げ,その機能を強化するアルゴリズムを開発することで解決する。 まず,従来のカメラの動きに合わせて,軌道の推定と合成品質の向上のためにスムーズな正則化を課す。 マルチサンプリングアルゴリズムを導入することにより,バニラRSモデルの根本的な欠陥を特定し,対処する。 この新しいアプローチでは、中間カメラのポーズごとに異なる行にまたがるRGBデータを包括的に活用することで、モデルの性能を向上させる。 厳密な実験を通じて、RS-NeRFは合成シナリオと実世界のシナリオの両方において従来の手法を超越し、RS関連歪みを効果的に補正する能力を示す。 コードとデータが利用可能:https://github.com/MyNiuuu/RS-NeRF

関連論文リスト

• NeRF-Casting: Improved View-Dependent Appearance with Consistent Reflections [57.63028964831785]
  最近の研究は、遠方の環境照明の詳細な明細な外観を描画するNeRFの能力を改善しているが、近い内容の一貫した反射を合成することはできない。 我々はこれらの問題をレイトレーシングに基づくアプローチで解決する。 このモデルでは、それぞれのカメラ線に沿った点における視界依存放射率を求めるために高価なニューラルネットワークをクエリする代わりに、これらの点から光を流し、NeRF表現を通して特徴ベクトルを描画します。
  論文  参考訳（メタデータ） (2024-05-23T17:59:57Z)
• URS-NeRF: Unordered Rolling Shutter Bundle Adjustment for Neural Radiance Fields [46.186869281594326]
  ニューラルレイディアンスフィールド(NeRF)のための新しいローリングシャッター束調整法を提案する。 我々は、無秩序なローリングシャッター(RS)画像を用いて、暗黙の3D表現を得る。
  論文  参考訳（メタデータ） (2024-03-15T09:08:27Z)
• NeRF-VPT: Learning Novel View Representations with Neural Radiance Fields via View Prompt Tuning [63.39461847093663]
  本研究では,これらの課題に対処するための新しいビュー合成手法であるNeRF-VPTを提案する。 提案するNeRF-VPTは、先行レンダリング結果から得られたRGB情報を、その後のレンダリングステージのインストラクティブな視覚的プロンプトとして機能するカスケーディングビュープロンプトチューニングパラダイムを用いている。 NeRF-VPTは、追加のガイダンスや複雑なテクニックに頼ることなく、トレーニングステージ毎に前のステージレンダリングからRGBデータをサンプリングするだけである。
  論文  参考訳（メタデータ） (2024-03-02T22:08:10Z)
• CF-NeRF: Camera Parameter Free Neural Radiance Fields with Incremental Learning [23.080474939586654]
  我々は、新しいアンダーラインカメラパラメーターUnderlinefree Neural Radiance Field (CF-NeRF)を提案する。 CF-NeRFは3次元表現を漸進的に再構成し、動きからインクリメンタル構造にインスパイアされたカメラパラメータを復元する。 その結果、CF-NeRFはカメラ回転に頑健であり、事前情報や制約を伴わずに最先端の結果が得られることを示した。
  論文  参考訳（メタデータ） (2023-12-14T09:09:31Z)
• CorresNeRF: Image Correspondence Priors for Neural Radiance Fields [45.40164120559542]
  CorresNeRFは、市販の方法によって計算された画像対応の事前情報を利用して、NeRFトレーニングを監督する新しい手法である。 本手法は,異なるNeRF変種にまたがるプラグ・アンド・プレイモジュールとして適用可能であることを示す。
  論文  参考訳（メタデータ） (2023-12-11T18:55:29Z)
• USB-NeRF: Unrolling Shutter Bundle Adjusted Neural Radiance Fields [7.671858441929298]
  ニューラルラジアンスフィールド(USB-NeRF)のアンローリングシャッターバンドルについて提案する。 USB-NeRFは、回転シャッター歪みを補正し、NeRFの枠組みの下で同時に正確なカメラモーション軌跡を復元することができる。 我々のアルゴリズムは、RS画像のシーケンスから高忠実度高フレームレートのグローバルシャッタービデオの復元にも利用できる。
  論文  参考訳（メタデータ） (2023-10-04T09:51:58Z)
• RBSR: Efficient and Flexible Recurrent Network for Burst Super-Resolution [57.98314517861539]
  バースト超解像(BurstSR)は、高解像度(HR)画像を低解像度(LR)画像と雑音画像から再構成することを目的としている。 本稿では,効率よくフレキシブルなリカレントネットワークでフレーム単位のキューを融合させることを提案する。
  論文  参考訳（メタデータ） (2023-06-30T12:14:13Z)
• SiNeRF: Sinusoidal Neural Radiance Fields for Joint Pose Estimation and Scene Reconstruction [147.9379707578091]
  NeRFmmは、共同最適化タスクを扱うNeRF(Neural Radiance Fields)である。 NeRFmmは正確なシーン合成とポーズ推定を行うが、難しいシーンで完全に注釈付けされたベースラインを上回るのに苦戦している。 放射光マッピングにおける正弦波活性化を利用する正弦波ニューラルレイディアンス場(SiNeRF)と、効率よく光束を選択するための新しい混合領域サンプリング(MRS)を提案する。
  論文  参考訳（メタデータ） (2022-10-10T10:47:51Z)
• Learning Adaptive Warping for Real-World Rolling Shutter Correction [52.45689075940234]
  本稿では,実世界のローリングシャッター(RS)補正データセットであるBS-RSCと,歪みビデオ中のRSフレームを補正するための対応するモデルを提案する。 ビデオキャプチャ用のCMOSベースのセンサを備えたコンシューマ市場のモバイルデバイスは、ビデオ取得プロセス中に相対的な動きが発生した場合、ローリングシャッター効果をもたらすことが多い。
  論文  参考訳（メタデータ） (2022-04-29T05:13:50Z)
• NeRF-SR: High-Quality Neural Radiance Fields using Super-Sampling [82.99453001445478]
  主に低分解能(LR)入力を用いた高分解能(HR)新規ビュー合成のソリューションであるNeRF-SRを提案する。 提案手法は,多層パーセプトロンを用いて各点密度と色を予測するニューラルレージアンス場(NeRF)上に構築されている。
  論文  参考訳（メタデータ） (2021-12-03T07:33:47Z)
• NeRF--: Neural Radiance Fields Without Known Camera Parameters [31.01560143595185]
  本稿では、カメラのポーズや内在性のない2次元画像からの新しいビュー合成(NVS)問題に取り組む。 RGB画像のみのNeRFモデルをトレーニングするためのエンドツーエンドのフレームワーク「NeRF--」を提案する。
  論文  参考訳（メタデータ） (2021-02-14T03:52:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。