Fugu-MT 論文翻訳(概要): MixNeRF: Modeling a Ray with Mixture Density for Novel View Synthesis from Sparse Inputs

論文の概要: MixNeRF: Modeling a Ray with Mixture Density for Novel View Synthesis from Sparse Inputs

arxiv url: http://arxiv.org/abs/2302.08788v2
Date: Wed, 12 Apr 2023 05:15:11 GMT
ステータス: 処理完了
システム内更新日: 2023-04-13 18:00:23.416402
Title: MixNeRF: Modeling a Ray with Mixture Density for Novel View Synthesis from Sparse Inputs
Title（参考訳）: MixNeRF:スパース入力からの新しいビュー合成のための混合密度線をモデル化する
Authors: Seunghyeon Seo, Donghoon Han, Yeonjin Chang, Nojun Kwak
Abstract要約: スパース入力からの新規ビュー合成のための効果的なトレーニング戦略であるMixNeRFを提案する。我々のMixNeRFは、RGB色と光線サンプルの混合分布をモデル化することにより、RGB色の結合分布を推定する。また,3次元シーン形状と高い相関関係を持つ,有用なトレーニング対象としての光線深度推定の新たな課題を提案する。
参考スコア（独自算出の注目度）: 26.30879244783331
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Neural Radiance Field (NeRF) has broken new ground in the novel view synthesis due to its simple concept and state-of-the-art quality. However, it suffers from severe performance degradation unless trained with a dense set of images with different camera poses, which hinders its practical applications. Although previous methods addressing this problem achieved promising results, they relied heavily on the additional training resources, which goes against the philosophy of sparse-input novel-view synthesis pursuing the training efficiency. In this work, we propose MixNeRF, an effective training strategy for novel view synthesis from sparse inputs by modeling a ray with a mixture density model. Our MixNeRF estimates the joint distribution of RGB colors along the ray samples by modeling it with mixture of distributions. We also propose a new task of ray depth estimation as a useful training objective, which is highly correlated with 3D scene geometry. Moreover, we remodel the colors with regenerated blending weights based on the estimated ray depth and further improves the robustness for colors and viewpoints. Our MixNeRF outperforms other state-of-the-art methods in various standard benchmarks with superior efficiency of training and inference.
Abstract（参考訳）: ニューラル・ラジアンス・フィールド(NeRF)は、そのシンプルな概念と最先端の品質のために、新しいビュー合成の新たな基盤を壊した。しかし、異なるカメラポーズの濃密な画像セットで訓練されない限り、パフォーマンスの低下に苦しむため、実用的利用を妨げている。この課題に対処する従来の手法は有望な結果を得たが、訓練効率を追求するスパース・インプット・ノベルビュー合成の哲学に反する追加の訓練資源に大きく依存していた。本研究では,混合密度モデルを用いて光線をモデル化し,スパース入力からの新規ビュー合成のための効果的なトレーニング戦略であるMixNeRFを提案する。我々のMixNeRFは、RGB色と光線サンプルの混合分布をモデル化することにより、RGB色の結合分布を推定する。また,3次元シーン形状と高度に相関する有用なトレーニング目標として,線深度推定の新たなタスクを提案する。さらに、推定光深度に基づいて混合重量を再生した色を再構成し、色と視点の堅牢性をさらに向上する。当社のmixnerfは、トレーニングと推論の効率が優れた、さまざまな標準ベンチマークで、最先端のメソッドよりも優れています。

関連論文リスト

FewViewGS: Gaussian Splatting with Few View Matching and Multi-stage Training [15.634646420318731]
スパース入力画像を用いた3次元ガウス型新規ビュー合成法を提案する。本稿では,新しい視点に課せられる整合性制約を考慮した多段階学習手法を提案する。これは、利用可能なトレーニング画像のマッチングを使用して、新しいビューの生成を監督することで達成される。
論文参考訳（メタデータ） (2024-11-04T16:21:00Z)
Splatfacto-W: A Nerfstudio Implementation of Gaussian Splatting for Unconstrained Photo Collections [25.154665328053333]
Splatfacto-Wは、ガウスごとのニューラルカラー特徴と画像ごとの外観をレンダリングプロセスに組み込む、自明なアプローチである。提案手法は,3DGSに比べて平均5.3dBのPak Signal-to-Noise Ratio(PSNR)を向上し,NeRF法に比べて150倍のトレーニング速度を向上し,3DGSと同様のレンダリング速度を実現する。
論文参考訳（メタデータ） (2024-07-17T04:02:54Z)
CorresNeRF: Image Correspondence Priors for Neural Radiance Fields [45.40164120559542]
CorresNeRFは、市販の方法によって計算された画像対応の事前情報を利用して、NeRFトレーニングを監督する新しい手法である。本手法は,異なるNeRF変種にまたがるプラグ・アンド・プレイモジュールとして適用可能であることを示す。
論文参考訳（メタデータ） (2023-12-11T18:55:29Z)
DNS SLAM: Dense Neural Semantic-Informed SLAM [92.39687553022605]
DNS SLAMは、ハイブリッド表現を備えた新しいRGB-DセマンティックSLAMアプローチである。本手法は画像に基づく特徴抽出と多視点幾何制約を統合し,外観の細部を改良する。実験により, 合成データと実世界のデータ追跡の両面において, 最先端の性能が得られた。
論文参考訳（メタデータ） (2023-11-30T21:34:44Z)
ExposureDiffusion: Learning to Expose for Low-light Image Enhancement [87.08496758469835]
この研究は、拡散モデルと物理ベースの露光モデルとをシームレスに統合することで、この問題に対処する。提案手法は,バニラ拡散モデルと比較して性能が大幅に向上し,推論時間を短縮する。提案するフレームワークは、実際のペア付きデータセット、SOTAノイズモデル、および異なるバックボーンネットワークの両方で動作する。
論文参考訳（メタデータ） (2023-07-15T04:48:35Z)
Single-Stage Diffusion NeRF: A Unified Approach to 3D Generation and Reconstruction [77.69363640021503]
3D対応画像合成は、シーン生成や画像からの新規ビュー合成など、様々なタスクを含む。本稿では,様々な物体の多視点画像から,ニューラルラディアンス場(NeRF)の一般化可能な事前学習を行うために,表現拡散モデルを用いた統一的アプローチであるSSDNeRFを提案する。
論文参考訳（メタデータ） (2023-04-13T17:59:01Z)
CLONeR: Camera-Lidar Fusion for Occupancy Grid-aided Neural Representations [77.90883737693325]
本稿では,スパース入力センサビューから観測される大規模な屋外運転シーンをモデル化することで,NeRFを大幅に改善するCLONeRを提案する。これは、NeRFフレームワーク内の占有率と色学習を、それぞれLiDARとカメラデータを用いてトレーニングされた個別のMulti-Layer Perceptron(MLP)に分離することで実現される。さらに,NeRFモデルと平行に3D Occupancy Grid Maps(OGM)を構築する手法を提案し,この占有グリッドを利用して距離空間のレンダリングのために線に沿った点のサンプリングを改善する。
論文参考訳（メタデータ） (2022-09-02T17:44:50Z)
InfoNeRF: Ray Entropy Minimization for Few-Shot Neural Volume Rendering [55.70938412352287]
ニューラルな暗黙表現に基づく数ショットの新規ビュー合成のための情報理論正規化手法を提案する。提案手法は,不十分な視点で発生する潜在的な復元の不整合を最小化する。複数の標準ベンチマークにおいて,既存のニューラルビュー合成手法と比較して一貫した性能向上を実現している。
論文参考訳（メタデータ） (2021-12-31T11:56:01Z)
Revisit Geophysical Imaging in A New View of Physics-informed Generative Adversarial Learning [2.12121796606941]
完全な波形反転は高分解能地下モデルを生成する。最小二乗関数を持つFWIは、局所ミニマ問題のような多くの欠点に悩まされる。偏微分方程式とニューラルネットワークを用いた最近の研究は、2次元FWIに対して有望な性能を示している。本稿では,波動方程式を識別ネットワークに統合し,物理的に一貫したモデルを正確に推定する,教師なし学習パラダイムを提案する。
論文参考訳（メタデータ） (2021-09-23T15:54:40Z)
NeRF in detail: Learning to sample for view synthesis [104.75126790300735]
ニューラルレイディアンス場(NeRF)法は目覚ましい新しいビュー合成を実証している。この作業では、バニラ粗大なアプローチの明確な制限に対処します -- パフォーマンスに基づいており、手元にあるタスクのエンドツーエンドをトレーニングしていません。我々は、サンプルの提案と、そのネットワークにおける重要性を学習し、そのニューラルネットワークアーキテクチャに対する複数の代替案を検討し比較する、微分可能なモジュールを導入する。
論文参考訳（メタデータ） (2021-06-09T17:59:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。