論文の概要: RefinedFields: Radiance Fields Refinement for Unconstrained Scenes
- arxiv url: http://arxiv.org/abs/2312.00639v2
- Date: Wed, 7 Feb 2024 10:57:28 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-08 19:35:54.144299
- Title: RefinedFields: Radiance Fields Refinement for Unconstrained Scenes
- Title(参考訳): RefinedFields: 制約のないシーンのための放射場リファインメント
- Authors: Karim Kassab, Antoine Schnepf, Jean-Yves Franceschi, Laurent Caraffa,
Jeremie Mary, Val\'erie Gouet-Brunet
- Abstract要約: RefinedFieldsを提案する。これは私たちの知識を最大限活用するために、事前学習されたモデルを活用して、現場でのシーンモデリングを改善する最初の方法である。
我々は、交互学習手法を用いて最適化誘導によりK-Planes表現を洗練するために、事前訓練ネットワークを用いる。
本研究では,本手法が合成データや実際の観光写真コレクションに与える影響を検証し,広範な実験を行った。
- 参考スコア(独自算出の注目度): 2.9360071145551068
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Modeling large scenes from unconstrained images has proven to be a major
challenge in computer vision. Existing methods tackling in-the-wild scene
modeling operate in closed-world settings, where no conditioning on priors
acquired from real-world images is present. We propose RefinedFields, which is,
to the best of our knowledge, the first method leveraging pre-trained models to
improve in-the-wild scene modeling. We employ pre-trained networks to refine
K-Planes representations via optimization guidance using an alternating
training procedure. We carry out extensive experiments and verify the merit of
our method on synthetic data and real tourism photo collections. RefinedFields
enhances rendered scenes with richer details and outperforms previous work on
the task of novel view synthesis in the wild. Our project page can be found at
https://refinedfields.github.io .
- Abstract(参考訳): 制約のない画像から大きなシーンをモデル化することは、コンピュータビジョンにおいて大きな課題であることが証明されている。
実世界の画像から取得した事前条件が存在しないクローズドワールド設定で既存のシーンモデリングに対処する方法が存在する。
筆者らはRefinedFieldsを提案するが、これは私たちの知る限り、事前学習されたモデルを利用した最初の手法である。
我々は、交互学習手法を用いて最適化誘導によりK-Planes表現を洗練するために、事前訓練ネットワークを用いる。
我々は,合成データと実際の観光写真収集における手法のメリットを検証し,広範な実験を行った。
RefinedFieldsはレンダリングシーンをリッチなディテールで強化し、野生における新しいビュー合成のタスクにおける以前の作業より優れています。
私たちのプロジェクトページはhttps://refinedfields.github.io.orgにある。
関連論文リスト
- FlowIBR: Leveraging Pre-Training for Efficient Neural Image-Based
Rendering of Dynamic Scenes [1.1470070927586018]
動的シーンのモノクラー・ノウ・ビュー・シンセサイザーのための新しいアプローチを提案する。
FlowIBRは,広く利用可能な静的シーンの大規模なコーパスで事前学習した,ニューラル画像に基づくレンダリング手法を統合する。
我々は、カメラ線を曲げてシーンのダイナミックスに対処し、レンダリングネットワークに静的であるかのようにダイナミックなシーンを提示する。
論文 参考訳(メタデータ) (2023-09-11T12:35:17Z) - TensoIR: Tensorial Inverse Rendering [53.51211939277516]
テンソルIRはテンソル分解とニューラルフィールドに基づく新しい逆レンダリング手法である。
TensoRFは、放射場モデリングのための最先端のアプローチである。
論文 参考訳(メタデータ) (2023-04-24T21:39:13Z) - Progressively Optimized Local Radiance Fields for Robust View Synthesis [76.55036080270347]
本稿では,1つのカジュアルな映像から大規模シーンのラディアンス場を再構成するアルゴリズムを提案する。
未知のポーズを扱うために、カメラのポーズと放射場を漸進的に推定する。
大規模な非有界シーンを扱うために、時間窓内にフレームで訓練された新しい局所放射場を動的に割り当てる。
論文 参考訳(メタデータ) (2023-03-24T04:03:55Z) - Energy-Inspired Self-Supervised Pretraining for Vision Models [36.70550531181131]
エネルギーベースモデル(EBM)にインスパイアされた自己教師型ビジョンモデル事前学習フレームワークを導入する。
提案手法では,1つのネットワークの前方・後方通過としてエネルギー推定とデータ復元をモデル化する。
提案手法は,学習のエポックを極端に少なくして,同等で,さらに優れた性能を提供できることを示す。
論文 参考訳(メタデータ) (2023-02-02T19:41:00Z) - Neural Radiance Transfer Fields for Relightable Novel-view Synthesis
with Global Illumination [63.992213016011235]
本稿では,ニューラル計算された放射光伝達関数を学習し,新しい視点下でのシーンリライティング手法を提案する。
本手法は,1つの未知の照明条件下で,シーンの実際の画像に対してのみ監視することができる。
その結果, シーンパラメータのアンタングルの復元は, 現状よりも有意に向上していることがわかった。
論文 参考訳(メタデータ) (2022-07-27T16:07:48Z) - Free View Synthesis [100.86844680362196]
本稿では,シーンの周囲に自由に分布する入力画像から新規なビュー合成手法を提案する。
本手法は,入力ビューの規則的な配置に依存しず,シーンを通して自由なカメラ運動のための画像の合成が可能であり,制約のない幾何学的レイアウトの一般的な場面で機能する。
論文 参考訳(メタデータ) (2020-08-12T18:16:08Z) - A Generative Model for Generic Light Field Reconstruction [15.394019131959096]
可変オートエンコーダを用いた4次元光電場パッチ生成モデルを初めて提示する。
我々は、光場の中心的な視点で条件付き生成モデルを開発し、これをエネルギー最小化フレームワークにプリミティブとして組み込む。
提案手法は,エンド・ツー・エンドのトレーニングネットワークに接近する性能向上を実証する。
論文 参考訳(メタデータ) (2020-05-13T18:27:42Z) - Two-shot Spatially-varying BRDF and Shape Estimation [89.29020624201708]
形状とSVBRDFを段階的に推定した新しいディープラーニングアーキテクチャを提案する。
ドメインランダム化された幾何学と現実的な材料を用いた大規模合成学習データセットを作成する。
合成データセットと実世界のデータセットの両方の実験により、合成データセットでトレーニングされたネットワークが、実世界の画像に対してうまく一般化できることが示されている。
論文 参考訳(メタデータ) (2020-04-01T12:56:13Z) - Deep CG2Real: Synthetic-to-Real Translation via Image Disentanglement [78.58603635621591]
画像空間における未ペアの合成-現実翻訳ネットワークの訓練は、厳しい制約下にある。
画像の非交叉シェーディング層とアルベド層に作用する半教師付きアプローチを提案する。
私たちの2段階のパイプラインはまず、物理ベースのレンダリングをターゲットとして、教師付き方法で正確なシェーディングを予測することを学習します。
論文 参考訳(メタデータ) (2020-03-27T21:45:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。